世界初！車周辺の人や物を歪みなく表示し、接触のリスクをわかりやすく示す車載向け3次元映像合成技術を開発【富士通】

2013年10月9日

広角レーザーレーダーとカメラを組み合わせ、全周囲360°を完全に立体可視化

富士通研究所（注1）は、ドライバの視界補助向けに、車周辺の人や物などの立体物を歪みなく表示し、接触のリスクを分かりやすく2cmの精度で表現する車載向け3次元映像合成技術を、世界で初めて開発しました。

従来、複数の車載カメラと画像処理で車両周辺を俯瞰表示する視界補助製品が商用化されていますが、合成映像の歪みにより車両や歩行者などの周辺立体物の視認性が劣化する課題がありました。今回、カメラ映像に加え広角レーザーレーダーの距離情報を併用して合成映像を生成することで、歪みのない周辺立体物の視認性がより優れた映像表現や、昼夜問わず接触のリスクが視覚的に分かりやすい映像表現を実現しました。本技術により、駐発車時や狭路でのすれ違い時などを含む様々な運転シーンで、さらなる安心・安全の実現に大きく貢献します。

本技術は、10月15日（火曜日）から東京ビッグサイトで開催される「ITS世界会議東京2013」の富士通ブースに展示予定です。

開発の背景

米国で成立した「KT法（Kids and Transportation Safety Act）」（注2）に代表されるように、車載カメラによる運転支援の重要性は世界的に認知されており、駐発車時のドライバの視界補助を目的として、車両後方を映すバックカメラや、複数の車載カメラと画像処理で車両周辺を俯瞰表示するマルチカメラシステムが商用化されています。また、超音波センサーなどの障害物検知デバイスと組み合わせて、車両近傍の障害物の存在を、警告音と共に映像で提示するシステムも商用化されています。

課題

従来のマルチカメラシステムでは、合成映像の歪みによって駐車車両や歩行者などの周辺立体物の視認性が劣化するため、ドライバが周囲状況を直感的に把握しにくい、立体物との距離が分かりにくい、といった課題がありました（図1）。また、ソナー（超音波）センサーとの組み合わせでは、センサーの空間解像度が低いため、歪んだ合成映像の中で、大まかな危険領域を示す程度にとどまっており、立体物が込み入った状況ではドライバが瞬時に警告時の状況を認識することが困難でした（図2）。

開発した技術

上記の課題を解決するために、今回、前後左右の4台の車載カメラに加え、超広角で高密度な測距情報が得られる3次元レーザーレーダー（注3）を複数併用し、周辺立体物を歪みなく、接触のリスクを分かりやすく表現する車載向け3次元映像合成技術を、世界で初めて開発しました。開発した技術の特長は以下の通りです。

１．複数レーザーレーダー・複数カメラを扱える3次元視点変換技術
弊社の全周囲立体モニタ技術（注4）を拡張し、車両周辺に仮想的な立体投影面の配置に加え、レーザーレーダーの測距情報に基づいて立体物を模した微細な投影面を生成します。そして、立体投影面と復元した立体物にカメラ映像を投影し、自由な視点からの映像が生成できる測距情報統合型の3次元視点変換技術を開発しました（図3）。複数レーザーレーダーと複数カメラの位置と姿勢を考慮しており、カメラごとに周辺立体物の裏の死角を判別し、死角部分を撮影している他のカメラの映像を選択的に投影することで一組のレーザーとカメラでは実現できなかったより自然な映像を合成表示することが可能です（図4）。

２．接触リスクの透過的重畳表示技術
高い空間解像度を有し、昼夜問わず測距可能な3次元レーザーレーダーの測距情報に基づいて、立体物との距離に応じた危険色を、立体物の実際の形状に近い形で透過的に重畳表示できる映像表現技術を開発しました。これは、復元した立体物を描画処理する際に、車速や舵角などの車両情報に基づき、進行方向と横方向も考慮した車両からの距離に応じた警告色マップを用いて、透過的な重畳描画処理を行うことで実現しています（図5）。レーザーレーダーの測距精度（約2cm）で接触の可能性を判定することが可能です。

３．車載向けソフトウェア技術
本3次元映像合成技術は、汎用画像処理基盤OpenGL ES （注5）をサポートするGPU（Graphics Processing Unit）を搭載した車載組込みプラットフォームで実行可能なソフトウェア技術として開発しました。

効果

本技術により、駐発車時や狭路でのすれ違い時などを含む様々な運転シーンで、車両や歩行者などの立体物が込み入った状況でも、歪みのない映像表現が可能になるため、ドライバが周囲状況を直感的に把握しやすい、距離感がわかりやすい映像の生成が可能になります（図6）。また、昼夜問わず、実際の立体物の形状に近い形で危険色を重畳できるため、接触のリスクが視覚的に分かりやすい映像表現で可能になり、ドライバが瞬時に警告時の状況を認識しやすい映像の生成が可能になります（図7）。

今後

今後、多様な運転シーンで、本3次元映像合成技術による視界補助の効果検証を進めるとともに、本技術を用いた運転支援システムの製品化を目指し、車載組込みプラットフォームで実現するための処理の軽量化を進める予定です。また、より利便性の高い認知支援の実現や自動運転への適用を目指して、カメラとレーザーレーダーを用いた周辺環境を認識する技術の開発も進める予定です。