学位論文要旨



No 114737
著者(漢字) 趙,卉菁
著者(英字)
著者(カナ) チョウ,ヒュージン
標題(和) レンジ画像とCCD画像を併用した3次元都市空間モデルの自動構築手法
標題(洋) Reconstructing Textured Urban 3D Object by Fusing Ground-based Laser Range Image and CCD Image
報告番号 114737
報告番号 甲14737
学位授与日 1999.09.30
学位種別 課程博士
学位種類 博士(工学)
学位記番号 博工第4507号
研究科 工学系研究科
専攻 社会基盤工学専攻
論文審査委員 主査: 東京大学 教授 柴崎,亮介
 東京大学 教授 池内,克史
 東京大学 教授 安岡,善文
 東京大学 講師 堤,盛人
 東京大学 教授 村井,俊治
内容要旨

 航空写真測量などの原理を利用して、空から都市の3次元空間データを取得する方法は、実務的にも多く行われてきている。これは広域を効率よくカバーするためには、優れた方法である。しかし、今後の3次元空間データの利用では、地上にいる歩行者やドライバーの視点からの詳細な3次元表現が求められるケースも非常に多くなることが予想される。上空からのデータ取得では、建物側面、地下空間など、こうした利用者の視線に最もさらされる部分を正確にモデル化できない。そこで、地上で効率的にに三次元空間データを自動取得できる手法が必要になる。

 これまでもビデオ画像などから建物の側面形状などを効率的な3次元データとして取得しようとする研究は多くなされてきたが、精度や信頼性の点でまだ大きな課題が残されている。一方、レンジファインダ(距離計測装置)は対象物の三次元情報を直接、自動計測でき、海底地形や、小型オブジェクトの形状や、室内環境などの自動計測を研究され、レンジファインダの有効性を証明されつつある。そのうえ、近年、レーザ計測技術の発展によりアイセーフレーザ(直接目に入っても被害を与えないレーザ)を用いるレーザレンジファインダ(LRF)が開発され、市街地の地上で利用することも可能になった。また、レーザレンジファインダとCCDカメラを組み合わせることで、対象物の形状情報と共に、表面のテクスチャー(色、明るさ)情報も同時に取得できる。本研究では、二つのセンサを同じブラットフォーム上で稼働させ(図1を参照)、レーザレンジ画像とCCD画像を容易に重ね合わせることを可能にし、また複数地点から計測されたレンジ画像を自動的に同じグローバル座標系上につなぎ合わせることによって、テクスチャー付きの都市空間の3次元モデルを自動生成する手法を開発した。そこで、図2に示したようないくつのモジュールによって構成された。

図1、センサシステム図2、システムの構成

 データの計測には、センサシステムが水平回転と垂直回転をしながらレーザレンジ画像とCCD画像を撮る。CCDカメラの投影中心の移動による、撮ったCCD画像間のスケール変化や、写真の歪みや、単写真に限られた視野などを対処するために、CCD画像をある回転間隔(で取得した後、それぞれCCD画像の中心部分を切り出して、順番にパノラマイメージ平面に貼り付けるによって、パノラマCCD画像を合成する。さらに、両センサ間の幾何関係によってレーザレンジ画像からパノラマCCD画像に投影するモデルを生成する。

 空間対象物に対して単一方向からの測定では、裏側や凹凸に隠された部分など、データの得られない部分が存在するので、対象物の全体形状を知るためには、複数地点から測定して得られたデータ(ここではビューと呼ぶ)を接合しなければならない。そのためには、各計測点の位置やセンサの設置方向などを知る必要がある。しかし、各点の位置や方向などの情報を別途取得するのは手間がかかる作業である。本研究はレーザレンジ画像を用いて各視点間の位置関係を求める自動マッチング手法に焦点をあてて検討した。そこで、多数のレンジ画像を精度よく接合するために、まず2つレンジ画像のマッチングによって、隣接するビューの相対的な位置関係を求める。これを繰り返すことによって、すべてのビューを1つの座標系に統合することができる。しかし、こうして逐次的な統合には接合誤差が累積しており、正しい3次元空間モデルが構築できないことがある。そこで、複数レンジ画像の同時マッチングによって、累積誤差を調整・配分することにより全体として良好な精度の3次元空間モデルを構築することが可能になる。

 2つレンジ画像のマッチングに対して3つの手法を提案した。

 平面パッチによるマッチングでは、まずレンジ画像から平面パッチを抽出して、2つレンジ画像の間に3つ以上の平行ではない対応する平面パッチペアを検出によって、6つの座標変換パラメーター3つの回転角()と移動量ベクトル(x、y、z)-を推定する手法である(図3を参照)。

図3、平面パッチによるレンジ画像のマッチング

 Z-imageによるマッチングでは、2つレンジ画像の間に十分な対応する平面パッチペアを検出されない場合に、センサシステムの姿勢を補助データとして開発した手法である。計測に際して、レーザレンジファインダの水平回転軸(Z軸)を常に地面と垂直となる(図1を参照)ように設置することは困難ではない。これを制約条件として利用すると、2つレンジ画像の間の座標変換は6つのパラメータではなく、4つのパラメーター(x、y、z)で表現できる。3次元レンジ画像を水平回転面に投影すると、図4に示したようなZ-imageを生成することができる。そこで、2つレンジ画像をマッチングするために、まずZ-imageのマッチングによって水平回転角()と水平回転面における移動量ベクタル(x、y)を求め、次に地面形状データのマッチングによってzを求める。

図4、Z-imageによる2つレンジ画像のマッチング

 平面パッチかにZ-imageよるマッチングリ特徴抽出の精度に頼るので、その結果をさらに精錬する為にパノラマCCD画像によるマッチング手法を開発した。そこで2つビューの空間関係の近似値を既に求めたとして、1つのパノラマCCD画像を他のパノラマCCD画像の座標系に変換するによって、擬似パノラマCCD画像を生成することができる(図5を参照)。擬似パノラマCCD画像が真のパノラマCCD画像とマッチングするによってレンジ画像間の対応関係を迅速的に求めることができる。対応するレンジポイント間の距離を最短化する為にICP手法を採用した。

図表図5、CCD画像によるレンジ画像のマッチング

 複数レンジの同時マッチングでは、2つレンジ画像のマッチングによって隣接するレンジ画像の間の最適マッチングを求めたと考えて、誤差の累積を調整・配分するに際しては、隣接する2つレンジ画像のマッチング結果をできるだけ変更しないようにして、接合関係の弱い方を先に調整する手法を開発した(図6を参照)。

図6、複数レンジ画像のマッチング(a)2つレンジ画像のマッチングによる逐次的に統合、(b)誤差の累積を調整・配分した結果。赤いラインは1/500ディジタル地図で、白いポイントはレーザレンジポイントである。

 最後に、統合したレーザレンジ画像から平面パッチを抽出して、平面パッチに属しないレーザレンジポイントがTINモデルに変換するによってサーフェースモデルを生成することができる。更に、レンジ画像とパノラマCCD画像の対応関係によってパノラマCCD画像がサーフェースモデルに投影モデルを生成する(図7を参照)。

図7、テクスチャ付きサーフェースモデルの生成(a)統合したレンジ画像、抽出された平面を異なった色で表示する。(b)パノラマCCD画像をサーフェースモデルに投影した結果

 本研究はレーザレンジ画像とCCD画像の融合による都市空間3次元モデルの構築の適応性について検証を行った。実験現場は東京大学六本木キャンパスであり、1つの建物を中心として42個ビューのレーザレンジ画像とCCD画像を計測した。各ビューの計測範囲について、水平回転は-180°〜+180°、垂直回転は-20°〜+40°、レンジ距離は0.1m〜100mである。レーザレンジ計測精度は±5cmである。マッチング精度を検証するために、1/500ディジタル地図(建物形状)と、GPSを使って各測定点の位置座標を計測した結果を用いた。GPSの精度は20cmである。実験結果としては、42個ビューのデータを成功に1つの座標系に統合され、テクスチャ付きモデルを構築した。精度としては、GPSデータによって殆どの測定点の誤差が1.0m以内に収まって(図8を参照)、また1/500ディジタル地図より物体の詳細を把握できるとわかった(図6を参照)。

図8、GPSデータによる自動マッチングした測定点座標値の誤差
審査要旨

 近年、都市を中心として3次元空間データの需要が急速高まっている。景観分析、電波の伝搬解析、カーナビゲーション等から防災対策検討まで幅広い利用が期待されている。従来、3次元データ構築はもっぱら航空写真や航空機に搭載されたレーザスキャナーなど空からのデータ取得により行われてきた。しかし、3次元データの新たな利用では、地上にいる歩行者やドライバーの視点からの詳細な表現が求められるケースも少なくないと考えられる。特に上空からのデータ取得では、建物側面、地下空間など利用者の視線に最もさらされる部分を正確にモデル化できない。そこで、地上で効率的にに三次元空間データを取得できる手法が必要になる。

 これまでもビデオ画像などから建物の側面形状などを効率的な3次元データとして取得しようとする研究は多くなされてきたが、精度や信頼性の点でまだ大きな課題が残されている。一方、レンジファインダ(距離計測装置)は対象物の三次元情報を直接、自動計測でき、小型の対象物や工場における配管計測など主に室内環境での計測で大きな成果を上げてきている。しかし、屋外環境での計測手法の開発例は多くない。その一方で、近年、アイセーフレーザ(直接目に入っても被害を与えないレーザ)を用いるレーザレンジファインダ(LRF)が開発され、市街地で利用することも可能になってきている。しかし、こうしたレーザセンサを利用して地上から都市の3次元空間データを取得・構築するためには、いくつかの課題を克服する必要がある。その最も基本的なものは、多数のレーザレンジ画像を互いに接合し対象地域をカバーする技術である。

 本論文は、申請者自らアセンブルしたレーザセンサ・CCDカメラ複合センサを利用して、多数のレーザレンジ画像とCCD画像を取得し、それらを自動的に接合する手法を開発し、その精度、ロバスト性などを実証したものである。論文は以下のように構成されている。

 第1章はイントロダクションであり、研究の背景、目的などを述べている。

 第2章は、論文の全体構成を述べている。

 第3章は、申請者自らアセンブルしたレーザセンサ・CCDカメラ複合センサの仕様・性能を述べ、3次元形状データとテクスチャデータを同時に取得できる利点のあることを示している。

 第4章は、隣接するレンジ画像を対象とした接合手法のうち、3次元平面を抽出しそれを手がかりとして自動接合する手法を述べている。この手法はセンサの位置・姿勢に関して何の制約を与えずに自動接合できる点に特徴がある。

 第5章は、隣接するレンジ画像を対象とした接合手法のうち、センサを地面に垂直にセットしてデータ取得を行った場合に適用できる手法を述べている。この手法は、ロバスト性が非常に高い点に特徴がある。

 第6章は、隣接するレンジ画像を対象とした接合手法のうち、レーザレンジ画像と同時に取得されたCCD画像を利用して接合精度をさらに向上させる方法について述べている。

 第7章は、接合された隣接データをさらに多数接合させ、対象地区全体の3次元空間データを取得する方法を述べている。この場合、多数接合させることで、誤差が累積しデータの食い違いなどの不整合が生じることがあるが、そうした不整合を自動的に解消する方法を開発している。

 第8章は、多数接合されたレンジ画像から垂直平面を自動抽出し、テクスチャをあたえることでテウスチャ付きの3次元空間モデルを構築する手法を示している。

 第9章は、上記のセンサ、手法の実証実験の結果を示している。本学生産技術研究所の本部建物を対象に四十数枚の画像を取得し、それらを利用して自動接合作業の成功率、位置あわせ精度などを検証した。その結果、隣接レンジ画像間の自動接合手法は最高で7割程度のケースについて完全自動化できたこと、自動化できない場合でも簡単なオペレーションにより初期値を改善すれば、その後は自動化できること、多数の画像の同時接合が誤差の解消に大きな効果のあること、CCD画像も利用した接合ではテクスチャ間のずれも軽減できること、最高で10cm-20cm程度の高い精度が得られること等が実証された。

 第10章は結論であり、成果のまとめと将来展望が整理されている。

 本論文は、今後大きな需要が予想される都市3次元空間データに関して、構築をほぼ自動化できる手法を新たなセンサ開発からデータ処理手法まで一貫して行ったものであり、着想、手法ともにきわめてユニークな研究であるのと同時に、十分な規模の実証実験を通じて開発された手法の精度・信頼性をチェックし、実用への道を開いたという点において社会的な貢献も大きいと考えられる。したがって、博士(工学)論文として合格と判断する。

UTokyo Repositoryリンク