コンピュータビジョン（CV）やバーチャルリアリティ（VR）の分野において、実世界空間を三次元モデル化し、計算機内に再現することは基本的なテーマであり、幅広い分野への応用が期待されている。特に文化財や都市シーンをモデル化し表現することは、文化遺産のディジタル保存や高度道路交通システム（ITS）など、社会性・実益性の面からも非常に高い注目を集めている。三次元モデルを構築する際に対象の形状・光学情報を獲得するためのデバイスとしてはレーザレンジセンサやイメージセンサ（カメラ）が一般的である。これらのセンサは定点に設置して計測を行うことが多いが、計測対象が大規模である等の場合は、センサを移動体に積載したり複数台のセンサを同時に用いることで効率よく計測を行うことができる。しかし、移動体による計測ではセンサの自己位置を得る必要があり、更に複数台のセンサを用いた場合はそれらのデータの整合性をとる必要がある。

本論文ではこれらの諸問題に対し、得られた幾何データおよび画像データを時空間的に解析することで効果的に解決する手法を提案する。更に、その手法適用した実用システムの開発を行い、文化遺産のディジタル保存、および高度道路交通システムという二つの分野対して応用的に貢献する。

2，3章は幾何データ処理に関する研究である。

まず2章では、幾何データの時空間解析により移動センサの自己位置を決定するための一手法を提案する。計測系が自動車などに積載され水平移動を行う場合、対象シーンの形状は垂直方向にラインスキャンを行うレンジセンサから復元できる。本手法ではさらに、計測系に水平ラインスキャンを行うレンジセンサを追加する。このスキャンデータを時間軸に沿って並べると、濃淡画像におけるエピポーラ平面画像（EPI） に類似した距離画像を得ることができる。本論文ではこれを時空間距離画像と呼ぶこととする。時空間距離画像は、対象シーンまでの奥行きと計測系の移動に関する時間的連続性が同時に表現されるのが特徴である。EPIと時空間距離画像は対象物までの距離や画像内エッジの傾きについて相互に対照な関係にある概念であり、これを利用して移動体の移動速度および自己位置を算出することが可能である。具体的には、水平スキャンデータから得られる時空間距離画像からエッジを抽出し、これらのエッジに複数の回帰曲線を当てはめ、解析的に積分することで自己位置が得られる。

本手法を実際の道路において運用したところ、推定速度に関しては急激な加減速を行った箇所を除いて数％程度の誤差で推定が可能であった。また、その結果に基づいて垂直スキャンデータから対象形状を復元したところ、位置ずれを最大で2m以内に納めることができた。これは一般的なGPS の精度よりも充分に高く、本手法をGPS やデジタル地図などと組み合わせて大域的な補正とともに使用すれば自己位置決定において有力な手段となる。

2章で確立した位置決定手法における移動体は自動車に限定されるものではない。続く3章では、この位置決定手法を用いた新しい三次元形状計測システム「梯子型センサ」の開発を行う。これは互いに直交する方向にラインスキャンを行う2つのレンジセンサを線形移動を行う梯子型のリフト上に設置したものである。センサはリフトのモータにより移動するが、その移動速度は梯子の設置角度などの状況により毎回異なるため推定する必要がある。本システムは移動方向と平行にラインスキャンを行うセンサから時空間距離画像を得てセンサの自己位置推定を行い、移動と直交するラインスキャンから得られる対象の形状データにこれを反映させることで対象の正しい三次元形状を得るものである。前者のセンサは梯子のステップ部を計測領域に含まれるように設置するため、時空間距離画像からは比較的短時間に複数のエッジが安定して得られる。

具体的なデータ処理の流れは2章の手法と同様であるが、時空間距離画像のエッジは主成分分析を用いた線形近似としている。本システムによって得られた三次元形状データと、地上に固定設置した商用のレーザレンジセンサから得られた基準データに対して Iterative Closest Point （ICP） 法による位置合わせ処理を施したところ、安定に収束することを確認した。また本システムにより得た形状データのうち、同じ対象シーンを含み、かつ異なる推定速度から構成されたもの同士に対して同様の位置合わせ処理を施したところ、やはり安定に収束することを確認した。

なお、本システムは東京大学池内研究室における大規模有形文化財のディジタルアーカイブ化プロジェクトの一部として機能し、2004年12月および2005年2月にカンボジア王国のアンコールトム・バイヨン寺院計測のため実際に運用した。この現場には多数の狭隘部があり、従来の商用固定設置レンジセンサでは計測が非効率であったり計測点の密度が場所によって大きく偏るなどの問題が生じるが、本システムによりそれらの問題が解決された。

4章は濃淡画像データ処理に関する研究である。広域にわたる空間の光学情報を効率よく獲得するためには、移動体による計測に加え、全方位画像を撮影できるような計測系が有効である。全方位画像を獲得する方法には、1台のカメラと曲面鏡を用いる方法、および放射状に配置した複数台のカメラ画像をつなぎ合わせる方法の二通りがある。前者の方法では時間的・空間的な整合性を保ちながら連続画像データを取得できるが、方向により解像度が著しく異なり、画像全体の解像度も低くなる問題がある。後者の方法では解像度の問題を解決できるが、既存の方法では一般的なカメラの光学中心を一致させることは困難であり統合画像に歪みが生じるほか、各カメラの同期にも専用の装置が必要である。

本手法はこの問題に対し、各カメラを自動車の屋根部に進行方向と平行に配置して光学中心を時空間的に一致させ、更に各カメラから得られる時空間ボリュームを解析することにより各カメラの時空間パラメタ、すなわち外部パラメタおよび時間差（同期）パラメタを算出することで解決する。ある時間差を経て同じ地点を通過したカメラの画像は、適切な時空間の表現方法へと変換を施すことにより、時空間ボリューム内に同じパターンを出現させることができる。これを満たす時空間表現方法として平面、円筒、球体の3種類を考案した。各表現方法において複数のボリューム同士に対してマッチングを行うと、カメラの間の時空間パラメタを求めることが可能である。その際、平面による表現では時間差パラメタのみしか求めることができないが、円筒や球体による表現では回転パラメタの成分も同時にピクセル単位で求めることが可能である。本理論に基づいて相互相関係数による時空間ボリュームのブロックマッチングを行ったところ、安定してカメラの時空間パラメタを得ることができ、複数カメラ画像を統合して歪みのない全方位画像を合成することに成功した。

最後に5章では、実世界の時空間画像データおよび幾何モデルを統合し、提示するアプリケーションを開発した。本システムでは高度道路交通システム分野への応用を考え、道路交通シーンをその対象に設定した。具体的には、対象経路に沿って蓄積した道路シーンの映像から都市空間の見えを再現し、幾何ベースより構築された都市空間モデルとの合成表示を行ってこれを模擬運転映像装置として運用するものである。

画像ベースの見えと幾何モデルによる見えには長所・短所が存在する。前者は現実感の高い見えを合成できるが合成表示時に特定の物体を除去または重畳するといった汎用的な利用には不向きであり、後者は現実感に劣るもののそのような汎用的利用が可能である。本システムでは、道路交通シーンにおいて空や建物が含まれる遠景部領域を画像ベースで描き、路面や道路標識、他車両などが含まれる近景部を幾何ベースモデルによって描くことで双方の欠点を相互に補完する。

画像ベースの見え構築には4章の手法により獲得した全方位画像を用いる。このとき撮影走行は一度だけであるが、撮影走行経路に沿った各地点における全方位からの光線が記録されるため、経路外地点からの見えは、全方位画像の前後フレームの一部を参照・補間することで仮想的に合成することが可能である。幾何ベースの見えは既存のドライブシミュレータによって描くこととする。これらの見えは独立のコンピュータがレンダリングを行い、最終的にハードウェアにより単一の見えに合成される。ユーザはこの映像を見ながら模擬的に自動車の運転操作を行い、その操作が次時刻の運転映像に実時間で反映される。このようなアプリケーションでは、運転映像において遠景部における現実感と、各車両位置や道路標識内容の動的変更といった応用的利用を同時に実現することができる。本システムは産官学連携研究プロジェクトの一部である「複合現実交通実験空間」の一機能として組み込まれており、今後も運転者の認知判断解析などに役立てることが可能である。

本論文は，「移動体センサから得られる幾何・画像データの時空間解析とその応用」と題し，移動体に積載したセンサによって都市空間や遺跡などの大規模な実世界空間を計測することにより得られる時系列の幾何データおよび画像データに対し，時空間的な解析を行ってセンサの動きを推定するとともに複数カメラ画像列の統合を行ってその有効性を確認した研究，さらにそれらを応用したシステムの開発をまとめたものであり，6章で構成されている．

第1章「序論」では実世界空間の仮想モデル構築に関し，その表現方法および実世界データの獲得方法を幾何情報と見え情報（光学情報）に分けて従来の研究を紹介している．その上で，大規模な実世界空間の計測には，移動しながらの計測，一度に広い領域をカバーする計測が有効であると述べ，それぞれにおいて（1）センサの自己位置を得ること，（2）複数台のセンサデータを時間的・空間的に整合させることを問題提起としている．

第2章は「距離画像の時空間解析によるレンジセンサの自己位置推定」と題し，時空間距離画像という新しい概念を定義し，その特徴などについて考察している．時空間距離画像とは，平面運動を行う移動体上にその面と平行にラインスキャンを繰り返すレーザレンジセンサを載せ，得られる距離画像を時間軸に沿って並べたものである．それを解析することにより移動体の自己位置を推定する手法を提案し，また，その結果をもとに移動体から計測した建物の形状を正しく復元している．

第3章は「梯子式レーザ計測システムの開発と大規模文化遺産のディジタル保存への応用」と題し，新しい三次元形状計測システムである「梯子式レーザ計測システム」の開発を行う．大規模な対象，特に遺跡などの形状計測を行う際には，狭隘部の存在のため，従来型のセンサでは計測が困難なことがあるが，提案されているシステムでは梯子に沿ってレンジセンサをモータにより移動させるような機構とし，そのような場所の計測を可能としている．移動しているセンサの自己位置推定には第 2 章で提案した時空間距離画像を解析するを用いる．また，そのシステムを実際にカンボジアのバイヨン遺跡にて運用し，文化遺産のディジタル保存のための一手法として役立てている．

第4章は「濃淡画像の時空間解析による複数カメラ画像の統合」と題し，広域にわたる空間の光学情報を効率よく密に獲得するため，移動体に積載した複数のカメラから全方位画像を合成するための新たな手法を提案している．これまで濃淡画像では単に画像を時系列に沿って直方体状に並べることで時空間を表現してきたが，本章では新たに円筒や球面へ射影した画像を並べた時空間の表現形態を新たに提案し，各々の特徴をまとめている．また，これらの時空間解析を通じて複数のカメラ画像列をピクセル単位で統合する手法を提案し，その有効性を確認しているほか，移動体の運動に関する仮定条件と得られる結果について定量的な考察を行っている．

第5章は「実写画像と幾何モデルの合成による都市道路交通シーンのモデル化とITSへの応用」と題し，実都市空間の時空間画像データおよび幾何モデルを統合し，提示するアプリケーションの開発を行っている．提示対象は，社会的・実益的にも重要視されているITS分野への応用を考え，都市の道路交通シーンとしている．具体的には，第 4 章の手法により対象経路に沿って蓄積した道路シーンの全方位画像を時空間的に合成することにより任意視点からの見えを再現ている．更に，既存の幾何モデルによって表現された都市空間との合成表示を行い，これを模擬運転映像装置として運用している．画像ベースの見えと幾何ベースの見えには，現実感の高さや汎用性・拡張性などそれぞれに長所・短所があるが，本システムでは，描画対象によって各々の手法を適切に使い分けることによってで双方の欠点を相互に補完している．

第6章は「結論」であり，本論文の成果を要約すると共に今後の課題が示されている．

以上これを要するに，本論文では，大規模な実空間の仮想モデル構築に関し，移動体に積載したセンサから得られる幾何データおよび画像データの時空間的な解析を通じて，センサの自己位置を推定する手法，および複数カメラ画像の統合を行う手法が提案されている．さらにはそれぞれの技術の応用として，新しい三次元計測システムや都市道路交通シーンを提示するシステムの開発を行っており，社会性・実益性の観点からも関心の高い文化遺産のディジタル保存やITS分野への展開に役立つことが期待され、電子情報学上貢献するところが少なくない．

よって本論文は博士（情報理工学）の学位請求論文として合格と認められる．