近年,街並みのように広域にわたる大規模な3次元空間を計算機の中に構築しようとする試みが多数なされている.通常,街並みのような3次元空間の記述と表示には幾何形状モデルに基づくコンピュータグラフィックス(以下,CG)技術が用いられている.ここで,広域にわたる3次元空間を構成するあらゆる対象物を正確に記述する幾何形状モデルを作成するには,一般に人間の手による膨大な作業を必要とする.しかし,簡易なモデルしか得られない場合が多く,そのような簡易モデルを基に写実的な画像を描画することは困難である.また,仮にあらゆる対象物を正確に記述できたとしても,その表現は非常に複雑なものとなり,実時間で表示画像を生成し更新することは不可能となる.写実性と実時間性の両立が困難であるというCGの問題を回避すべく,イメージベーストレンダリング(以下,IBR)と呼ばれる手法の研究が盛んになってきている.IBRの基本的な考え方は,明示的に対象物の幾何データを持つことなく,実画像を基に任意の視点位置からの画像を合成して提示するというものである.しかし,IBRの手法のほとんどは,一つの対象物の任意視点からの画像を再構成することに的を絞っており,街並みのように広域にわたる3次元空間の構築や,そのような空間内の実時間での視点移動等の試みはなされていない.以上のような現状を踏まえて,本論文は,広域にわたる実環境の映像情報を計算機に入力し,計算機内に写実的に再構成する「広域環境入力再構成技術」について体系的に論じたものである.

　まず,系統的かつ効率的な広域環境入力方式を提案した.IBRの手法で広域環境を再構成するためには,予め基となる実画像を大量に撮影する必要がある.その際,手間と時間を要する撮影方法だと,CG手法に対する優位性が損なわれる.また,屋外環境では日照条件の制御が不可能であるという観点からも短時間での撮影が望まれる.本論文では,広域環境における映像情報の取得方法としては,複数台のカメラによる全天周の同時撮影が最適であることを示した.そして,視点移動を地上のウォークスルーに限定する場合には,自動車を移動ベースに使用した効率的な撮影が可能であることを指摘した.また,屋外環境における絶対位置・姿勢の計測方法について検討した.これらの議論を踏まえて,自動車の屋根上に複数台のビデオカメラと各種位置・姿勢センサを配置したデータ収集システムを試作し,位置・姿勢データと共に全周の画像を系統的かつ効率的に収集することを可能とした(図1).ここでは,タイムコードを手がかりとして画像と位置・姿勢データを対応付ける手法を提案した.また,プロトタイプシステムでは不可能であった同時刻の全周画像の取得が可能で,撮影される画像の解像度も向上させた改良型システムを構築した.

　次に,収集した画像から歪みの無い補間画像を生成する方式を提案した.広域環境において観察者の視点位置に応じた画像を再構成するには,比較的離間した地点で撮影された画像を基に補間画像を生成することができるImage Morphingの手法が適していることを指摘した.そして,データ収集システムを運用して取得した位置・姿勢データ付き画像を基に,Image Morphingに基づく補間手法を適用して画像再構成を試みた.予め2枚の基画像を,正規化するか,光軸が一致するように回転させておくことにより,歪みの無い補間画像の生成を可能とした(図2).そしてそのような補間を2段階で適用すれば,平面上の任意視点位置における歪みの無い画像が生成可能であることを示し(図3),さらに補間を3段階で適用すれば,視点位置が平面上に限定されなくなることを指摘した.また,基画像を観察者の視点位置・視線方向に応じて切り替えることにより,原理的に広域環境内の任意視点における任意方向の画像が生成可能であることを示した.さらに,基画像をレイヤ画像に分割することでオクルージョンに対応する手法について論じた.そして,位置・姿勢データ付き画像に提案手法を適用することによって,自由な視点位置における全周画像が再構成可能であることを実証した(図4).

　また,広域にわたる視点移動と局所的に自由な視点移動の両立方式を提案した.歪み無し補間手法のみを用いた広域環境の構築は,作業量が膨大となるため現実的ではないことを指摘した.そして,自由な視点移動は不可能であるが撮影経路に沿って広域にわたる視点移動が可能な全周画像切替手法を提案した.自由な視点移動が期待される地点では歪み無し補間手法を適用し,それらを繋ぐ移動経路では全周画像切替手法を適用すれば,広域にわたる視点移動と局所的に自由な視点移動の両立が可能であることを示した.これらの議論を踏まえて広域ウォークスルーシステムを構築し,実時間で動作することを確認した.

　さらに,単一視点からの同時刻全天周画像の生成方式を提案した.画像再構成の基となる画像データベースの形式としては,単一視点からの同時刻全天周画像が理想的である.しかし,カメラ配置の工夫やミラーの使用などの方法では,そのような全天周画像を撮影することは物理的に不可能である.そこで,後処理でそのような全天周画像を生成する手法について検討した.本論文では,全天周に向けて配置した超多眼カメラによって撮影される画像を基に,補間に引き続いて画素の選択を行う手法と,対応画素を直接推定する手法を提案し,CG画像を用いてアルゴリズムの妥当性を検証した.補間に引き続いて画素の選択を行う手法の基本的な考え方は,全天周に向けて配置された複数台のカメラのレンズ中心を頂点とする多面体Sの表面上の任意視点位置における画像が補間生成できれば,それらの画像から適切な画素を選択することによって,Sの内部の視点位置eにおける全天周画像Ieを生成することができる,というものである(図5).一方,対応画素を直接推定する手法では,補間画像の生成を行わずに対応画素を推定する.対応画素の直接推定手法を,実際に超多眼カメラで同期撮影した実画像に対して適用し,理論どおりに全天周画像が生成されることを示した(図6).

　本論文では,広域環境入力再構成技術の構想に基づき,系統的かつ効率的な広域環境入力方式の提案,歪みの無い補間画像の生成方式の提案,広域にわたる視点移動と局所的に自由な視点移動の両立方式の提案,そして単一視点からの同時刻全天周画像の生成方式の提案を行った.以上に述べたような検討および考察を通して,広域環境入力再構成技術が実現されたと考える.

図1　広域環境のデータ収集システム

図2　画像の正規化/光軸を一致させる画像の回転

図3　2段階補間

図4　全周画像の再構成結果

図5　全天周画像の再構成方法−補間に引き続いて画素の選択を行う手法−

図6　超多眼カメラを用いた全天周撮影システム/生成した全天周画像(6枚の平面により表現)

　本論文は,広域にわたる実環境の映像情報を計算機に入力し,計算機内に写実的に再構成する「広域環境入力再構成技術」について体系的に論じている.通常,街並みのような広域環境の記述と表示には幾何形状モデルに基づくコンピュータグラフィックス(以下,CG)技術が用いられている.しかし,幾何形状モデルに基づく手法には,実時間性と写実性の両立が困難であるという大きな問題が存在する.このような現状を踏まえて,本論文では広域環境を撮影して得られる実画像にイメージベーストレンダリング(以下,IBR)の手法を適用するという方針で検討を行い,実時間性と写実性の両立を実現している.

　本論文は7章から構成されており,第1章序論で研究の位置付けを明確化した後,第2章で従来手法について概観し,「広域環境入力再構成技術」の実現に必要な研究課題および方針について整理している.

　第3章では,系統的かつ効率的な広域環境入力方式を提案している.まず,広域環境における映像情報の取得方法としては,複数台のカメラによる全天周の同時撮影が最適であることが示されている.そして,視点移動を地上のウォークスルーに限定する場合には,自動車を移動ベースに使用した効率的な撮影が可能であることが指摘されている.また,屋外環境における絶対位置・姿勢の計測方法について検討されている.これらの議論を踏まえて,自動車の屋根上に複数台のビデオカメラと各種位置・姿勢センサを配置したデータ収集システムを試作し,位置・姿勢データと共に全周の画像を系統的かつ効率的に収集することを可能としている.ここでは,タイムコードを手がかりとして画像と位置・姿勢データを対応付ける手法が提案されている.

　次に第4章では,収集した画像から歪みの無い補間画像を生成する方式が提案されている.広域環境において観察者の視点位置に応じた画像を再構成するには,比較的離れた地点で撮影された画像を基に補間画像を生成することができるImage Morphingの手法が適していることが指摘されている.そして,データ収集システムを運用して取得した位置・姿勢データ付き画像を基に,Image Morphingに基づく補間手法を適用して画像再構成が試みられている.予め2枚の基画像を,正規化するか,光軸が一致するように回転させておくことにより,歪みの無い補間画像の生成を可能としている.そしてそのような補間を2段階で適用すれば,平面上の任意視点位置における歪みの無い画像が生成可能であることを示し,さらに補間を3段階で適用すれば,視点位置が平面上に限定されなくなることを指摘している.また,基画像を観察者の視点位置・視線方向に応じて切り替えることにより,原理的に広域環境内の任意視点における任意方向の画像が生成可能であることが示されている.さらに,基画像をレイヤ画像に分割することでオクルージョンに対応する手法について論じている.そして,位置・姿勢データ付き画像に提案手法を適用することによって,自由な視点位置における全周画像が再構成可能であることを実証している.

　また第5章では,広域にわたる視点移動と局所的に自由な視点移動の両立方式を提案している.歪み無し補間手法のみを用いた広域環境の構築は,作業量が膨大となるため現実的ではないことを指摘している.そして,自由な視点移動は不可能であるが撮影経路に沿って広域にわたる視点移動が可能な全周画像切替手法を提案している.自由な視点移動が期待される地点では歪み無し補間手法を適用し,それらを繋ぐ移動経路では全周画像切替手法を適用すれば,広域にわたる視点移動と局所的に自由な視点移動の両立が可能であることを示している.これらの議論を踏まえて広域ウォークスルーシステムを構築し,実時間で動作することを確認している.

　さらに第6章では,単一視点からの同時刻全天周画像の生成方式を提案している.画像再構成の基となる画像データベースの形式としては,単一視点からの同時刻全天周画像が理想的であることを指摘しつつ,カメラ配置の工夫やミラーの使用などの方法では,そのような全天周画像を撮影することは物理的に不可能であることが示されている.そして,後処理でそのような全天周画像を生成する手法について検討している.具体的には,全天周に向けて配置した超多眼カメラによって撮影される画像を基に,補間に引き続いて画素の選択を行う手法と,対応画素を直接推定する手法を提案し,CG画像を用いてアルゴリズムの妥当性を検証している.さらに,対応画素の直接推定手法を実際に超多眼カメラで同期撮影した実画像に対して適用し,理論どおりに全天周画像が生成されることが示されている.

　最後に第7章では,本論文の主たる成果についてまとめられると共に今後の課題と展望が示されている.

　以上のように本論文では,広域にわたる実環境の映像情報を計算機内に写実的に再構成するという,システム工学的に重要な課題を,系統的かつ効率的な広域環境入力方式,歪みの無い補間画像の生成方式,広域にわたる視点移動と局所的に自由な視点移動の両立方式,そして単一視点からの同時刻全天周画像の生成方式,という各方式を実現することによって解決したところに大きな功績があると考えられる.

　よって本論文は博士(工学)の学位請求論文として合格と認められる.