近年コンピュータビジョンやコンピュータグラフィックスの技術を駆使した3次元モデルは,「3D元年」という言葉にも代表されるように,多くのアプリケーションや様々な目的のために幅広く利用されてきている.しかし3次元モデルを人手で作るコストや手間は膨大であるため,3次元モデルを自動で生成しようとする試みに関心が高まるとともに,効果的な3次元計測手法が必要とされてきている.

3次元モデルを計測する方法には,レーザーレンジセンサを用いたり,画像ベースで推定をおこなう多視点ステレオ,光切断法,照度差ステレオなどの様々な手法が存在する.これらの手法は大きく分けて光学的手法と幾何学的手法に分けることができる.一般的に光学的手法は,照度差ステレオに代表されるように,物体表面の法線を推定する手法であり,細かな凹凸や滑らかな面を推定するのに適している.一方で幾何学的手法は対象物体の奥行きを計測する手法であり,物体の外形を推定するのに適している.

本論文ではこれらの相反する光学的手法と幾何学的手法を組合せることで,より効果的な3次元モデル化手法の提案をおこなう.具体的には,光学的手法である照度差ステレオと、レーザーレンジセンサや、多視点ステレオとを組み合わせることで,新たな拘束を導いて3次元モデル化をおこなう.さらに,様々な反射特性の物体に対して照度差ステレオを扱えるようにするための手法を提案する.

1つ目の手法はレンジセンサとフラッシュ付きのカメラを融合した3次元モデル化手法である。大まかな形状をレーザレンジセンサで取得し,細かな凹凸などは照度差ステレオによって法線を求め,バンプマップとして表現する.さらに得られた法線を用いて正確な反射パラメータを推定する.

2つ目の手法は照度差ステレオと多視点ステレオを組合せることで,法線と形状を同時に推定する手法である.本手法はレーザーレンジセンサを使わず,カメラとフラッシュだけの簡易なセットアップで3次元モデルを推定することができる.さらに色情報を利用することによって本手法を拡張し,鏡面反射や遮蔽にロバストな手法を提案する.

一般的に照度差ステレオを用いる場合は,対象物体が拡散反射であることを仮定する.しかし物体の中には鏡面反射成分が含まれる物体も数多く存在し,これが推定に悪影響を与えてしまう,そこでリアルタイムに鏡面反射成分を除去する手法を提案する.本手法は光源色を既知として独自の色空間を用いることで,従来手法よりも高速に鏡面反射成分を除去することができる.

さらに,鏡面反射成分だけでなく,幅広い反射特性の物体の法線を推定するための手法を提案する.特定の反射モデルを仮定せず,基本的な反射特性から導いた拘束を用いて法線を推定する.本手法はカメラの特性や環境光の影響に対してもロバストである.

本論文では,これらの手法の原理を示し,定性的及び定量的な実験を通してそれぞれの手法の実用性を示す.

本論文は、「GENERALIZATION OF PHOTOMETRIC STEREO: FUSING PHOTOMETRIC AND GEOMETRIC APPROACHES FOR 3-D MODELING」(照度差ステレオの一般化:3次元モデル化のための光学的手法と幾何学的手法の融合)と題し、照度差ステレオと幾何学的な手法を組合せることで、従来固定視点を前提としている照度差ステレオを多視点画像列に一般化し、効果的に3次元モデルを推定した研究、さらに、従来ではランバート面を仮定している照度差ステレオを、鏡面反射や他の非ランバート面に応用するためのロバスト化をおこなった研究をまとめたものであり、六章からなっており、英文で書かれている。

第一章は、「Introduction」(序論)と題し、3次元モデル化の重要性、及びモデル化をおこなうための従来研究を光学的手法と幾何学的手法に分けて紹介している。その上で、光学的手法によって得られた法線のみを用いて形状を得るのは難しいこと、また幾何学的手法によって推定された形状では詳細な凹凸まで表現することが難しいことを述べ、これら二つの手法を組合せることで効果的に3次元モデル化をおこなうという本論文の全体的な方向性を説明している。

第二章は、「Efficient Estimation and Representation of 3-D model with Sensor Fusion」(センサフュージョンによる3次元モデルの効率的な推定と表現)と題し、レーザレンジセンサとフラッシュ付きのカメラを融合させることで、多視点画像間の対応を容易に求め、さらに近接光源による照度差ステレオを可能する手法について記している。物体表面の細かな凹凸や滑らかな表面などは推定された法線をバンプマップとして利用することで表現し、レンジセンサで計測する際のポリゴンの解像度を低く抑えている。さらに、推定された法線を利用し、クラスタリングとロバスト推定によって物体の拡散・鏡面反射のパラメータを正確に推定している。

第三章は、「A Hand-held Photometric Stereo Approach for Full 3-D Modeling」(3次元モデル化のためのハンドヘルド照度差ステレオ手法)と題し、照度差ステレオと多視点ステレオを組合せることで、カメラに光源を取り付けただけの簡易なセットアップによって形状と法線の同時推定を行う手法について記している。カメラに取り付けた光源によって視点ごとに光源環境を変化させることで、光学的な特徴を付加し、テクスチャのない物体であっても多視点画像間における対応を求めることができている。さらに色情報を用いて鏡面反射成分を除去することでロバスト化をおこない、画像ピラミッドを用いた階層的な推定、及び変数の削減によって計算速度を向上させている。

第四章は、「Real-time Specular Removal」(リアルタイム鏡面反射成分除去)と題し、二色性反射モデルに基づいて一枚の画像から高速に鏡面反射成分を除去する手法について記している。二色性反射モデルにおける拡散反射成分および鏡面反射成分の特徴が扱いやすい独自の色空間を用いて、光源色を既知とすることで、簡易な計算によって鏡面反射成分を除去できることを証明し、実験によってその有効性が示されている。

第五章は、「Consensus Photometric Stereo for Non-Lambertian Surfaces」(非ランバート面に対するコンセンサス照度差ステレオ)と題し、特定の反射モデルを仮定せず、基本的な三つの反射特性として、単調増加性、可視性、等方性のみを仮定し、それらから導き出された拘束を用いて、固定視点の下で光源環境を変化させながら撮影した画像列から法線を導く手法について記している。従来の照度差ステレオで扱いが難しかった非線形なレスポンス関数を持ったカメラや、環境光が存在する下で撮影された画像列であっても、正確な法線を推定している。さらに拡散反射物体のみならず金属のような鏡面反射物体に対しても同様のアルゴリズムを用いて法線を求めることができている。また法線の推定精度に対する必要な画像の枚数を理論的に示し、それに基づいて実験をおこない、その有効性が示されている。

第六章は、「Conclusion」(結論)であり、本論文の成果を要約するとともに、今後の課題が示されている。

以上これを要するに、3次元モデル化のために、光学的手法と幾何学的手法を組合せることで、照度差ステレオの一般化として、多視点画像列にも対応した、より効果的な推定手法を確立し、また、様々な反射特性をもつ物体に適用できるように、鏡面反射成分をもつ面や、非ランバート面に対しても正確な法線を推定できるロバストな手法を提案しており、社会性・実益性の観点からも関心が高い文化遺産のディジタル保存や医療、映画・ゲーム産業など様々な分野への展開に役立つことが期待され、その寄与するところが大きい。

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる。