実物体の観察にもとづく仮想物体画像の合成は,コンピュータビジョン,コンピュータグラフィックスの分野にまたがり活発に研究がおこわれている研究課題である.現在までに,Image-based Rendering, Inverse Rendering, 3D Photographyなどの手法が提案されているが,非常に大きなデータ量を保存する必要があったり,適用できる物体が限られていたりとそれぞれに制限が存在する.本論文では,これらの問題に配慮し,新たに2つの手法を提案する.

ひとつめの手法であるEigen-Texture Renderingは,入力として実物体の明るさ画像列と距離画像列を取る.距離画像列から物体の幾何形状を表わす3次元モデルを作成し,この3次元モデルと各明るさ画像の対応を取り,3次元モデルの表面の同一の物理的領域に対応する明るさ画像領域として入力画像列を扱う.これらの明るさ画像の小領域の集合をそれぞれ対応する固有空間に圧縮して保持することにより,非常に効率よく入力画像列をデータとして蓄積することができる.また,物体の幾何形状を精確に表わす3次元モデルを保持しているため,複合現実感システムにより仮想空間と実世界空間の境目のない融合をおこなう際には欠かすことのできない光源状況に応じた正確な陰影の表現もおこなうことができる.さらに,物体表面における反射成分などの数値的解析をまったく必要としないので,撮像条件や物体の表面特性に影響されることなくどのような物体にも適用できる汎用性を持ち合わせる.

ふたつめの手法であるRendering from a Sparse Set of Imagesは,非常に疎な画像列と対象物体の3次元モデルを入力とする.はじめに,各入力画像を物体表面上の各点における輝度値の変化にもとづき,拡散反射成分画像と鏡面反射成分画像に分離する.つぎに,鏡面反射成分画像列を用いて,光源状況と物体の反射パラメタを同時に推定する.これは,鏡面反射の仕組みを2次元の畳み込み積分としてとらえ,鏡面反射成分画像列からの光源状況と反射パラメタの推定をblind deconvolutionとして解くことによりおこなう.この結果,入力画像列に見られる物体の見えの変化を3次元モデルと反射パラメタと光源状況を表わす光源半球として表わすことができ,非常に効率の良い見えの表現を実現することになり,この表現にもとづき,任意視点,任意光源状況下での仮想物体画像の合成が実現できる.また,前者の手法に比べ,特定の反射モデルを仮定することにより適用できる物体に制限を設けるものの,非常に少ない入力画像から任意視点画像の合成を実現するという利便性を兼ね備える.本論文では,これらの手法の提案と実物体を用いた実験による有効性の評価をおこなう.

本論文は5章からなり、1章で研究の背景、2章で幾何モデル、3章、4章で本論文の主題である、密/疎な画像列からのレンダリングについて論じて、5章でまとめを論じている。

　実物体の観察にもとづく仮想物体画像の合成は,コンピュータビジョン,コンピュータグラフィックスの分野にまたがり活発に研究がおこわれている研究課題である.現在までに,Image-based Rendering, Inverse Rendering, 3D Photographyなどの手法が提案されているが,非常に大きなデータ量を保存する必要があったり,適用できる物体が限られていたりとそれぞれに制限が存在する.本論文では,これらの問題に配慮し,新たに2つの手法を提案してる.

　一つめの手法であるEigen-Texture Renderingは,入力として実物体の明るさ画像列と距離画像列を取る.距離画像列から物体の幾何形状を表わす3次元モデルを作成し,この3次元モデルと各明るさ画像の対応を取り,3次元モデルの表面の同一の物理的領域に対応する明るさ画像領域として入力画像列を扱う.これらの明るさ画像の小領域の集合をそれぞれ対応する固有空間に圧縮して保持することにより,非常に効率よく入力画像列をデータとして蓄積することができる.また,物体の幾何形状を精確に表わす3次元モデルを保持しているため,複合現実感システムにより仮想空間と実世界空間の境目のない融合をおこなう際には欠かすことのできない光源状況に応じた正確な陰影の表現も行うことができる.さらに,物体表面における反射成分などの数値的解析をまったく必要としないので,撮像条件や物体の表面特性に影響されることなくどのような物体にも適用できる汎用性を持ち合わせる.

　二つめの手法であるRendering from a Sparse Set of Imagesは,非常に疎な画像列と対象物体の3次元モデルを入力とする.はじめに,各入力画像を物体表面上の各点における輝度値の変化にもとづき,拡散反射成分画像と鏡面反射成分画像に分離する.次に,鏡面反射成分画像列を用いて,光源状況と物体の反射パラメタを同時に推定する.これは,鏡面反射の仕組みを2次元の畳み込み積分としてとらえ,鏡面反射成分画像列からの光源状況と反射パラメタの推定をblind deconvolutionとして解くことによりおこなう.この結果,入力画像列に見られる物体の見えの変化を3次元モデルと反射パラメタと光源状況を表わす光源半球として表わすことができ,非常に効率の良い見えの表現を実現することになり,この表現にもとづき,任意視点,任意光源状況下での仮想物体画像の合成が実現できる.また,前者の手法に比べ,特定の反射モデルを仮定することにより適用できる物体に制限を設けるものの,非常に少ない入力画像から任意視点画像の合成を実現するという利便性を兼ね備える.本論文では,これらの手法の提案と実物体を用いた実験による有効性の評価を行っている.

　審査担当者は,以上のような理由により,本論文は博士(理学)の学位論文として十分な内容を持つものであると一致して判定した。