実世界の風景や物体を計測した情報を利用して，仮想空間で物体の画像を写実的に合成する手法は，コンピュータグラフィクスやコンピュータビジョンの分野で盛んに研究されている．実物体の画像を写実的に合成を行うためには，対象物の幾何情報とテクスチャ情報が一定量以上必要であることが理論的に示されており，十分な量の幾何情報に基づき表示を行うModel-Based Rendering，十分な量のテクスチャ情報に基づき表示を行うImage-Based Renderingの手法が数多く提案されてきた．ところが実際には，計測情報の量が十分であるかどうかの判定は難しく，与えられた情報の量に適した手法を選択することは困難であるという問題がある．また，情報が不足している場合には写実的な再現を行うことができない．

本論文では，これらの問題を克服するために，3つの手法を新たに提案する．

一つ目の手法であるMicrofacet Billboarding法では，得られた計測情報の精度に応じて対象物の幾何形状を，大域的，局所的(視点依存)モデルを組み合わせて階層的に表現することにより，幅広い種類の対象物体を統一的に扱う枠組みを提案する．具体的には，計測によって得られた幾何情報の信頼度に基づき，表示に利用可能な幾何情報の最大解像度を決定し，視点依存の距離画像合成，テクスチャ合成，透過画像合成を基に詳細な表示処理を行う．この手法は，幾何情報の解像度が高いときModel-Based Rendering法に近づき，幾何情報の精度が低いときImage-Based Rendering法になる.

二つ目の手法では，計測情報の幾何形状が極端に不足している，あるいは全く利用できない場合に，幾何形状の再構築を行わずに，入力の画像間で滑らかな補間を行うことで自由視点画像を合成する．与えられた2次元画像に関する事前知識なしに画像間の密な対応を推定するために，人間の初期視覚で用いられているアルゴリズムを利用して抽出された画像特徴を用い，視覚的な不具合の少ない表示を可能にする．

三つ目の手法であるPop-up Light Field法では，計測情報が不足している場合，特に幾何情報が全く利用できず，二つ目の手法も含めて既存のアルゴリズムでは入力画像から付加的な情報を得られない場合，ユーザーによる対話的に幾何モデル生成を用いて写実的な表示を行う．この手法は，取得した計測情報を基にLight Field表示を行い，現実感を損なっている部分に対して簡単なLayer化を行う，という処理を繰り返すことにより，利用者の目的に応じた写実性を持つ自由視点画像の合成が可能である．

本論文ではまた，以上の提案手法をPCグラフィクスハードウェアを用いて効率的に実装する方法も提案し，安価かつ容易に入手できる環境で，写実的な画像合成を実時間処理できることを示す．

本論文は，計測情報を利用して実世界の物体・風景に対する仮想的な三次元視点画像を合成するための手法を提案している．特に，計測情報が十分に得られない場合にも写実的な画像合成を実現するための3つの相補的かつ基礎的な手法を提案している．本論文は5章から成り立っている．第1章は本論文のテーマである，計測に基づく写実的画像合成の背景，および既存の研究について述べている．第2章では1つ目の提案手法である自動モーフィングに基づく視点画像補間法について，第3章では2つ目の提案手法であるPop-up Light Field法について，第4章では3つ目の提案手法であるMicrofacet Billboarding法についてそれぞれ述べている．最後に，第5章は本論文の貢献，および提案した各手法の制限，課題などについて述べて論文をまとめている．以下に各章の詳細を述べる．

第1章では，まず研究の背景として，実世界の風景や物体を計測した情報を利用した仮想空間で物体の画像を写実的に合成する手法の必要性を述べている．次に，実物体の画像を写実的に合成するためには，対象物の三次元形状(幾何情報)とテクスチャ(光学情報)が一定量以上必要であるという理論に関して述べ，十分な量の幾何情報に基づき表示を行うModel-Based Rendering，十分な量のテクスチャ情報に基づき表示を行うImage-Based Renderingの手法に関する先行研究を網羅的に示している．次に，こうした手法を実際に適用する際には，計測装置の精度の制限や，計測コストや容量等の現実的な制約から，必ずしも十分な計測情報が利用できるとは限らず，計測が困難な対象物や環境では写実的な再現を行うことができないという問題提起がなされる．以降に続く3つの章ではこの問題を解決するための基礎的な手法が提案される．

第2章では，自動モーフィングに基づく視点画像補間法を提案している．この手法では，描画対象の幾何情報が全く利用できない場合に，形状の再構築を行うことなく，画像のモーフィング処理によって自由視点画像を合成する．まず，事前知識なしに，与えられた2次元画像間の密な対応を推定し，この対応点に基づき画像を変形・混合することによって自由視点画像を生成する．画像を対応付けするための特徴量の抽出手法として，人間の初期視覚で用いられているものと類似した，回転偏微分ガウスフィルタを用いたフィルタバンクを提案している．また，このようにして得られた画像特徴の対応付けを行うために，局所解を避けながら目的関数を最小化する手法を提案している．提案法では，透明物体やテクスチャのない均質な物体に対しても，写実的な視点画像補間が可能であることが複数の実験結果を用いて示されている．

第3章では，Pop-up Light Field法と呼ばれる基礎的なモデル生成・描画手法を提案している．この手法では，一つ目の手法と同様に幾何形状が利用できず, さらに入力画像から付加的な情報を得ることが難しい場合，利用者による対話的な幾何モデル生成を用いて, 写実的な表示を実現している．提案法では，取得した計測情報を基にLight Field表示を行い，現実感を損なっている部分に対して層状構造(Coherent Layers)化処理を行うことによって描画画質を改善する．この処理は利用者が対話的に行うことが可能で，そのためのユーザーインターフェースを提案している．また，Layer化によって生じる，対象物の輪郭線付近におけるエイリアスを防ぐために，視点画像間で一貫性のあるアンチエイリアシングを実現するCoherence Matting法を提案している．提案法では，Layer化を繰り返すことにより，利用者の目的に応じた写実性を持つ自由視点画像の合成が可能であることが理論的解析，および実験により示されている．

第4章では，Microfacet Billboarding法と呼ばれる基礎的なモデル生成・描画手法を提案している．この手法では，光学情報に加えて粗い幾何情報も利用し，既存の計測装置では取得が困難な微細な形状を持つ対象物に対しても写実的な描画を実現している．まず，得られた幾何情報の信頼度を計算し，精度に応じて対象物の形状を，大域的，局所的(視点依存)モデルの組み合わせとして表現する．次に大域的形状に基づき視点依存の微小面集合を用いて対象物の形状を近似表現し，視点依存距離マップ，視点依存テクスチャマップを用いて詳細な描画を行っている．また，テクスチャ画像の透過度推定を行うことにより，光学センサの解像度以下の形状を扱うことができ，本手法は，樹木や毛髪といった形状計測が困難な物体に対しても適用可能であることが述べられている．また，この手法は，計測結果の幾何情報の解像度が高いときModel-Based Rendering法に近づき，幾何情報の精度が低いときImage-Based Rendering法になるという特徴を持つという意味で，既存手法を包含する枠組みと考えることが可能である点が述べられている.

第5章では，提案した3手法の新規性，制限，および将来課題が示されている．また各手法の関係について述べ，これらの統合についても示唆されている．

なお、本論文第3章はMicrosoft Research AsiaのHarry Shum博士との共同研究であるが、論文提出者が主体となって開発、分析、検証を行ったもので、論文提出者の寄与が十分であると判断する。

以上これを要するに、本論文は、コンピュータビジョン技術に基づいたリアルな画像生技術に関して、極めて有意義な成果を得ている。

よって本論文は博士（情報理工学）の学位請求論文として合格と認められる。