仮想現実感システムは、仮想モール、電子博物館、ゲーム等さまざまな分野での応用が期待されており、近年さまざまな取り組みがなされている。特に、仮想現実感モデルの効率的生成手法に関しては、精力的に研究が行われている。現在、仮想現実感モデルの多くは、オペレータにより手動で作成されているため、時間、コスト等の観点からして、自動化が強く望まれている。そこで、現実世界を計測することにより、仮想現実感モデリングを行う手法の開発が行われてきた。

　仮想現実感モデリングは，大きく(1)幾何モデリング，(2)光学モデリング，(3)環境モデリングの3つの要素に分離することが可能である．幾何モデリングに関しては，距離センサで対象物体の3次元形状を計測し3次元幾何モデルを生成する手法についてさまざまな研究が行われてきた．しかしながら，より現実感高いモデリングを行うためには，光学モデリング，環境モデリングが非常に重要である．

　本論文は，光学モデリング，環境モデリングの分野に関連する研究であり，幾何モデリングによって得られた3次元幾何モデルに色情報を付加することにより現実感を高めることに主眼を置いている．

　3次元形状に色情報を付加するための有効な手法の一つとして，3次元幾何モデルのテクスチャリングが挙げられる．テクスチャリングとは，3次元幾何モデル上にデジタルカメラ等で計測したカラー画像(テクスチャ)を貼り付ける手法である．この手法には幾何学的問題，光学的問題の2つの問題がある．幾何学的問題は，テクスチャ撮影時のカメラと3次元幾何モデル計測時の距離センサの相対的な位置関係を決定する問題である．一般にカラー画像撮影時のデジタルカメラの位置と距離画像計測時の距離センサの位置は異なるので，得られた3次元幾何モデルの正しい位置にテクスチャを貼り付けるためには両者の位置関係を決定する必要がある．一方，光学的問題は，入力テクスチャ間の色調の整合性を保つ問題である．観測される画像は、光源、物体の光学的、幾何的性質の影響を受けるため、光源状況が異なる複数の画像を用いて単純にテクスチャリングを行うと、テクスチャ間のつなぎ目に色の不連続が生じてしまうことになる。これらの影響を除去するために、得られた複数枚の画像間の色調補正を行う必要がある。

　本研究では，幾何学的側面に関してテクスチャリングシステムを，光学的側面に関してテクスチャ間の色調補正手法を開発する．

　テクスチャリングシステムは，距離画像とカラー画像を同時に計測し，その相対的な位置関係(カメラパラメータ)を決定し，得られた3次元幾何モデル上にカラー画像を貼り付けることにより現実感の高いモデルを生成するシステムである．既存の手法として，独立に観測された距離画像とカラー画像からそれぞれ特徴を抽出し，その特徴が矛盾なく一致するように最適化を行うことにより，自動的にカメラパラメータを推定する手法が提案されているが，最適化によりカメラパラメータを推定する手法では，初期条件や収束性等の問題が発生する場合がある．このため，本システムでは確実にカメラパラメータを推定するためにキャリブレーション物体を用いてあらかじめカメラパラメータを推定することとした．また，本システムでは，距離センサ上にデジタルカメラを固定し，距離画像とカラー画像を同時に撮影を行うため，距離センサとデジタルカメラの位置関係は一連の計測時には固定されており，一回のキャリブレーションを行うだけでよい．推定されたカメラパラメータを用いることにより，観測されたカラー画像を3次元幾何モデルの上に正しく貼り付けることが可能である．

　次に，上記システムを用いて計測されたデータに対して光学的側面に関して検討を行う．カメラパラメータが正しく推定されていても，光源環境の異なる2枚の画像をそのまま3次元幾何モデル上に貼り付けると，画像間につなぎ目が生じてしまう．これは，観測される画像は，対象物体の周りの光源環境に依存していることに起因しており，つなぎ目なく貼り付けるためには，画像の色調補正を行うことが必要である．本研究では，物体の固有の性質である反射率(albedo)を考慮して色調補正を行う手法を2つ提案する．

　1つ目の手法は，クロマティシティに基づく手法であり，観測された画像が無限遠点光源下のものであり，クロマティシティが同じであれば画像強度は同じであるという仮定が成立する場合に適用可能な手法である．本手法では，各入力画像に対して，クロマティシティ-Tマップと呼ばれる分布図を作成し，それを基に擬似albedo画像を作成する．得られた擬似albedo画像は3次元幾何モデル上で同じ点であれば，それぞれの画像上でも同じ色となるので，これを3次元幾何モデルに貼り付けることによりつなぎ目の無いモデルを得ることが可能である．本手法は，特に，3次元幾何モデルの誤差が大きい場合にもその誤差を補正する効果が期待できる．

　クロマティシティに基づく手法は簡便な手法であるが，点光源下であること等の制約がある．そこで手法を一般光源環境下でも適用可能となるように改良し，2つ目の手法である光源球に基づく手法を提案する．本手法は，複数光源環境下の画像やセルフシャドウ等が存在する画像に対しても適用可能な手法である．仮想的に物体を覆うような半球状の面光源(光源球)を考え，その面光源を多数の点光源で近似することにより光源環境を近似する．各点光源で白色の3次元幾何モデルをレンダリングし，これを基底画像とする．基底画像の線形結合で対象物体の光源情報画像(Illumination画像)を近似する．一方で，画像強度は，albedoとIllumination画像との積であり，光源環境の異なる2枚の画像が与えられると，albedoが2枚で同一であることから，Illumination画像に対する条件式が得られる．この条件式を解くことにより，2枚の画像の色調を連続的につなぎ合わせるための光源環境が得られ，入力画像より，擬似albedo画像を得る．先に述べたとおり，得られた擬似albedo画像は3次元幾何モデル上で同じ点であれば，それぞれの画像上でも同じ色となるので，これを3次元幾何モデルに貼り付けることによりつなぎ目の無いモデルを得ることが可能である．

　本研究では，上記のテクスチャリングシステムを開発し，本システムを用いて得られた実データに対して2つの色調補正の手法を適用し，その有効性の確認を行う．

　本論文は、「実物体の仮想化のための3次元幾何モデルのテクスチャリング手法」と題し、実物体を観測することにより得られるカラー画像及び3次元幾何モデルを用いて、簡便に現実感の高い仮想現実感モデルを生成する手法を提案するとともに，実際に仮想現実感モデルを生成しその有効性を確認した研究をまとめたものであり、5章で構成されている。

　第1章「はじめに」では、本研究の枠組みであるカラー画像を3次元幾何モデルに貼り付けるテクスチャリングの手法について述べ、研究の目的がテクスチャリングの手法を用いた簡便な仮想現実感モデル生成手法の開発にあることを示している。また、テクスチャリングの問題を大きく、(1)幾何学的問題、(2)光学的問題に分類し、それぞれの従来の研究について紹介している。幾何学的問題に関しては、観測されたカラー画像、3次元幾何モデルの特徴をそれぞれ抽出し、最適化の手法を用いてカメラパラメータを決定する手法が存在するが、初期位置、収束性等の問題が発生する場合がある。一方、光学的問題に関しては、カラー画像撮影時の光源環境を考慮せず、各カラー画像間の平均を用いてテクスチャをつなぎ合わせる手法が一般的であり、画像撮影時の光源環境が異なる場合への適用が困難であるという問題がある。そこで、本研究では、上記の問題を解決するため、キャリブレーションの手法を用いたテクスチャリングシステムの開発及び光源環境を考慮した色調補正手法の開発を行っている。

　第2章は「テクスチャリングシステム」と題し、テクスチャリングにおける幾何学的問題をキャリブレーションの手法を用いて簡便に解決するシステムの開発について述べている。本システムは、カラー画像及び3次元幾何モデルの計測及び両者間のカメラパラメータの推定を行い、カラー画像を3次元幾何モデルの幾何学的整合性が取れた位置に貼り付けるシステムである。また、開発したシステムを用いて国宝である東大寺戒壇院の広目天像のテクスチャ付き3次元幾何モデルを実際に生成することによりその有効性を確認している。

　第3章は「クロマティシティに基づく色調補正手法」と題し、第2章のシステムにより得られるテクスチャ付3次元幾何モデルに残された光学的問題を解決する手法であり、テクスチャリングに用いるカラー画像の陰影情報を考慮し3次元幾何モデル上に各カラー画像をつなぎ目なく貼り付けるための色調補正手法について述べている。本提案手法では、撮影されたカラー画像から光源環境に依存しない擬似albedo画像を推定し、3次元幾何モデルに貼り付けることにより、簡便に画像間のつなぎ目のない仮想現実感モデルを生成している。

　第4章は「光源球に基づく色調補正手法」と題し、第3章の手法での光源環境に関する制約や物体の反射率に関する制約を取り除き、光源環境を多数の点光源基底で近似し、陰影画像を各基底光源下で3次元幾何モデルをレンダリングした基底画像の線形結合であらわすことにより、各入力カラー画像の擬似albedoを推定する手法について述べている。さらに、本手法におけるIll-posed,　Ill-conditionedの問題について考察を行い、本手法の目的である擬似albedo推定に対しては、影響を与えないことを示した。

　第5章は「結論」であり、本論文の成果を要約するとともに今後の課題が示されている。

　以上これを要するに、本論文では、仮想現実感モデル生成に対して、テクスチャリングの枠組みを用いた一連のモデリング手法に関する取り組みがなされており、幾何学的側面に関しては、簡便にテクスチャ付3次元幾何モデルを生成するシステムを開発し、光学的問題に関しては、クロマティシティに基づく手法、光源球に基づく手法の2つの相補的な手法を提案しており、文化財のデジタル保存等を行うための仮想現実感モデリングに必要となる技術の基盤となることが期待され、電子情報学上貢献するところが少なくない。よって博士(情報理工学)の学位請求論文として合格と認められる。