近年,いわゆる明るさ解析と呼ばれる物理ベースの光学的な画像の解析が,コンピュータビジョン(CV)だけでなくその周辺の研究領域においても注目を集めている.特に,コンピュータビジョンとコンピュータグラフィックス(CG)の学際領域においては,写実的な画像生成を目指して,物体の幾何学的・光学的特性やシーンの光源分布を実世界の画像からモデル化する研究が注目されている.また,コンピュータビジョンとパターン認識(PR)の学際領域においては,撮影条件を制御することが困難な実世界シーンにおいて人物・物体を認識することを目指して,画像生成過程の理解に基づいて人物・物体の見えをモデル化する研究が注目されている.物体の見えが物体を観察する視点や物体の姿勢だけでなく物体を照らす光源にも依存して大きく変化することから,照明条件の変動に伴う物体の見えの変化を考察することは,画像の生成,認識,および,理解のために重要である.本論文では,照明変動に伴う物体の見えの変化に関する考察を軸に,CVとCG,ならびに,CVとPRの学際領域の問題に取り組む.

一般に,あるシーンにおける物体の画像は,物体の形状,反射特性,および,シーンの光源分布の関数として記述される.シーンの幾何学的・光学的特性が与えられたときに画像を生成する問題は,順問題と呼ばれ,CGそのものである.逆に,CVで扱う,画像が与えられたときにシーンの幾何学的・光学的特性を推定する問題は,逆問題と呼ばれ,上述のように写実的画像生成のためにも重要である.本論文の前半では,このような逆問題に取り組む.特に,物体表面上で観察される陰(attached shadow)に基づいて物体表面の法線を推定する手法,ならびに,ある物体が他の物体に落とす影(cast shadow)に基づいてシーンの光源分布を推定する手法を提案する.

一方,物体の見えは,物体の幾何学的・光学的特性を陽に獲得しなくても,画像から直接モデル化することも出来る.画像を単なるパターンとして扱うPRのアプローチには,ある条件下の物体を認識するためには同様の条件下で撮影した物体の画像が必要になるという問題があるが,画像生成過程の理解に基づいて撮影条件の変動に伴う見えの変化を画像から予測することで,この問題を軽減することが出来る.本論文の後半では,照明変動に伴う人物・物体の見えの変化を,画像から直接モデル化する問題に取り組む.特に,遠方光源下,および,近接光源下における拡散反射成分と陰をモデル化する手法を提案するとともに,その顔認識への応用について議論する.

本論文は「Physics-Based Modeling of Shape, Lighting, and Appearance from Images」(画像からの形状・光源・見えの物理ベースモデリング)と題して,照明変動に伴う物体の見えの変化に関する考察を軸に,画像からの物理ベースモデリングについて論じたものであり,全体で7章により構成されている.

第1章「Introduction」(はじめに)では,コンピュータビジョン(CV)だけでなくCVとコンピュータグラフィックス(CG)あるいはパターン認識(PR)との学際領域の研究として,本研究の背景と目的について論じたあとで,本論文で提案される4つの手法の概要について述べている.

第2章「Fundamentals of Reflectance Analysis」(反射解析の基礎)では,第3章以降の議論の準備のために,物体表面で観察される反射やカゲなどの物理現象,および,それらを記述する基本的な物理モデルを解説している.

第3章と第4章では,CGのためのCVという位置付けで,画像生成過程を逆に辿って,画像から実物体・実シーンのモデルを獲得する手法を提案している.

第3章「Surface Normal Recovery from Attached Shadows」(陰に基づく法線推定)では,照明条件のみが異なる画像から,物体表面の法線を推定する手法が提案されている.従来の照度差ステレオ法は,特定の反射モデルを仮定するために適用範囲が限られ,また,光源方向既知の仮定から光源方向を較正する必要がある.提案手法は,様々な光源方向の下で観察される陰により物体表面を符号化したのち,符号の類似度と法線の類似度の関係に基づいて法線を推定するものであり,未知の反射特性・未知の光源方向という条件下において法線を推定できるという特長を持つ.実画像と合成画像を用いた実験を行い,提案手法の有効性を確認している.

第4章「Illumination Recovery from Cast Shadows」(影に基づく光源推定)では,ある物体が他の物体に落とす影(cast shadow)を手掛かりにして,シーンの光源分布を推定する手法が提案されている.従来,影に基づく光源推定がうまく働くことは経験的に知られていたが,本研究では,球面調和関数を用いた周波数解析により,影に基づく光源推定がなぜうまく働くのかを理論的に明らかにしている.また,影に基づく光源推定において,どのような基底関数を用いて光源分布を表現すべきかを議論して,Haarウェーブレットを用いた効率的な推定法を提案している.実画像と合成画像を用いた実験により,Haarウェーブレットを用いた手法が球面調和関数を用いた手法よりも優れていることを示している.

第5章と第6章では,PRのためのCVという位置付けで,アピアランスベースの認識を主眼として,画像生成過程に基づいて,照明変動に伴う物体の見えの変化を少数の画像を用いて表現する手法を提案している.

第5章「Modeling Appearance under Distant Lighting」(遠方光源下における見えのモデリング)では,単一遠方光源下における拡散反射成分と陰の表現,および,その顔認識への応用を議論している.遠方光源下の拡散反射成分を表現することで認識を行う線形部分空間法を,光源推定と画像生成による認識と捉えて,鏡面反射成分やカゲを含む画像にも適用できるように拡張している.具体的には,鏡面反射成分やカゲなどの外れ値に頑健なRANSACを用いた光源推定法を提案するとともに,拡散反射成分だけでなく陰も生成する認識手法を提案している.顔画像データベースを用いた実験を行い,提案手法が先行研究を上回る性能を持つことを示している.

第6章「Modeling Appearance under Nearby Lighting」(近接光源下における見えのモデリング)では,第5章の内容を拡張して,近接光源下における物体の見えの表現について議論している.近接光源下の物体の見えは,光源の見かけの明るさと方向が物体表面上の各点で異なることから,解析が容易ではない.提案手法では,近接光源下で撮影された画像を適切に分割することで,各領域を遠方光源下で撮影された画像として扱えることを示している.実画像と合成画像を用いた実験により,画像分割の効果を示すとともに,提案した画像分割法の有効性を確認している.

第7章「Conclusions」(まとめ)では,本論文で提案された手法のまとめ,および,それぞれの新規性と貢献を簡潔に述べたうえで,今後取り組むべき課題を議論している.

以上これを要するに,本論文では,画像からの物理ベースモデリングという重要な課題に対して,照明変動に伴う見えの変化に関する考察を軸に,陰に基づいて物体表面の法線を推定する手法,影に基づいてシーンの光源分布を推定する手法,遠方光源下ならびに近接光源下における物体の見えを表現する手法を提案し,実画像と合成画像を用いた実験により各手法の有効性を示したものであり,電子情報学上貢献するところが少なくない.

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる。