画像の陰影を手がかりとし,画像から物体の3次元形状を復元する問題は,陰影からの形状復元と呼ばれ,コンピュータビジョンの分野でここ数十年にわたって研究が行われてきた.陰影とは物体表面の面の向きが空間的に変化によって生じる画像上の濃淡のことを言う.この問題では,画像照度等式-物体表面の面の向きを表面の勾配(p,q)によって表すとき,画像の濃淡がある関数R(p,q)を用いてE(x,y)＝R(p,q)と表せるという関係-に基づいて形状を復元することを考える.この関数R(p,q)は物体表面の反射特性と画像を取得する際の環境の照明条件から決まり,反射率分布図と呼ばれる.

　この陰影から形状を復元する方法には,1枚の画像だけからでも形状情報を獲得できる可能性がある.さらに,例えば立体視や運動からの形状復元など,その他の画像からの3次元形状復元の方法では必要となるような一般に困難な前処理が不要である.このような利点が魅力となって,陰影からの形状復元の問題はこれまで少なくない関心を集めてきた.

　しかしながら,この問題に対し様々な方法が提案されてきたが,それらは必ずしも成功していない.これまでの方法が,多くの確定的な事前知識を必要とし,柔軟性に欠けることが理由である.ほとんどの方法では与えられる画像の他に,反射率分布図があらかじめ完全に分かっていることを前提とした.このために,対象とし得る画像に多くの制約が課せられることになる.本論文ではこのような問題点を踏まえ,少ない事前知識をもとにどれだけの価値ある形状情報を取り出せるかという立場で問題を考えた.

　本論文では,画像を1枚だけ利用する方法と,画像を複数枚利用する方法の2つを述べる.1枚の画像から形状情報を得る問題については3つの章を当てている.特異点まわりの局所解の一意性と大域解の一意性に関する条件を示した3章,反射特性の定量的な知識がない場合に凹凸などの形状の種類を推定する方法を述べた4章,近接光源下の陰影から3次元形状の復元を行う方法について述べ,その方法の内視鏡画像への応用を示した6章である.また,画像を複数枚利用する方法としては,3枚の画像の陰影から物体表面の曲率符号を計算する方法を5章に述べる.以下これらを順に述べて行く.

　3章では,陰影からの形状復元問題における解の存在や一意性について述べる.形状を画像面からの奥行きz(x,y)で表すと,面の傾きは(p,q)＝(z_x,z_y)と表すことができ,E(x,y)＝R(z_x,z_y)をz(x,y)について解くという1階の偏微分方程式として問題は定式化される.この定式化の下で,この問題に対する解の存在と一意性についてこの章ではいくつかの証明を行なった.

　まず,特異点と呼ばれる反射率分布図の最大点に対応する画像の点まわりの局所解の存在について示した.なめらかな形状は各点で凸,凹,鞍状の3種類の形に分類できる.以前の研究では,凸,凹の形状それぞれが1つずつ特異点のまわりの局所解として存在することが示されている.特に一般に鞍状の解は2つに決まり,それ以外は解は不定となること,そして不定となるときの条件を新たに明らかにした.具体的には,次のようにして行なった.R(p,q)の最大点を(p₀,q₀),最大値R(p₀,q₀)をとる画像の点を(x₀,y₀)とする(すなわちE(x,y)＝R(p₀,q₀)).E(x,y)＝R(p,q)を(x₀,y₀)で2階微分すると,r＝z_xx,s＝z_xy,t＝z_yyに関する連立2次方程式を得る.これを解くことにより,凸,凹の解が1つずつ,鞍状の解が一般に2つあり,R_ppE_xx-R_qqE_yy＝0,R_ppE_xy+R_pqE_yy＝0,R_qqE_xy+R_pqE_xx＝0の3条件が成立する特別な特異点のまわりでは解が不定となることを示した.

　次に,大域的な解の一意性と存在についても述べた.等高線を追跡することで陰影から形状を求める方法がある.この方法に基づいて,R(p,q)が最大点(p₀,q₀)に関して

　という不等式を満たせば,等高線の方法によって一意に解を定められることを示した.さらにこれを利用し,大域解の一意性について,画像内の特異点と高々同じ数しか可能な形状はないことを示した.上のR(p,q)に関する不等式の条件は,拡散反射ではまず成り立つ.また,この条件を満たすか否かによって反射特性を分類することで,形状が一意に定まる反射特性のクラスが定義される.一意性とは別に,解が存在するための条件が厳しいことを述べ,これを利用して反射率分布の確かさが判断できる可能性があることを述べた.

　4章では,反射率分布図の知識が完全でないとき,画像の濃淡からどれだけの形状の情報を引き出せるかについて,特異点の種類(凹,凸,鞍点のどれか)に関する情報が濃淡から直接得られることを示した.このような情報は,照明変化によらず得られる形状の情報という意味でphotometric invariantsと呼ばれ,ここではその1つを示した.SFS問題における従来研究のほとんどは,画像の各点での密な奥行き(densedepth mapと呼ばれる)を推定しようとするもので,そのためにこそ過剰な理想化と前知識を必要としたと言うこともできる.本研究は,形状の凹凸などの大まかな形状情報であれば,反射特性や照明条件に関する前知識がほとんどない場合でも,陰影から引き出せることを述べたものである.例を図1に示す.(a)の形状に光を当てて得た画像の濃淡の等高線が(b),(c)である.(b),(c)において「8」の字を作る濃淡の等高線が認められるが,この「8」の字のそれぞれの穴の内部が,照明条件,反射特性にほとんど関係なく,正の曲率をもつ領域と負の曲率をもつ領域に存在することを示した.

図1.適当な曲面(z(x,y)＝-0.3x²-y²-0.3exp(-3x²-2y²))に対し,照明方向を変化させたときの等濃度線の分布の変化.実線は等濃度線を,破線は放物的曲線を表す.「8」の字を描く等濃度線の2つの穴はそれぞれ異なるガウス曲率の符号をもつ領域(楕円的領域と双曲的領域)にあることが分かる.この性質は照明方向の変化によらない.

　5章では,異なる3方向から対象物体に光を当てて撮った3枚の画像から,その物体の表面の各点で,曲率の符号を決定する方法を提案した.提案方法で画像を取得する状況は,有名なphotometric stereoのそれと同様であるが,そこには大きな違いがある.提案方法では,光源の方向は未知でよく,反射特性も未知でよくしかもそれはほぼどんなものであってもよいことである.既存のphotometric stereoの手法では基本的には照明分布と反射特性は既知でなければならなかった.この方法では,いずれもがほとんど任意であってよく,未知でよい.取得した画像3枚だけを元にして,前知識なしに表面の曲率符号が計算できる.

　曲面の曲率(正確にはガウス曲率)の符号は,曲面形状固有の量で,視点や姿勢に不変な特徴である.このことから様々な用途,例えば物体認識や姿勢推定などへの応用が期待できる.広く利用されているレンジファインダを使えば,対象物体の表面の3次元データを得て,それを元に曲率情報を得ることもできるが,それには2階の微分の計算が必要となる.この場合,得られる結果はデータのノイズに非常に敏感となり,精度の高い結果を得ることは難しい.これに対して提案手法では,画像の濃淡の1階微分のみで結果を得られるため,ノイズから受ける影響がより小さくなっている.

　計算方法とその原理を簡単に説明する.3通りに変えて得た画像を

　と書く.本手法は画像の各点で,次の行列の行列式を計算すると,その符号は表面の曲率の符号(かそれを反転したもの)に等しくなることに基づく.

　この理由は上の行列式を変形すると

　となり,右辺の最後の行列式は表面の曲率(に相当する量)になることにある.この方法に基づいて計算した結果の一例を図2に示す.

図2.実画像に対する領域分割の結果.(a),(b),(c)照明を変化させて得た3枚の画像.(d)ガウス曲率符号の分布.双曲的点は黒,楕円的点は白で表示してある.

　6章では,近接光源の下での陰影からの形状復元の手法を示した.従来の研究では通常,光源は物体から遠く離れていると仮定され,また画像の投影変換は正射影で近似された.このため,このような仮定を満たさない条件下には従来手法は応用できなかった.これに対して,本章では,光源が物体表面に近いことと,画像の投影変換としてより実際のカメラに近い透視投影の2つを考慮し得る方法を考えた.そのために,近接光の下での陰影と形状の関係を偏微分方程式として表し,これを光源から等距離にある形状の上の曲線を追跡することで,この方程式を解くようにした.この曲線の画像面における像の曲線をCと書くと,問題はこの曲線Cの発展方程式に変換される.これを数値計算するのに,等高面の方法と呼ばれる材料科学の分野を中心に発展した数値計算方法を導入し,計算の安定化を図った.そこでは,曲線Cをあるtについてその零点集合で与えるような関数(x,y,t)を用いて((x,y,t)＝0となる(x,y)の集合がCになる),問題は次のような(x,y,t)に関する微分方程式の初期値問題に帰着される.

　さらに,この手法を内視鏡画像に応用した.内視鏡では,画像の生成の際に対象を照らす光源が,画像を取得するためのレンズの近傍に位置するため,視線方向と光線の方向が一致し,問題の取り扱いが簡単になる.人体内部の胃壁を撮影した内視鏡画像から,3次元形状を復元することを試み,手法の有効性を確認した.復元例を図3に示す.

図3.胃壁の内視鏡画像とそれを元にした形状復元例

　7章ではまとめを行う.本論文では1枚の画像からの形状復元の問題について,最初に基礎的な理論,次に前知識のないときに大まかな形状を知る方法,そして近接光を対象とし得る形状復元の方法を述べた.また複数枚の画像から形状情報を得る問題について,3枚の画像から前知識のなしに物体表面の曲率の符号を計算する方法を述べた.

　画像の陰影を手がかりとし,画像から物体の3次元形状を復元する問題は,陰影からの形状復元と呼ばれ,コンピュータビジョンの分野でここ数十年にわたって研究が行われてきた.陰影とは物体表面の面の向きが空間的に変化することなどにより生じる画像の濃淡変化を言い,このとき画像の濃淡の値は,反射率分布図と呼ばれる面の向きの関数として表され,物体表面の反射特性と画像を取得する際の環境の照明条件から決まる.このような陰影を利用すると,たった1枚の画像だけからでも形状情報を獲得できる可能性がある.また,例えば立体視や運動からの形状復元など,その他の画像からの3次元形状復元の方法で必要となるような,やっかいな前処理が不要となる.このような利点が魅力となって,陰影を用いて対象形状の情報を獲得する問題は,少なくない関心を集めてきた.

　現在までに,陰影に基づいて形状復元を目指す様々な方法が提案されてきたが,しかしながら,それらは必ずしも成功していない.これまでの方法が,多くの事前知識を必要とし,柔軟性に欠けることが理由である.ほとんどの方法では,上記の反射率分布図の完全な知識が必要とされた.このために,対象とし得る画像に多くの制約が課せられることになる.本論文では,このような問題点を踏まえ,どのような知識があるとどれだけの価値ある形状情報を取り出せるかという,画像陰影からの形状復元の根本的な問題を論じて,その主要な問題のいくつかをはじめて明らかにするとともに,その理論を応用した具体的な形状復元法を実験とともに示したもので,「画像陰影からの形状復元に関する研究」と題し,8つの章から成る.

　まず1章では,上記の問題点を指摘し,本論文が目指すものを明らかにしている.

　2章では,物体表面での光の反射現象を詳細に述べ,陰影が画像の濃淡として物理的にどのように記述されるかを述べている.

　3章では,陰影からの形状復元問題に対し,これまでに提案された方法を網羅し,それぞれの手法どうしの比較や問題点の指摘をしている.

　以上を踏まえて,4章以降で本論文での主張と提案する方法について述べている.

　4章では,陰影からの形状復元問題における解の存在と一意性について述べている.これまでにランバート反射と呼ばれる比較的単純な反射特性を対象とした場合には,画像と反射率分布図の両方が与えられたとき,可能な形状が数個しかないことが知られているが,ここではこの議論を,もっと一般的な拡散反射のクラスについて拡張した.これにより,様々な物体に対して,形状復元の可否を論ずることができるようになった.また,解の存在のための条件が,実はこれまで考えられてきたものより厳しく,例えば任意に画像と反射率分布図を与えても,解となる形状は存在しないことを示している.解の一意性と合わせてその存在まで含めて考えると,現実の陰影画像に対する解は一つに定まると考えてよいことを主張している.

　5章では,反射率分布図の知識が完全でないときに,画像の濃淡からどれだけの形状の情報を引き出せるかについて考察し,特異点(最大の明るさをもつ画像の点)の種類(凹,凸,鞍点のどれか)に関する情報が濃淡から直接得られることを示している.陰影からの形状復元問題における従来の研究のほとんどは,画像の各点に対応する対象表面の密な奥行きを推定しようとして,過剰な理想化と前知識を必要としていたのに対し,本研究では,形状の凹凸などの大まかな形状情報であれば,反射特性や照明条件に関する前知識がほとんどない場合でも,陰影から引き出せることを明らかにしている.

　6章では,異なる3方向から対象物体に光を当てて撮った3枚の画像から,その物体の表面の各点で,曲率の符号を決定する方法を提案した.画像を取得する時の条件は,従来提案されている照度差ステレオとは異なり,光源の方向が未知でよく,また,反射特性についても未知でよく,しかもほとんど任意であってよい.本手法によれば,取得した画像3枚だけから対象表面の曲率符号が計算できる.曲面の曲率(正確にはガウス曲率)の符号は,曲面形状固有の量で,視点や姿勢に不変な特徴である.このことから本手法の様々な用途,例えば物体認識や姿勢推定などへの応用が期待できる.

　7章では,近接光源の下での陰影からの形状復元の手法を示している.従来の研究では通常,光源は物体から遠く離れていると仮定され,また画像の投影変換は正射影で近似された.このため,このような仮定を満たさない条件下には従来の手法は応用できなかった.これに対して,本章では,光源が物体表面に近いことと,画像の投影変換としてより実際のカメラに近い透視投影の2つを考慮し得る方法を考えた.そのために,近接光の下での陰影と形状の関係を偏微分方程式として表し,光源から等距離にある形状の上の曲線を追跡することで,この方程式を解くようにした.結果として,問題を曲線の画像面における像の曲線の発展方程式に変換した.これを数値計算するのに,等高面の方法と呼ばれる材料科学の分野で発展した数値計算の方法を導入し,計算の安定化を図っている.

　さらに,この手法を内視鏡画像に応用した例を示している.内視鏡では,画像の生成の際に対象を照らす光源が,画像を取得するためのレンズの近傍に位置するため,視線方向と光線の方向が一致し,問題の取り扱いが簡単になる.人体内部の胃壁を撮影した内視鏡画像から,3次元形状を復元することを試み,手法の有効性を確認した.

　8章では,まとめである.

　以上を要するに,本論文では,陰影に基づき1枚の画像から形状を復元するための方法について,まず基礎的な理論となる解の存在と一意性の問題について述べ,次にほとんど前知識のないときに大まかな形状を知る方法を述べた.また,3枚の画像からほとんど何の前知識もなしに,物体表面の曲率の符号を計算する方法を示し,その方法が現実の工学的問題に応用できることを示した.そして近接光を対象とし得る形状復元の方法を述べ,内視鏡画像への応用を述べた.これらの成果は,ここで主張されている結論,提案されている形状復元の手法のそれぞれが,画像陰影からの形状復元に関する研究に大いに貢献するものであるのみならず,計算機視覚の問題に対する理論構築の新しい方法論を提示するもので,計測工学の発展に寄与するところが少なくない.よって,本論文は博士(工学)の学位請求論文として合格と認められる.