最近,仮想現実空間ブラウザやCADシステムあるいはロボットビジョン,モーションキャプチャなど三次元データを直接扱うアプリケーションが増えてきている.しかしCADなどで大きなシーンの三次元データを作成することは非常に繁雑である.またロボットビジョン,モーションキャプチャなどでは,変化のあるシーンから短時間に三次元データを得なければならない.これらのアプリケーションにおいては,三次元シーンをカメラで撮影し,得られた二次元画像から三次元データ得る計測方法が不可欠である.三次元計測の手法においては,計測対象の形状や色の特徴あるいは動きや変形に影響されない,ノイズに対して頑強である,短時間の測定で多くのデータが得られるなどの条件が求められる.

　三次元形状復元の代表的方法の一つに,パターン光投影法がある.これは,ある方向からプロジェクタでパターン光をシーンに投影し,それを別の方向からカメラで撮影し,観測されたパターン光上の点の三次元座標を求める能動的な方法である.カメラとパターンプロジェクタの座標系の間の関係が既知で,画像で観測されたパターン光上の各点がそれぞれプロジェクタのどこから投影されたかが同定できれば,三角測量の原理から,それらの点に対応する三次元座標が計算できる.投影されたパターン光とそれ以外の部分とのコントラストが十分であれば,対象のテクスチャの有無に関わらず画像からパターン光を抽出することは容易である.またパターン光投影法では,パターン光が観測された位置さえ分かればよいので,輝度値のノイズへの耐性も強い.しかしこれまでのパターン光投影法は,ある決まったパターン光のみしか利用せず,また得られた画像のそれぞれを独立に扱っているという意味で,一つの固定されたシーンを計測する方法であった.

　そこで一般の変化のあるシーンをパターン光投影法の枠組みで扱うことを目的として,本研究では,ある画像でのパターン光の各要素の同定結果を利用して,次の画像でより多くのパターン光の要素を同定できるようにパターン光を適応的に変更する適応的光投影法を提案する.

　本研究では,図1のようなシステムを用いた.垂直にならんだCCDビデオカメラと液晶ビデオプロジェクタがそれぞれホストマシンに接続されている.カメラとプロジェクタのそれぞれの座標系の間の関係は予めキャリブレーションによって求められる.このシステムでは任意のパターン光を生成できるので,原理的には,プロジェクタを一台使うようなあらゆる種類のパターン光投影法をプログラム的にシミュレートすることができる.またこのシステムは全体として可動である.本研究では,このシステム上にSPIKEという計測アルゴリズムを実現し,実際の三次元シーンの計測実験を行い,その有効性を確かめた.

　SPIKEアルゴリズムでは,パターン光を構成する主な要素としてstripeと呼ばれる水平な長い線分の集合を用いる.またこれらを同定する鍵として,プロジェクタスクリーン上のエピポーラ線の部分集合とstripeとの各交点にspikeと呼ばれる短い線分を配置する.spikeを配置するエピポーラ線をprobe線と呼ぶ.またprobe線に対応する画像上のエピポーラ線をprobe-echo線と呼ぶ.このような構成から,画像において,あるprobe線上のspikeに対応する像を探すには,シーンの構造に関わらず,対応するprobe-echo線のみを探せばよいことが分かる.あるspikeと交差するstripeは一つしかないため,もしspikeの像が同定され,それにstripeの像が交差していたとすると,同時にそのstripeの像も同定できることになる.これがSPIKE計測アルゴリズムの基本的なアイディアである.なお,パターン光の要素は白(点灯)か黒(消灯)の二値のみをとるようになっている.stripeは全て常に白にしておく.spikeについては,状況により白黒を適応的に決める.

　SPIKEアルゴリズムでは,上記のエピポーラ線の拘束条件とあわせて,可視空間という概念を用いる.これは,カメラとプロジェクタの焦点深度から決まる計測可能な三次元空間,つまりカメラとプロジェクタの両方にはっきりと捉えられる空間である.この可視空間を適切に設定することにより,各stripeおよびspikeについて,それらが出現する画像の領域をある程度限定することができる.たとえば1つのstripeは三次元空間では平面をなすものと考えられるが,この平面の可視空間内の部分の画像への射影がstripeの画像での出現領域となる.spikeについても同様にprobe-echo線上での出現範囲を求めることができる.

　白spike(点灯するspike)の配置は,この可視空間から得られる拘束条件を利用して決定される.一般に,一本のprobe線について任意個の白spikeを配置したとすると,spikeと画像内のspike像との対応関係は一意には定まらない.一本のprobe線上にできるだけ多くの白spikeを同定が確実にできるように配置するには,可視空間によって決まる白spikeの出現範囲がお互いに重ならないようにすればよい.計測開始時の白spikeの配置は,この拘束条件と各stripeの画像への出現確率とを考慮して決定される.二枚目以降の画像を取込む際には,その前のパターンの同定結果を用いて白spikeの再配置を行う.

　パターン光をシーンに投影して,その反射光を撮影して画像を得たら,まず画像からパターン光の像の部分を抽出する．そのために,まずノイズ除去処理と局所的な閾値処理により周囲より明るい点を全て取り出し,さらにそれらをラベリング処理によって,連結成分ごとにまとめる.区分的に滑らかな表面をもつ物体を対象とする場合,通常は各連結成分にはstripeの像は一つしか含まれないものと期待されるが,異なる複数のstripeの像が含まれると分かった場合には,その連結成分は分割されるか,うまく分割できない場合には除去される.以下各連結成分は,一つのstripeの像か,それに一つ以上のspikeの像が交差したものであるとする.

　stripeの像は,基本的には,それに最低一つのspikeの像が交差している場合に同定可能である.システムの構成およびstripeとspikeの構成から,エピポーラ線の方向に関して,それらの像の幅は大きく異なると期待できる.このような幅の分布を調べ,判別分析法によって決まるある閾値以上の幅をもち,probe-echo線に十分に近く,かつ周囲の点と較べて十分に幅が広い部分をspikeの像として取り出す.またこのとき,各probe-echo線上のspikeの像は,対応するprobe線上のspikeの数以下であることも用いる.

　取り出されたspikeの像に対応する白spikeは,その配置に対する拘束条件から一意に同定できる.またそれらのspikeの像と交差しているstripeの像も同時に同定できる.なおspikeの像と交差していないstripeの像についても,他のstripeの像の同定結果から,対応するstripeを絞り込むことで同定ができる可能性がある.同定されたstripeの像については,それと交差する各エピポーラ線方向の断面に関する中央点を使って,それらに対応する三次元の点の座標を計算する.これらは,中央点に対応する三次元空間での直線とstripeに対応する三次元空間の平面の交点として簡単に得られる.

　同定のプロセスが終了したら,その結果を用いて,次の画像でできるだけ多くのstripeが同定できるように白spikeを再配置する.再配置にあたっては,シーンの変化が滑らかで次の画像に置いても今回の画像と似たようなパターン光の像が現れることを仮定する.この仮定は,もちろんシーンが急激に変化したときには無効であるが,そのような変化は基本的に予想不能であり,また仮にそのような変化が起った場合でも,このアルゴリズムでは誤った同定を行うことはない.ただし,白spikeの再配置が適切ではなく,同定できるstripe数は減る可能性はある.しかしシーンの変化が緩やかになれば再配置アルゴリズムは有効に働き,再び多くのstripeが同定できるようになる.

　白spikeの再配置は,各spikeに付与されるスコアに基づいて行われる.同定されたstripeの像に対応するspike,あるいは同定できていないstripeの像に対応する可能性のあるspikeには,stripeの像の大きさも考慮して,正のスコアが与えられる.また,白spikeに関する拘束条件により,そのようなspikeとは同時には白にできない(同時に点灯できない)spikeには負のスコアを与える.このようにして決められたスコアの高いspikeから優先的に白spikeとして配置していくことにより,より多くのstripeの像を同定できることが期待できる.

　図2に実験例を示す.SPIKEアルゴリズムにより,図2(a)の物体を台の上で回転させながら計測を行った.全部で10枚の画像を撮影した.図2(b)はそのうちの一枚を示している.図2(c)は,各画像において同定されたstripeの像の点および同定されなかったstripeの像の点の数をグラフにしたものである.図2(d)は,比較のため,パターン光の更新を行わずに計測を行ったときの結果を同様にグラフで示している.この場合平均しておよそ22%の点が同定されないままだったが,パターン光を適応的に更新した場合には,同定されていない点は急速に減少し,画像9,10において,小さなstripeの像が一つづつ同定されなかったものの,画像3〜画像8においては全てのstripeの像の点が同定された.この実験結果は,パターン光を適応的に変更することの有効性を示しているものといえる.

図1:システム概念図

(a)計測した対象

(b)画像例

(c)同定された/同定されていないstripeの像の点の数

(パターン光を適応的に更新した場合)

(d)同定された/同定されていないstripeの像の点の数

(パターン光を更新しない場合)

図2:実験例

　コンピュータビジョンやコンピュータグラフィクスの分野においては,三次元シーンをカメラで撮影し,得られた二次元画像から三次元データ得る計測方法が不可欠である.本論文に報告されている研究は,対象の形状や色の特徴に影響を受け難く,また画像のノイズに対しても頑強であるパターン光投影法をもとにして,変化のあるシーンへの応用も考慮して,短時間で多くのデータが得られるような計測法の確立を目的としたものである.具体的には,ある投影パターン光により得られた画像でのパターンの同定結果に応じて,次の画像でより多くのパターン光の要素を同定できるようにパターン光を適応的に変更する適応的光投影法を提案し,計測システムと計測アルゴリズムを実装している.従来のパターン光投影法では,投影パターン光がシーンとは無関係に決められており,各画像が独立に処理されていたのに対し,提案された手法は,シーンから得られた情報を活用して計測を行うという点に特徴を持つ.また本論文では,実際の三次元シーンに提案手法を適用して実験を行うことで,その有効性を示している.

　本論文は全8章から構成されており,まず第1章で研究の動機と目的について述べている,つづいて第2章では,三次元シーン計測の分野の様々な従来の研究について調査を行っており,特にパターン光投影法を他の手法と比較し,その長所と短所をまとめている.第3章では,三角測量に基づく三次元シーン計測で利用する数学的モデルを導入している.第4章では,適応的光投影法のために開発された計測システムの概要について述べている.第5章では適応的光投影法の枠組みのもとでSPIKEと呼ばれる新しい適応的計測アルゴリズムを提案し,その詳細を述べている.第6章では,SPIKEアルゴリズムを用いて実際の三次元シーンを対象とした実験を行い,アルゴリズムの有効性を調べている.また計測システムのキャリブレーションについて述べている.第7章では,計測システムの性能について考察を行っている.最後に第8章で,本論文の結論と今後の展望についてまとめている.

　第4章で詳述されている計測システムは,CCDビデオカメラと液晶ビデオプロジェクタと計算機によって構成されている.このシステムでは,計算機上で生成した任意の画像をプロジェクタによりシーンに投影することができる.また画像を変更することで,計測中に随時投影パターン光を任意に変更できる,画像の生成方法などはシステムに与える計測アルゴリズムによって制御されており,このアルゴリズムを変更することにより,一つのシステムで様々な光投影法をシミュレートできるようになっている.このような柔軟性をもつシステムは,従来の光投影法においては見られなかったものである.

　第5章では,適応的光投影法の枠組のもとにSPIKEという新しい適応的計測アルゴリズムが提案されている.このアルゴリズムでは,複数の水平な長い線分(stripe)とエピポーラ線に沿った短い線分(spike)からなるパターンを用いている,このアルゴリズムではエピポーラ構造を利用することで,複数のstripeを一度に同定することを可能にしている.またこのとき計測システムの設定パラメタから,三次元空間の計測可能な範囲を割り出し,効率のよい投影パターン光の生成,およびパターン光の同定に利用している,さらに本章では,シーンの変化が滑らかであることを仮定して,ある画像で得られたstripeの同定結果に基づいて,次の画像においてより多くのstripeが同定できるように投影パターン光を修正する方法が述べられている,またパターン光の同定にエピポーラ構造を利用していることから,たとえシーンの変化が急激であったとしても,同定プロセス自体には影響がないことが述べられている.

　第6章では,SPIKEアルゴリズムの有効性を調べるために,実際の三次元シーンに対して実験を行っている,まず3つの実験により,シーンに変化がある場合も含めて,投影パターン光が適切に修正され,一枚の画像から多くの三次元データを得られることが示されている.また比較実験により,シーンに無関係にパターン光を固定した場合よりも,適応的に修正した場合の方が,より多くの三次元データを得ることができることが示されている.また本章では,計測システムのキャリブレーションについても述べられている.ここでは,投影パターン光が自由に設定できることをうまく活かしているのが特徴的である.

　第7章では,まず主にCCDビデオカメラ,液晶ビデオプロジェクタに潜む様々なノイズを生み出す要因を取り上げ,それらが画像に及ぼす影響を実験により考察している.次に画像のコントラストを左右する要因について考察を行っており,同時にSPIKEアルゴリズムでは,大きく反射率の異なる物体を同時に計測できることを実験で示している.さらにSPIKEアルゴリズムで例外としていたケースを処理できるようにアルゴリズムを拡張する方法について述べ,実験によりそのようなケースを扱い,適切な結果を得ている.また計測により得られる三次元データについて,パターン光の抽出位置のずれによって生じる誤差を解析して,その大きさを評価している.

　第8章では,まず適応的光投影法とSPIKEアルゴリズムについて総括を行い,SPIKEアルゴリズムの性質から,このアルゴリズムに適しているあるいは適していない物体について検討している.またSPIKEアルゴリズムへの拡張として,特に画像上に現れているパターンを追跡することで,一度により多くのパターンを同定できると期待できることが述べられている,さらに計測システムについて,第二のカメラあるいはプロジェクタを増設すること,あるいはシステムの内部パラメタを計測中に変更可能とすることにより,より適用範囲の広いシステム,自律的なシステムへと発展させられる可能性があることが言及されている.

　以上,本論文では,三次元シーンを計測する手法として適応的光投影法を提案し,計測システムと計測アルゴリズムの実装を行い,実験によりその手法の有効性を実証している.これにより,本論文は,三次元シーン計測の分野に対して貢献をしており,博士（理学）を与えるに十分な内容を有していると認められる.なお,本論文第4章は,品川嘉久氏,國井利泰氏との共同研究であるが,論文提出者が主体となって,計測システムの構築,およびシステムの基本プログラムの実装を行ったもので,論文提出者の寄与が十分であると判断される.