CG(computer graphics)やCAD/CAM(computer aided design/manufacturing)の分野では,物体の3次元形状を計算機上に展開し,これを自由に処理することが広く行なわれている.これらの用途に供するために,実世界のあらゆる物体の3次元形状データを簡単に計算機に取り込む方法が必要とされている.

　実世界にある物体の3次元形状を計測するセンサはレンジファインダと呼ばれ,レンジファインダによる計測では,物体までの距離を各画素に格納したような画像が得られるのが一般的である.これを距離画像と呼ぶ.

　1枚の距離画像は,物体をある1方向から見た部分的な形状のデータであるから,全周囲から見て完全な3次元形状データは,物体に対して様々な角度・視点から距離画像を得て,それらを1つにまとめることによって得ることになる.距離画像は,視点ごとに異なった座標系で表現されている.そのため,各視点での座標系と,基準となる1つの座標系との関係を知ることにより,各視点で取得した距離画像を単一の基準座標系で表現する必要がある.これは,距離画像の位置合わせ(registration)の問題と呼ばれ,本論文ではこの問題について考えた.本論文は全9章から構成される.

　1章は序論で,従来の研究についてまとめ,本論文の目的,位置付けを整理し,概要を述べた.

　2章では,レンジファインダの測定原理について述べた.主に,本研究の実験に用いたレンジファインダについてまとめてた.

　3章では,本研究で用いたレンジファインダで得られる距離画像の計測誤差について論じた.計測誤差は,計測点がセンサから遠くなるほど大きくなり,面のセンサの視線方向に対する傾きが大きいほど大きくなる.また,画像面方向の計測誤差に比べ,視線方向の計測誤差は大きい.このような傾向は,センサから遠くなるほど強くなる.高精度な位置合わせのためには,このような計測誤差の特性を踏まえて位置合わせをする必要がある.

　4章では,後の章の準備として,距離画像の位置合わせに関連する諸問題についてまとめた.

　5章では,視点間の位置関係が未知である距離画像系列から視点間の位置関係を求める手法を提案した.距離画像中に得られた対象の部分形状に対して3次元凸包を構成し,これを用いる.凸包の面は,視点間の位置関係が分からなくても,面の隣接関係やその面積を用いると,視点をまたがる対応付けが容易である.また,複雑でオクルージョンの生じやすいような物体を扱うことができる.できるだけ正確な座標変換を求めるために,各視点において得られた平面の法線ベクトルと原点からの距離の全てを用いて,全体として整合する基準座標系から各視点のカメラ座標への変換を求めた.この手法は,ある程度曲率の高い特徴的な部分があるような形状に対して適用可能である.

　6章では,モデルと距離画像の精密な位置合わせ(姿勢推定)の方法を提案した.距離画像から三角パッチ群で物体表面を近似できるとし,モデルを点群として与えて距離画像の計測誤差を考慮して座標変換の推定を行った.ここで問題となるのは,各計測点がモデルのどの部分を計測したのかという対応関係は,正しい座標変換と計測値の真の値が得られるまでわからないというである.これを解決するために,この手法では,距離関数と呼ばれる,空間の各点での面までの距離を値とする関数をあらかじめ空間の点について計算しておき,距離関数を用いて表した距離画像とモデルの距離を最小にするような座標変換を求めた.あらかじめ距離関数を計算しておくことにより,距離を最小にする段階では点と三角パッチとの対応付けを陽に行う必要がない.また,距離画像とモデルとの距離の勾配を計算し,距離の最小化に利用した.しかし,上述のような誤差分布をもつ距離画像同士の位置合わせには,このような方法を用いることはできない.

　7章では,すでにおよその位置関係が分かっている場合の位置合わせの手法を提案していた.視点間のおよその位置関係が分かっている場合とは,5章で述べたような方法によって座標変換が推定されている場合や,何らかの装置を用いてある程度の精度で位置決めをしながらデータを得た場合を指す.違う視点から得た距離画像では,対象物体の表面の全く同じ点を測定することはできない.そこで,対象の形状に対して,その表面で十分密度が高く計測点が得られており,面を三角パッチ群で近似できるものと仮定した.これにより,一方の距離画像を三角パッチ群,もう一方の距離画像を点群として扱い,三角パッチ群と点群の位置合わせを行った.点群の中の1つの計測点に対し,対応する三角パッチとは,三角パッチ群の中で,その点と対象の表面上の同じ部分を計測しているような三角パッチである.本研究では,すべての対応する点と三角パッチの組について,点と対応する三角パッチの3頂点の真の値が同一平面上にくるような座標変換と座標値の真の値の推定値を推定した.対応する点と三角パッチの各頂点を同一平面上にのせるために,計測誤差の生じる方向に,誤差の分散に応じて各計測点を修正し,各計測点の位置の推定値とする.このような推定値は一意ではないが,その中で,計測値の対数尤度を最小にするものを真の値の推定値とする.このとき,6章と同様に,点と三角パッチの対応関係は正しい座標変換と計測値の真の値が得られるまで分からないため,次の2つのステップを繰り返し行う.まず,与えられた座標変換が正しいとして点と三角パッチの対応関係を推定し,その対応関係のもとで座標変換の推定を行う.次に,更新された座標変換をもとに再び対応関係を推定する.この繰り返しにより正しい座標変換を得ようとするものである.点と三角パッチの対応関係の推定は,計測誤差の生じる方向を考慮して行うことにより,対応関係を正確に推定ることができる.また,オクルージョンなどにより,一方の距離画像がもう一方の距離画像を完全に含むことはないため,対応のつかない領域がある.そこで,対応関係を推定するときに,このような領域を除外するための処理を行う.計測誤差の性質を考慮して座標変換の推定を行うことにより,精度の高い座標変換および計測値の真の値の推定値を得ることができることが,実験により確かめられた.また,この方法の,複数の距離画像の位置合わせへ拡張を考察した.

　8章では,1枚の画像にうつった人間の頭部の姿勢を,3次元モデルを用いて推定する手法を提案した.頭の形の個人差や,また同じ人でも表情の変化による顔の変形に対応するため,多くの人の頭部のデータから生成した汎用モデルを用いた.人間の顔が対象であることから,個人差や表情の変化,また照明条件などに関わらず安定して目の輪郭,口の輪郭および顎の輪郭などのエッジ曲線が抽出できることに注目した.これらの曲線を対応付け,対応する曲線間の距離を最小にすることにより位置・姿勢やカメラパラメータを推定するICC(Iterative Closest Curve)法を提案した.ICC法では,画像中の曲線と,モデルの曲線を投影した曲線の間のマハラノビス距離を,繰り返しアルゴリズムで最小にする.繰り返しアルゴリズムに与える初期値を求めるために,目,口の輪郭に楕円を当てはめ,これを用いた.

　9章は結論であり,本論文の成果をまとめた.

　以上をまとめると,本論文では,距離画像の位置合わせの手法について述べた.距離画像同士をおおまかに位置合わせする方法,距離画像同士をより精密に位置合わせする方法,距離画像と3次元モデルを精密に位置合わせする方法の3つである.距離画像は計測誤差を含み,それが従う分布は,計測された点ごとに異なり,分布の形も空間において等方ではない.このことを考慮することにより,精度良い位置合わせができることがわかった.また,人間の頭部を対象として,3次元モデルと画像を位置合わせする手法を提案し,手法の有効性を確認した.

　CG(computer graphics)やCAD/CAM(computer aided design/manufacturing)の分野では,物体の3次元形状を計算機上に展開し,これを自由に処理することが広く行なわれている.これらの用途に供するために,実世界のあらゆる物体の3次元形状データを簡単に計算機に取り込む方法が必要とされている.実世界にある物体の3次元形状を計測するセンサ(レンジファインダ)では,物体までの距離を各画素に格納した画像が得られるのが一般的である.これを距離画像と呼ぶ.1枚の距離画像は,物体をある1方向から見た部分的な形状のデータであるから,全周囲から見た完全な3次元形状データは,物体に対して様々な角度・視点から距離画像を得て,それらを1つにまとめることによって得ることになる.そのために,各視点の位置合わせが必要である.また,ある視点で得た距離画像が3次元形状モデルのどの部分にあたるかを判定する必要もある.

　距離画像の位置合わせのための手法の開発・研究は従来からあったが,距離画像特有の計測誤差を考慮した上で,高精度な位置あわせを実現するものはなかった.本論文は,まず,距離画像のもつ計測誤差について考察した後,その誤差特有の性質を考慮した位置合わせの手法として,複雑な形状を持った対象を大まかに位置合わせする手法,形状モデルと計測誤差を持つ距離画像との位置合わせの手法,距離画像同士の位置合わせの手法,画像と形状モデルとの位置合わせの手法を開発し,それぞれの有効性を検証する実験について論じている.本論文は,このような立場で距離画像の精密な位置合わせを扱った初めての論文であり,「距離画像の位置合わせに関する研究」と題して,以下の9章からなる.

　1章は序論で,従来の研究についてまとめ,本論文の目的,位置付けを整理し,概要を述べている.

　2章では,レンジファインダの測定原理について述べている.主に,本研究の実験に用いたレンジファインダについてまとめている.

　3章では,レンジファインダの計測誤差について論じている.計測誤差は,計測点がセンサから遠くなるほど大きくなり,面のセンサの視線方向に対する傾きが大きいほど大きくなること,画像面方向の計測誤差に比べ,視線方向の計測誤差は大きいこと,また,このような傾向は,センサから遠くなるほど強くなることなどを示している.

　4章では,以上の誤差解析に基づき,精密な位置合わせを行う問題の詳細な設定を行っている.まず,位置合わせの問題を距離画像間の座標変換を推定する問題として定式化し,計測誤差と座標変換の推定誤差との関係を検討している.高精度な位置合わせのためには,このような計測誤差の特性を踏まえて位置合わせをする必要があることを指摘している.

　5章では,ある程度曲率の高い特徴的な部分を利用して,視点間の位置関係が未知である距離画像系列から視点間の位置関係を求める手法を提案している.距離画像中に得られた対象の部分形状に対して3次元凸包を構成し,これを用いる.凸包の面は,視点間の位置関係が分からなくても,面の隣接関係やその面積を用いると,視点をまたがる対応付けが容易である.また,凸包は,複雑でオクルージョンの生じやすいような部分を覆ってしまうので,細かい凹凸にまどわされない位置合わせを行うことができる.できるだけ正確な座標変換を求めるために,各視点において得られた平面の法線ベクトルと原点からの距離の全てを用いて,全体として整合する基準座標系から各視点のカメラ座標への変換を求めている.

　6章では,モデルと距離画像の精密な位置合わせの方法を提案している.距離画像から三角パッチ群で物体表面を近似できるとし,モデルを点群として与えて距離画像の計測誤差を考慮した座標変換の推定を行っている.ここで問題となるのは,各計測点がモデルのどの部分を計測したのかという対応関係が,正しい座標変換と計測値の真の値が得られるまでわからないということである.これを解決するために,本手法では,距離関数と呼ばれる,空間の各点での面までの距離を値とする関数をあらかじめ空間の点について計算しておき,距離関数を用いて表した距離画像とモデルの距離を最小にするような座標変換を求めている.あらかじめ距離関数を計算しておくことにより,距離を最小にする段階では点と三角パッチとの対応付けを陽に行う必要がない.また,距離画像とモデルとの距離の勾配を計算し,距離の最小化に利用している.

　7章では,2枚の距離画像間の位置合わせの手法を提案している.違う視点から得た距離画像では,対象物体の表面の全く同じ点を測定することはできない.そこで,対象の形状に対して,その表面で十分密度が高く計測点が得られており,面を三角パッチ群で近似できるものと仮定した.これにより,一方の距離画像を三角パッチ群,もう一方の距離画像を点群として扱い,三角パッチ群と点群の位置合わせを行っている.点群の中の1つの計測点に対し,対応する三角パッチとは,三角パッチ群の中で,その点と対象の表面上の同じ部分を計測している三角パッチである.本手法では,すべての対応する点と三角パッチの組について,点と対応する三角パッチの3頂点の真の値が同一平面上にくるような座標変換と座標値を推定する.対応する点と三角パッチの各頂点を同一平面上にのせるために,計測誤差の生じる方向に,誤差の分散に応じて各計測点を修正し,各計測点の位置の推定値とする.このような推定値は一意ではないが,その中で,計測値の対数尤度を最小にするものを真の値の推定値とする.このとき,6章と同様に,点と三角パッチの対応関係は正しい座標変換と計測値の真の値が得られるまで分からないため,次の2つのステップを繰り返し行う.まず,与えられた座標変換が正しいとして点と三角パッチの対応関係を推定し,その対応関係のもとで座標変換の推定を行う.次に,更新された座標変換をもとに再び対応関係を推定する.このようにして,計測誤差の性質を考慮して座標変換の推定を行うことにより,精度の高い座標変換および対象形状の推定値を得ることができることを,実験により確かめている.

　8章では,1枚の画像にうつった人間の頭部の姿勢を,3次元モデルを用いて推定する手法を提案している.人間の顔が対象であることから,個人差や表情の変化,また照明条件などに関わらず安定して抽出できる目の輪郭,口の輪郭および顎の輪郭などのエッジ曲線を利用する.これらの曲線を対応付け,対応する曲線間の距離を最小にすることにより位置・姿勢やカメラパラメータを推定するICC(Iterative Closest Curve)法を提案している.ICC法では,画像中の曲線と,モデルの曲線を投影した曲線の間の距離を,繰り返しアルゴリズムで最小にする.アルゴリズムの初期値として,目,口の輪郭に楕円を当てはめ,これを用いる.頭の形の個人差や,また同じ人でも表情の変化による顔の変形に対応するため,多くの人の頭部のデータから生成した汎用モデルを用いて実験を行い,有効性を確認した.

　9章は結論であり,本論文の成果のまとめである.

　以上をまとめると,本論文では,距離画像の計測誤差について論じ,その考察に基づいて高精度な位置合わせを実現するための,距離画像同士をおおまかに位置合わせする方法,距離画像と3次元モデルを精密に位置合わせする方法,距離画像同士をより精密に位置合わせする方法,の大きく3つの手法を提案し,従来の誤差の性質を考慮していない位置合わせの手法に比べて精度良い位置合わせができることを示した.また,人間の頭部を対象として,3次元モデルと画像を位置合わせする手法も提案し,有効性を確認した.

　これらの成果は,距離画像における誤差の解析・取扱い法とともに,新しい方法論を提示するもので,計測工学の発展に寄与するところが少なくない.よって,本論文は博士(工学)の学位請求論文として合格と認められる.