検査,物体認識,3次元CADモデル入力,ヴァーチャルリアリティー等の分野で高速に3次元形状を計測できる技術が必要とされているが,高速性,精度,解像度,コストを同時に満たすような技術はほどんどないのが現状である。従来技術としては,1)ステレオ視,2)光切断法,3)モアレ,4)光飛行時間法等がある。1)〜3)は三角測量によって距離を計測するが,1)は画像の対応点の探索の計算量が多く,高速化に難点があった。2)は光を投影し別のカメラで捉えることによって距離を計測するが,スリットをスキャンしたり,さまざまなピッチのスリット列を投影したりしながら画像を取得する必要があるため,高速化が困難であるうえに,計測中対象が静止している必要があった。3)は投影したライン&スペースパターンの変形を計測することによって3次元形状を計測するが,基本的に相対形状の計測であり,絶対距離の測定や,対象に大きな段差がある場合には適していない。また1)〜3)とも2方向からの計測であるため,どちらか片方の視点からしか見えない点は計測ができず,デプスマップデータに抜けを生じるという問題がある。一方,4)はパルス状の光の飛行時間を計測し距離に換算するもの(光レーダー)であるため,比較的遠くの物体の計測には適するが,近くの物体の計測精度を向上することは難しいうえに,ポイント毎の計測であるために計測時間がかかる。

　これに対して,Depth-from-Defocusとは画像の焦点ずれによるぼけを利用して,物体の距離,さらに,3次元形状を計測しようとするものである。この方法では各点毎に画像のコントラストを局所的に計測して,その焦点ずれによる変化から,物体上の各点の距離を推定する。これによれば画像の局所演算のみで距離を計測できることから,ハードウェア化がしやすく低コストで高速な3次元計測を実現できる可能性がある。さらに,単一の視点からの計測であるため,かげになって計測できない点が生じないという利点もある。ところが,従来のDepth-from-Defocusに基づく方法では精度と高速性の双方を満たすものはなく,あまり利用されて来なかったのが実情である。

　この理由は,焦点ずれによる画像のコントラストの変化の様子が画像のもつ空間周波数に依存するため,画像の複雑なテキスチャーを解析する必要があったからである。このため,Depth-from-Defocus法の精度を上げようとすると,空間周波数領域を網羅するフィルターバンクを用意して大量の計算を行わなければならず,計算量が膨大なものになっていた。この問題を次の2種類のアプローチにより解決したのでこれについて論じる。

　1.能動パターン照明:格子状パターンを検出光学系と同軸で投影することによって空間周波数を制限し,この単一の空間周波数に特化した処理の最適化を行うことによって毎秒30枚のデプスマップを得ることができる高速・高精度のリアルタイムレンジセンサを開発した。

　2.Rational Filters:空間周波数が変化しても常に成立する距離に関する方程式と,この方程式の係数を得るために入力画像に適用する少数の広帯域フィルターの組の周波数特性の条件を導き,これをRational Filtersと名付けた。これを用いることによって,能動パターン照明に依らずに高効率・高精度の3次元形状計測を実現した。実際,畳み込み演算回数を従来法の240回から17回に低減できた。

　さらに,高精度なDepth-from-Defocusを実現するための光学系,検出系,画像処理に関するさまざまな検討を行った。とくに,検出光学系の焦点位置の変化に伴い倍率が変化してしまう問題に対して,テレセントリック光学系を導入して倍率の変化を解消した。これを市販のレンズを用いて実現するための方法を確立し,その効果を確かめた。

リアルタイムレンジセンサ

　図1に開発したセンサの動作原理を示す。市松格子状のパターンが,レンズとハーフミラーによって検出光学系と同軸で対象に投影される。対象物の像はCCD1とCCD2によって検出される。2つのCCDの合焦位置は前後にずらしてあり,CCD1は手前に,CCD2は遠くに焦点が合うように調整されている。すると,対象物の像は2つのCCDの中間に結像しその前後では光束が広がるため,像の位置zに応じてぼやけた像がCCDでは検出されることとなる。投影された格子状パターンの周期はCCDの4画素となるように設定されており,その空間周波数f_rは既知である。そのため,デフォーカスによるパターンのコントラストの減少の曲線は検出光学系のF値(絞り値)によって予め決まる。即ち,合焦画像のコントラストをg₀,CCD_n(n＝1,2)に検出される画像のコントラストをg_nとすると,

　

　で表わされる。H_n(x,y;z,F,f_r)は位置(x,y)における焦点ずれの伝達関数であり,空間周波数f_rとF値が決まると距離zの関数となる。g₁またはg₂の片方だけでは距離は判らないが,

　

　なる正規化されたコントラストの比をとると元々のコントラストg₀₂の影響は相殺されて,

　

　となる。図1の右下のグラフのように距離zに対しては単調増加するので,より距離を求めることができる。投影パターンのコントラストg₁,g₂は畳み込みオペレータによって画像i₁,i₂より抽出するが,投影パターンのもつ4本のスペクトルを透過しつつ,対象物自身のテキスチャーおよびセンサーノイズの影響を低減するため最小の帯域をもつ最適化フォーカスオペレータを設計した。さらに,投影パターンの位相によらず一定のコントラストを抽出するための求積処理を導き,これらの演算を市販のパイプライン型画像処理装置で実現し,リアルタイムレンジセンサを試作した。表1に得られた性能を,図2に検出精度の実験結果を示す。

図1 リアルタイムレンジセンサの動作原理図2 距離検出リニアリティーと精度エラーバーは±3に相当表1 試作したセンサの性能

パターン照明を利用しない高効率デプス・フロム・デフォーカス

　パターン照明を使わずに,効率的に高精度の距離画像を検出できるRational Filtersの概要を述べる。図3に示すように物体上の点Pの像i_fが点Qに結像するとする。このとき,CCD_n(n＝1,2)上の焦点ずれした像i_n(x,y)のスペクトルはI_n(u,v)＝H_n(u,v;z,F,f_r)I_f(u,v)で表わされる。なお(u,v)は空間周波数を示す。(式2)はコントラストの比であったが,これと同様に画像スペクトルの比であるNormalized Image Ratio(M/P)を

　

　のように定義する。M/Pは図4のように空間周波数f_rごとに傾きの異なった曲線群となるが,f_rf_rmaxの範囲ではM/Pはの単調関数であるのでM/Pを距離の推定値にマッピングできる。我々は,M/Pをの任意の関数の線形結合の商(Rational expression)としてモデル化することにより,空間周波数に対して不変なマッピングが可能なフィルターの組を得ることに成功した。このモデルに由来して,これをRational Filtersと名付けた。今回実際に使用したモデルは

　

　で,の3次多項式である。このモデルを図4の各(u,v)に対応する曲線に当てはめることにより,図5に示すようなG_M1(u,v),G_P1(u,v),G_P2(u,v)に関する条件が得られる。この逆フーリエ変換g_M1(x,y),g_P1(x,y),g_P2(x,y)が実はRational Filtersである。(式5)のを距離推定値に置き換えて変形した方程式

　

　を各点ごとにについて解くことによって距離を算出できる。(式5)が空間周波数(u,v)にかかわらず常に成り立っているため,周波数選択性のない広帯域フィルターを用いながら高精度の距離検出が可能となった。図6に実験結果を示す。高さ検出精度はRMS値と物体の距離との比で評価して1%前後であった。

図3 デフォーカスモデル図4 Normalized image ratioから距離へのマッピング。f_rは半径方法空間周波数図5 Rational Filtersの周波数特性図6 Rational Filtersによる検出リニアリティーと精度ターゲットはランダムテキスチャーパターン

　3次元物体の形状を非接触で高速に計測するための技術は,製品検査,物体認識,形状CADモデルの生成,人工現実感等の分野で切望される工学上重要な課題であるが,高速性,精度,解像度,コストの要求を同時に満たす方法は未だ見つかっていないのが現状である.本論文は,このような背景のもとで,画像の焦点のずれによって生じるぼけの情報を利用することによって,これらの要求を満たす3次元計測手法を考究したもので,A Study on Efficient Range Sensing with the Depth-from-Defocus Method(デプス・フロム・デフォーカス法を用いた高効率レンジセンシングに関する研究)と題し,五つの章および付録から成る.

　第1章は序論で,非接触立体計測の必要性,現存の技術,未解決問題について整理をしたあと,本論文の概要と,それが,高速性,高解像度,低コストを保ったまま精度を追求したものであるという位置づけを明確にしている.

　第2章はTelecentric Optics for Depth from Defocus(ぼけから距離を計測するためのテレセントリック光学)と題し,焦点をずらしたときの画像の拡大率の変化を防ぐ方法について論じている.通常の撮像系では,レンズと撮像面との距離を動かすと,画像中での被写体の大きさが変化するため,複数の画像における同一の点の対応認識が自明ではない作業を要することになる.この困難を回避するために,レンズと撮像面との距離が変化しても画像中の被写体の大きさが変わらない撮像系が構成できることを示した.この方法は,レンズの被写体側の焦点の位置に開口を設けることによって,開口中心を通った光がレンズを通過したあとではレンズ光軸に平行になることを利用したものである.撮像系をこのように設計することによって,画像をぼかしても被写体の大きさを不変に保つことができ,複数の画像間の対応点決定問題を回避することができる.本論文の以降の章では,この技術を使って,立体計測の高速性を確保している.

　第3章は,Real-time Active Depth from Defocus(ぼけを利用した距離の実時間計測)と題し,規則的パターンを投影して得られる画像のぼけから立体を計測する技術を提案している.この方法では,まず空間周波数が一定の格子パターンを,光学検出系のレンズ中心と等価な位置からハーフミラーを使って被写体に投影し,レンズからの距離の異なる二つの撮像面でその像をとらえる.次に,被写体の各点の2枚の画像上でのぼけの程度を,投影パターンの周波数に特化したフィルターを用いて検出し,その差と和の比をとり,その値が,被写体までの距離と1対1に対応することを利用して距離を求める.特にフィルターは,投影パターンのもつスペクトルを透過しつつ,被写体自身のテキスチャーおよびセンサノイズの影響を低減するための最小の帯域をもつものに最適化し,さらに,投影パターンの画素位置との位相のずれを打ち消す求積処理と組み合わせることによって精度を高めている.この原理を実装した試作装置では,26cmから56cmの範囲の距離にある被写体の距離画像を,実質的解像度128×120画素で毎秒30枚撮ることができ,しかも,被写体までの距離の分散を絶対的距離で割った値が0.004程度という高精度を達成している.

　第4章は,Rational Filters for Passive Depth from Defocus(受動的なデプス・フロム・デフォーカスのための有理フィルタ)と題し,パターンを投影しないで,被写体自身がもっているテキスチャのぼけから距離を検出する方法を構成している.ここでもレンズまでの距離の異なる二つの撮像面でとらえた画像を用いる.被写体のテキスチャのスペクトルが固定されると,2枚の画像でのスペクトルの差と和の比は,被写体までの距離の関数となる.この関数はテキスチャのスペクトルが変わると変化するが,スペクトルに依存した有理関数を係数とする距離の3次の奇関数でその値がスペクトルに依存しないものを実験的に発見している.そしてその有理関数の逆フーリエ変換をフィルターとして用いることによって,テキスチャの周波数に依存しない距離検出法が構成できることを示している.この原理を実装した試作装置では,距離の分散と距離の比が0.01程度という精度が達成されている.

　第5章は,Summary and Conclusions(まとめと結論)で,本論文の成果をまとめ,その意義と今後に残された課題を整理している.

　付録では,本手法を実装する上で必要な画像検出,位置処理,投影パターンの選択,有理型フィルターの誤差の評価について論じるとともに,レンズ開口直径の変更による新しい距離検出原理の可能性についても触れている.

　以上を要するに,本論文は,巧妙に工夫した撮像装置を用いて検出した2枚のぼけの情報から,精度も解像度も高い距離画像を高速に得ることのできる低コストな装置を提案したもので,計測工学および数理工学に貢献するところ大である.よって博士(工学)の学位論文として合格と認める.