本論文では、三次元モデルベースの動画取得を目的とした複数視点システムにおける研究成果を示す。近年、三次元映像情報技術の発展は目覚しく、テレビ、ゲーム、監視、車載システムなどの生活に身近なアプリケーションにおいて、積極的に三次元情報が利用されてきている。今後は、さらなる先進的アプリケーション実現に向け、三次元情報メディアの高機能化への要求が高まると考えられる。特に、要素技術である三次元情報の取得、情報処理技術には、実時間性、高速性、高精度性、三次元のモデル (対象の周囲の三次元のデータ)による柔軟な視覚機能などが求められる。三次元情報の取得は、主にイメージセンサにて対象を撮像し、得られたデータや撮像機器の構成パラメータを元に三次元情報の演算を行うことによって可能となる。要求される実時間、高速性においてはイメージセンサの高速制御や取得データから三次元演算の高速処理が必要であり、高精度性においては、撮像環境や撮像機器のもつパラメータを高精度に取得する必要がある。また、三次元モデルの取得においては、撮像対象を複数の方向から撮像し、それぞれから取得した三次元情報を利用して三次元モデル生成を行う必要がある。つまり、三次元モデルベースの動画取得においては、撮像機器群の高速制御、高速処理や撮像環境の構成パラメータの高精度な取得が重要である。近年、様々な三次元アプリケーションが製品レベル、また研究レベルで提案されているものの、未だ上記に示した実時間、高速、高精度、三次元モデル取得のすべての要素を同時に満たすシステムの報告は実現されておらず、その実現に向けた各要素技術の研究が進められている。以上の4つのパラメータを同時に満たすシステムが、今後の三次元情報アプリケーションにおいて鍵となってくる。

第二章では、実時間、高速、高精度、三次元モデル取得の4つの要素を同時に満たすシステム実現に向けた最適三次元計測手法の選択を目的として、様々存在する三次元計測手法の特徴について述べ、各手法の計測速度、精度などの本質的な性質を定量的に評価、比較を行う。三次元計測手法を受動型、能動型手法の大きく二つに分類、評価し、またそれぞれに分類される多々ある手法の性能について、見積もり、比較を行う。その際に、CCDやCMOSイメージセンサなどのデバイスレベルの観点からそれぞれの手法における速度、精度性能についても評価を行い、システムの実現において適した手法選択を行い、その結果を示す。

第三章では、高精度三次元計測を行う上で必要なキャリブレーションについて、従来手法について述べ、それぞれの手法についての精度評価を行う。キャリブレーション手法として、現在最も研究が盛んなカメラのキャリブレーションについて、その上でプロジェクタのキャリブレーション手法について述べ、各手法が持つ本質的な性質からそれぞれを評価し、第二章で述べた各三次元計測手法に適応した場合の撮像系における三次元計測精度に関してまとめた結果を示す。

第四章では、三次元モデル取得に向けた複数視点システムを提案、実現した結果を示す。本システムでは、光切断法を用いてカメラとシート光投射のためのプロジェクタで構成されるレンジファインダーを複数配置し、各々から対象を撮像することによって三次元モデルベース動画を取得する。複数方向から光切断法で撮像する場合、複数のシート光が干渉し、正確に対象の三次元情報を取得できないため、その解決手法として、光干渉が起こらない時分割光投射手法を採用した。また、高速、高精度の撮像を目標としているため、高速に投射光位置検出可能なVGA(640x480pix)解像度を持つスマートイメージセンサを採用した。本システムでは、1200mmの距離、複数方向から平面の測定にて、2.5mm、0.71mmの最大誤差、平均誤差、2、3方向からそれぞれ、10.6、6.1モデル/秒で三次元モデルベース動画撮像可能であることを示した。システムの最大性能は2、3方向で32.5、21.7モデル/秒で撮像可能であり、近年、報告されている研究や商用システムなどに比べ、高速、高精度に三次元情報取得可能であることを示した。

第五章では、取得撮像システムにおいて高精度三次元撮像に必要な校正パラメータの決定を目的とし、撮像系のパラメータにおける誤差要因解析を行い、計測精度への影響の評価結果を示す。撮像系のパラメータとして、カメラパラメータとプロジェクタパラメータの大きく2つに分類し、各パラメータが持つ三次元空間中への誤差、ゆがみの成分について定量的に評価した。それにより、撮像環境で高精度な三次元情報取得を行う上で必要な主要なパラメータを算出し、その結果を示す。

第六章では、複数視点システムに向けた高精度な三次元位置算出を目的とし、球を用いた三角測量に基づくキャリブレーション手法を提案、実現した結果を報告する。本手法では、複数の球を任意の位置に配置、順次撮像して得られる多くの三次元データをそれぞれの球表面上にフィッティングされるように、選択したパラメータを高精度にキャリブレーションする。キャリブレーションターゲットである球は、任意の視点から撮像しても、同様の形状として投影されるため、複数視点に適したキャリブレーションターゲットと言える。また、本手法では、対象を撮像するだけで多くの点を取得することができ、その各点を球表面にフィッティングさせるため、高精度キャリブレーションに必要な、三次元空間中の位置とそのイメージセンサ面上の射影位置との多くの点の対応付けによるコストの増大を防ぐことができる。さらに、球を任意に配置、撮像することが可能で、撮像範囲や環境に対して柔軟にキャリブレーションが可能である。複数視点キャリブレーションへの拡張の際には、上述のキャリブレーションによって得られる各球の位置が一致するように各レンジファインダー間の回転、平行移動パラメータを校正するだけでよく、容易に校正可能となる。以上の手法により、10個の球を用いて距離300~600mm、幅、高さ400x400mmの空間を球の半径に対し0.42mmの誤差を実現した。さらに、キャリブレーションした空間のゆがみを定量的に評価した。

第七章では、複数のレンジファインダーの並列制御、高速三次元演算、表示のためのスタンドアローンシステムについて報告する。複数視点システムでの三次元モデルベースの動画取得における問題点として、近年のイメージセンサの高解像度化や複数のイメージセンサを利用することに伴う演算すべき三次元データ量の増大や複数レンジファインダー制御による速度劣化が挙げられる。例えば、ビデオレート、VGA(640x480画素)解像度で三次元計測する場合、1.8GOP程度の演算能力が必要であり、単純にN個の複数レンジファインダー制御を行う場合、1.8GOPSxN倍もの膨大な演算能力が必要になってくる。さらに、このような演算データを高速に取得するための高速センサ制御やデータ転送処理なども必要となってくるため、汎用のPCによる制御では、複数視点システムの実現は容易ではないといえる。三次元演算の並列化、高速制御化を目指しFPGAベース三次元演算エンジンによるスタンドアローンな三次元計測システムを構築した。三次元演算エンジンでは、対象を撮像した際の、シート光の投射角度、センサ面上での入射光位置、キャリブレーションパラメータからパイプラインで三次元演算を行う。さらに、バスコントローラ、グラフィックコントローラを同様にFPGAに搭載させることによって、対象撮像からのデータ取得、取得データから三次元演算、表示までの一連の作業をPCなしで行うことができ、複数視点システムにおける並列イメージセンシングを行うことが可能となる。三次元演算エンジンの性能は7.2GOPSであり、これは1M 画素超のSXGA(1280x1050画素)画素解像度での三次元撮像が十分可能であることを示している。さらに、本三次元演算エンジンは複数を並列に配置することで容易に複数のレンジファインダー処理実現が可能となる。

最後に、以上の研究結果をまとめる。これらの結果が示すように、複数視点三次元システムにおいて、提案するハードウェアによる制御、情報処理やキャリブレーション手法によって、実時間、高速、高精度な三次元モデルベースの動画取得を実現できることを示した。以上の4つの全ての要素を同時に満たすシステムの実現は三次元情報システムの発展に貢献し、インタラクティブで柔軟な三次元映像を駆使する将来の三次元アプリケーション実現のきっかけになると考えられる。

付録として、将来の情報処理アプリケーションの高機能化に向けた光波長同定センサの提案、報告をする。近年のVLSIプロセステクノロジーの発展によりメタル間隔を可視光線の波長よりも短く構成可能となってきた。これにより、これまではLSIによるセンサ内での波長同定はカラーフィルタなどの特殊プロセスなしでは困難であったが、モノリシックCMOSプロセスでも、センサ上で波長同定が可能となる。本センサでは、フォトトランジスタアレイの上部にて光波長と同等もしくは短く構成したメタルスリットを形成し、そのスリットを通過する入射光を回折させる。センサ面上にあるフォトトランジスタにて回折された入射光を受光し、波長に応じた回折量の相違を利用し、波長を同定する。同センサにて475nmから785nmの入射光を10%以内で同定可能であり、イメージセンサ内での光波長の分類が可能であることから、将来、情報TAGや光投射型のアプリケーションなどにおける波長分類において重要な役割を担う。

本論文は、Multiple-Viewpoint Range-Finding System for Accurate Three-Dimensional Model-Based Movie Acquisition(和訳:高精度3次元モデルベース動画取得のための複数視点システム)と題し、高精度の3次元データを高速で取得することを目的として、スマートイメージセンサーの制御、高精度キャリブレーション手法の実現およびそのFPGAでの実現に関する研究成果を纏めたもので、全文8章よりなり、英文で記述されている。

第1章は、序論であり、本研究の背景について議論するとともに、本論文の構成について述べている。

第2章は、"Comparison of 3-D measurement methods(3次元測定手法の比較)"と題し、本研究で対象とする3次元計測手法に関し、受動型手法、能動型手法の分類により、速度、精度の観点から比較することで、本研究で用いる光切断法の特徴について論じている。

第3章は、"Calibration techniques(校正手法)"と題し、高精度3次元計測にとって不可欠となる校正手法について、対応点を必要とする手法、および対応点が不要な手法に分類することで、精度の観点から適用範囲について述べている。

第4章は、"Multiple-viewpoint range-finding system(複数視点距離計測システム)"と題し、光切断法を用いた複数視点距離計測を行うシステム構築に関して述べている。システムには、光切断法に特化した切断面を高速に取得可能なスマートイメージセンサーを用いており、その回路動作および切断面の取得速度に関して他のイメージセンサーとの比較を行っている。また、高速・実時間3次元取得に適し、かつ高精度の校正の実現が可能である線形校正手法を適用たシステムの構築を行い、複数カメラからの取得3次元画像の重ねあわせ精度に関する検討を行っている。この結果、対応点計測に起因する誤差を打ち消し、複数カメラから取得した3次元画像を張り合わせるためには多数の対応点が必要であることを示している。これらの検討の上で、カメラから1200mmの距離の平面を複数視点から測定した結果、最大誤差 2.5mm、平均誤差0.71mmの高精度を実現している。また、3次元取得速度に関しては、使用しているイメージセンサーの光感度が低く、蓄積時間が律速となることから、光強度を強めるため450mmの距離で測定を行い、2方向で10.6レンジマップ毎秒、3方向で6.1レンジマップ毎秒を実時間で実現している。また、光蓄積時間が十分に短い場合には2方向で32.5レンジマップ毎秒の測定が可能であることを示しており従来報告されているシステムと比較して高精度かつ高速な測定を実現している。

第5章は、"Range-finding error(3次元測定誤差)"と題し、高精度3次元撮像の撮像系におけるパラメータによる誤差の解析を行っている。パラメータはカメラが持つパラメータおよび能動手法におけるプロジェクタが持つパラメータに分類し、それそれぞれが3次元計測に対して与える誤差、ゆがみの空間分布に関して評価を行っている。

第6章は、"Corresponding-points free calibration using spheres(球を用いた対応点不要の校正手法)"と題し、多数の対応点を用いることなく観測全空間にわたり高精度の3次元測定を可能とする校正手法の提案とその実装による誤差の評価を行っている。提案手法は球を2次元撮影することで得られる投影楕円から、球の中心位置を求め、3次元測定による表面点から球の中心位置を同定する手法で、複数視点に拡張した場合でも球の中心による座標変換による重ねあわせを可能にする手法である。この手法により空間中の適当な位置の10個の球による校正を行うことで、カメラからの距離300mm-600mm、幅、高さ400mm x 400mmの空間の球表面を最大0.42mmの誤差により測定が可能であることを示している。本手法は、多数の対応点を用いことなく高精度な校正を可能とするものである。

第7章は、"FPGA-based 3-D measurement system(FPGAを用いた3次元計測システム)"と題し、高速のマイクロプロセッサを用いる必要があるセンサー制御、3次元計算および画面表示処理を、FPGAにより実装することで、今後のSoC化に適したハードウエア設計の検討を行っている。これにより、従来3GHzの汎用プロセッサにより実現していた3次元測定を、4MHzのFPGAにより実現している。また、同じ構成で12.5MHzで動作させることで、光蓄積時間が十分に短い場合にビデオレートのVGA解像度の3次元計測が可能であることを示し、ハードウエア化することで、高解像度、高速の3次元計測が可能になることを示している。

第8章は、結論である。

以上要するに本論文は、高精度かつ高速の3次元計測に関し、スマートイメージセンサーの時分割制御法の提案、対応点を不要とする校正手法の提案とその誤差評価、および3次元計測システムのFPGAによる実現を通したハードウエア化の検討により、その有効性を実証したもので、半導体電子工学の発展に寄与するところが少なくない。

よって本論文は博士(工学)の学位請求論文として合格と認められる。