The main purpose of this research is to propose techniques that allow a mobile projector-camera system to be used freely in ubiquitous environments. This research concentrates on the geometrical aspect of a mobile projector when it displays images on an arbitrary surface. An advantage of a mobile projector is that its usage is no longer restricted to office environment; instead it can be used anywhere and can display on any surface. However, to display the contents on a 3D surface properly, geometry information of a surface is essential. There are 3D acquisition techniques using structured light pattern to measure surface geometry, but most of them cannot reconstruct 3D geometry of objects in dynamic environments or can produce only sparse data.

We proposed a novel one-shot 3D acquisition technique by using an image of a dense checkerboard pattern. The checkerboard pattern is displayed by the projector and captured by the camera, and only a single image of the checkerboard pattern is required to reconstruct 3D geometry structure. Our proposed technique can robustly recognize a dense checkerboard pattern under dynamic conditions. The recognition process is adaptive to different light conditions and objects' color. It is minimally affected by light intensity and surface's discontinuity thereby avoiding the need to set threshold values manually for different objects especially when the device is moving.

A checkerboard pattern is used widely in many computer vision processes, such as a camera calibration, or simple geometry registration process. The checkerboard pattern is preferred in many computer vision systems because the basic crossing feature points are robustly detected and refined to sub-pixel accuracy. A black-white checkerboard pattern is also convenient to be displayed as an imperceptible pattern. However, until now most of contemporary recognition process is usually sensitive to the pattern's distortion and noise. Our proposed technique can robustly recognize a checkerboard pattern by adaptively changing the threshold in the detection process. Their rich connection of checkerboard corners is utilized to eliminate noise and their constraints can be used to identify their corresponding positions.

This dissertation research proposes a technique to find corresponding positions for the checkerboard pattern displayed by a projector, without needing any position-encoding techniques. Most of contemporary correspondence matching techniques for structured light patterns require some positional coding by using time sequence or colors or spatial characteristics of the structured light pattern to distinguish the feature points from each others. These coding techniques are either complicated to create, sensitive to dynamic conditions or heavily affected by the surface condition of objects to be scanned. Our proposed technique enables the checkerboard pattern to be matched to a uniquely true solution even if parts of it are occluded, and the matching process is computationally efficient and can be carried out in real time. Our approach to solving the correspondence problem for a dense checkerboard pattern is by using the combination of epipolar geometry and topology constraints in the checkerboard pattern. Epipolar geometry is a common technique to search for corresponding positions in stereo camera systems, and it has been used widely in projector-camera system for 3D acquisition purposes. However, existing techniques either require heavy computation or cannot assure a unique correspondence position for a dense pattern.

Our proposed correspondence matching technique is not limited to a checkerboard pattern. It can also be applied in other kinds of grid patterns to solve ambiguity caused by epipolar geometry. However, the combination of our robust checkerboard pattern detection technique and checkerboard matching technique allows a mobile projector-camera system to acquire environment geometry information in dynamic environments.

We constructed a handheld projector--camera system to verify the feasibility of the proposed techniques. The system is portable, and can acquire 3D geometry of colorful and dynamic objects at the video capture frame rate (30fps). However, the contribution is not only by creating a real time scanner system. The simplicity of the structure light pattern, the assurance of a unique correspondence for matching a checkerboard pattern, the analysis of convergence conditions against noise and the robustness of the acquisition technique are the main contributions of this dissertation research.

本論文は、「A 3D Acquisition Technique in Dynamic Environments Using Structured Light Patterns」(構造光を用いた動的な環境における3次元形状取得手法に関する研究)と題し、英文で書かれており、7章よりなる。構造光パターンを利用した3次元形状取得の研究分野では、プロジェクタとカメラを統合的に利用する多くの手法がこれまでに提案されている。一方、プロジェクタの小型軽量化が近年急速に進んでおり、携帯端末に搭載される可能性も指摘されている。本論文は、携帯型プロジェクタカメラシステムに代表される動的な環境での頑健な3次元形状取得手法について論じている。具体的には、(1)適応的なチェッカーボードパターン認識手法および(2)頑健な対応点マッチング手法を提案、実装し、それらの評価実験を行っている。

第1章は、「Introduction(序論)」と題し、本論文の背景、動機、貢献を明らかにするとともに、本論文の構成について述べている。

第2章は、「Related Works(関連研究)」と題し、チェッカーボードパターン認識手法、および3次元形状取得手法についての既存研究を調査している。さらに、各々の手法の特徴に基づいた分類を行い、提案手法の位置付けを明らかにしている。

第3章は、「Proposed Techniques(提案手法)」と題し、本論文で提案される2つの手法について述べている。携帯型プロジェクタカメラシステムは、任意の場所での利用が想定されるため、照明条件の変化や利用者の手ぶれ等に対する耐性が求められる。さらには、形状取得対象となる物体の色やテクスチャに対する頑健性を持つことが望ましい。そこで、本論文では1つ目の手法として、適応的なチェッカーボードパターン認識手法を提案している。この手法では、構造光であるチェッカーボードパターン中の個々の特徴点およびエッジにカテゴリを付与し、それらのカテゴリの空間的な配置についての規則性を利用することで、正確なパターン認識が可能であることを示している。2つ目の手法として、頑健な対応点マッチング手法を提案している。パターン認識の結果得られたカメラ画像上での1つの特徴点を、プロジェクタ画像上での1つの特徴点と対応付けることができれば、物体表面の1点の3次元座標を特定できる。しかし、ノイズを含むカメラ画像に対してエピポーラ幾何を用い、個別に対応点のマッチングを行うと、必ずしも正しい結果が得られない。そこで、提案手法では、エッジで連結された複数の特徴点に対してグループマッチングを行い、その誤差として定義される評価関数の値を最小にすることで、頑健性の高い対応点の特定が可能であることを理論的に示している。

第4章は、「Configuration and Implementation (システムの構成と実装)」と題し、提案手法を実装するハードウェアの構成、カメラならびにプロジェクタの光学特性を補正する手順について説明している。

第5章は、「Experiment and Evaluation(実験と評価)」と題し、本論文で提案する2つの手法に関する評価実験について述べている。携帯型プロジェクタカメラシステムによる3次元形状認識手法に求められる頑健性、精度、速度を評価項目とし、それらについての定量的な性能評価を行っている。

第6章は、「Discussion(議論)」と題し、前章で得られた実験結果を基に、本論文で提案する手法の現時点での限界を明らかにしている。さらに、提案手法を用いた新しいアプリケーションの可能性や今後の研究の展開について議論している。

第7章は「Conclusion and Future Works (結論と今後の課題)」と題し、本論文の成果についてまとめている。

以上を要するに、本論文は、携帯型プロジェクタカメラシステムにより想定される動的な環境において、頑健な3次元形状認識手法を提案、実装し、評価を通してその有効性を示したものであり、情報工学の発展に貢献するところが少なくない。

よって本論文は博士(工学)の学位請求論文として合格と認められる。