Augmented reality (AR) is the field trying to combine the physical world with the virtually generated information. Most AR systems share two main abilities, namely, the ability to sense the physical world and the ability to overlay the virtual information onto that physical world. Using a camera to sense visual information of the physical world in the visible light spectrum is one of the popular alternatives for AR, particularly now when camera has become a common device for end users and many free AR toolkits are available based on visual markers. Together with the growth of social network encouraging photo sharing, it might be said that visual information has already become common information for end users.

Although visual analysis costs heavy computational loads and is sensitive to lighting variation, visual sensing is still considered to be very informative and intuitive compared to other sensing methods. Using a single camera, rich information regarding the physical environment can be obtained in the same way as human visually senses the environment. In theory, this richness of information should allow visual understanding of an unknown environment as well as inside objects so that any change in the environment can be realized in real time despite of prior environment setups.

Because projection can overlay the virtual information directly on the physical surface, it is a good alternative for AR systems requiring seamless combination between the virtual and physical worlds. The term ``ubiquitous projection'' refers to intelligent projection that can be performed appropriately everywhere at any time. Ubiquitous projection in AR systems has been studied for more than a decade but has become more prominent recently because of the miniaturization trend of projectors.

Combination of projector and camera is one of the most selected choices for ubiquitous projection. This is because the characteristics of visual sensing encourage absolute ubiquity of the device and setup while providing very rich information of an unknown environment as inferred by the ubiquitous concept. However, in practice, it is still challenging to maintain this ubiquity while operating both devices simultaneously in an unknown environment and in the same visible light spectrum.

So far several solutions were proposed for ubiquitous projection supporting vision-based AR. Nevertheless, many of them rely on visual or nonvisual markers so that complexity of visual sensing is reduced significantly in real-world scenarios. Some previous proposals take partial advantages of visual sensing and depend the rest of implementation on nonvisual sensing or visual sensing in the invisible light spectrum which is considered to be less informative. Accordingly, it may be said that achieving absolute ubiquity in projection is still difficult in a pure vision-based AR system.

Motivated by limitations of previous studies, our researches try to expand the powerfulness of vision-based AR to the area of projection with absolute ubiquity. Our attempt is pushed toward issues related to geometry-based projection and simultaneous projection and visual sensing in real-time AR systems. The proposed framework contributes device configurations and algorithms that are supposed to maximize the powerfulness of visual sensing whereas least affecting the conventional processes of visual analysis in AR systems.

In other words, the framework encourages top-up development of vision-based AR systems, allowing ubiquitous projection to be easily integrated into the existing vision-based AR systems with least modification to their original implementation. In addition to the compatibility, it contributes improvement and novel possibility to existing and future AR systems, respectively.

We believe that our studies will be useful not only for researchers in this field but also for end-user developers, allowing both the fixed projector and the recent pocket-sized projector to be applied easily for vision-based AR systems in a ubiquitous manner.

本論文は、「Ubiquitous Projection for Vision-based Augmented Reality」(視覚に基づく拡張現実のためのユビキタス投影に関する研究)と題し、英文で書かれており、8章よりなる。プロジェクタの小型軽量化が近年急速に進んでおり、プロジェクタを搭載した携帯電話も市場に出始めている。本論文は、携帯型プロジェクによって可能となるubiquitous projectionに加え、カメラを用いることによる環境センシングを組み合わせることで、視覚的なマーカを使用することなく任意の表面で拡張現実環境を構築するための手法とその応用について述べている。

第1章は、「Introduction(序論)」と題し、本論文と関連の深いspatial augmentedreality(空間的な拡張現実)と提案手法との相違、本論文の目標、動機、貢献、を明らかにし、提案手法の応用について議論するとともに、本論文の構成について述べている。

第2章は、「Background(背景)」と題し、カメラやプロジェクタを用いた視覚情報に基づく拡張現実技術に関するこれまでの研究を概観し、本論文での提案に至るまでの研究の流れを示している。

第3章は、「Simultaneous Projection and Visual Sensing(投影と視覚センシングの同時実行)」と題し、Digital Light Processing(DLP)プロジェクタの特徴を用いたnonintrusivepr()jection(見やすさを損なわない投影)により、任意の投影表面のテクスチャ情報を取得する手法について述べている。

第4章は、「PrOjector-Camera Geometric Calibration(プロジェクターカメラの幾何補正)」と題し、加速度センサからの出力とホモグラフィー行列を用いた補正手法、およびビームスプリッタによりプロジェクタとカメラの光軸を一致させる手法(colocating pro-cam design)について、実験を通してその性能を比較している。

第5章は、「Unsupervised Visual Analysis(教師なし視覚情報分析)」と題し、colocating pro-cam designとnonintrusive projectionによって生じる問題、特にカメラに取り込まれる光量の減少により、提案手法の環境認識性能がどの程度変化するのかを実験を通して評価している。

第6章は、「Vision-based Multitarget Tracking(視覚に基づく複数ターゲットのトラッキング)」と題し、携帯プロジェクタカメラシステムによって生じるhandjitter(手振れ)への対応を議論している。カメラにより認識された複数のターゲットを動的な環境で高速かつ高精度にトラッキングするためのアルゴリズムを提案し、その評価を行っている。

第7章は、「Proof of Concept and Application(概念実証とアプリケーション)」と題し、提案した拡張現実手法を用いたアプリケーションや利用シナリオについて述べている。また、その1部については実装を通して提案概念の実用可能性について検証を行っている。

第8章は「Conclusion(結論)」と題し、本論文の成果についてまとめている。

以上を要するに、本論文は、携帯プロジェクタによる任意平面への投影とプロジェクタ搭載のカメラによる環境センシングを組み合わせることで、ubiquitous projectionによる視覚的な拡張現実を実現するための手法、およびそれを用いた新しいアプリケーションを示しており、情報工学の発展に貢献するところが少なくない。

よって本論文は博士(工学)の学位請求論文として合格と認められる。