本論文では,情報世界のデータを現実世界に重畳表示し,現実世界の事物と同等に扱うことができる拡張現実感インタフェースを構築することを目指し,ユーザの身体動作に基づく投影型拡張現実感インタフェースを提案した.以下,各章で扱った内容を示す.

第1章 序論

本章では,現在のディスプレイ及びヒューマンインタフェースの課題として,実世界と情報世界の間の視覚的な隔たりによって,実世界にいながら情報世界のデータにアクセスすることの弊害を示す.また,この問題を打破し得る概念として投影型拡張現実感インタフェースを紹介し,従来手法における課題を明らかにする.

第2章 身体動作に基づく投影型拡張現実感インタフェース

本章では,まず,ユーザの身体動作として視点の動きと腕や手指の動作に着目し,投影型拡張現実感インタフェースにおいてこれらの動作に基づいて映像を提示することで得られる効果について考察する.

また,上記の身体動作に基づく投影型拡張現実感インタフェースとして,以下の手法を提案する.

1.任意視点に対して遮蔽物を透過表示する死角情報提示システムとして,乗り物の操縦席における視野を拡張するTransparent Cockpitと,実世界を変換した画像を実世界に重畳して見ることのできるARScope.

2.ユーザが手に持ったハンドヘルドプロジェクタを実世界にかざすことで,映像と実物体のインタラクションを行うTwinkle.

3.多視点の裸眼3D映像を実空間中に投影し,直接触って映像とのインタラクションが可能なRePro3D.

それぞれの手法の詳細な原理,実装,及び結果については,続く第3章から第5章で詳しく述べる.

さらに本章では,各手法で共通して用いられる視点,プロジェクタ,カメラの光軸が一致した光学系について述べる.

第3章 頭部搭載型プロジェクタを用いた死角情報提示

本章では,頭部搭載型プロジェクタを用いた死角情報提示システムを提案する.死角情報提示システムとは,物体に遮蔽されて死角となっている情報を遮蔽物に重畳して提示することで,遮蔽物をバーチャルに透過させることのできるシステムである.本研究では,観察者の視点動作を『見回し動作』と『回り込み動作』の二つに分類し,それぞれに適した手法を提案する.さらに,応用例として乗り物の死角を減らすことを目的としたTransparent Cockpitと,実世界を自由に変換させて表示することができるインタフェースARScopeを構築し,その有効性を検証する.

第4章 ハンドヘルドプロジェクタを用いた実環境とのインタラクション

本章では,ハンドヘルドプロジェクタを用いて実環境と映像がインタラクション可能な投影型AR インタフェースTwinkleを提案する.本章で提案する投影型AR インタフェースは,マーカレスでのユーザの動作推定と,映像と実環境との幾何学的整合性の解決を目指すものである.本章ではまず,既存のハンドヘルドプロジェクタを用いたインタフェースにおける問題点を明確にし,本研究の目的を示す.次に提案する投影型AR インタフェースの特徴と応用例を述べた後,詳細な原理を解説する.最後に,実装したインタフェースを用いたアプリケーション例を示し,提案手法の有効性を検証する.

第5章 高密度プロジェクタアレイ光学系を用いた多視点立体ディスプレイ

本章では,ユーザの自由視点に応じた投影型映像提示とユーザの身体動作に応じたインタラクションを実現する投影型AR インタフェースとして,再帰性投影技術を用いた実空間重畳型多視点立体ディスプレイRePro3Dを提案する.本章ではまず,LCDとレンズアレイを用いた高密度プロジェクタアレイの基準光学系を導出し,フレネルレンズを用いた高解像度化が可能な改良光学系の検討を行う.次に,滑らかな運動視差提示に重要である最適なレンズ間隔を実験的に求める.続いて光学シミュレータを作成し,これを用いて改良光学系の設計を行う.これらの結果をもとに,上下左右方向に42 視点分の視差画像を裸眼で実空間に重畳提示可能なディスプレイを実装し,これに加えて,赤外カメラを用いてユーザの手と立体映像のインタラクションが可能な物体操作インタフェースを実装する.さらに,触覚提示デバイスを統合し,実空間に重畳された立体映像に直接触ってインタラクションすることができるシステムを構築する.

第6章 結論

本論文では,情報世界のデータを現実世界に重畳表示し,現実世界の事物と同等に扱うことができる拡張現実感インタフェースを構築することを目指し,ユーザの身体動作に基づく投影型拡張現実感インタフェースとして,Transparent Cockpit,ARScope,Twinkle,RePro3Dを提案・実装し,その有効性を示した.

本論文は、「身体動作に基づく投影型拡張現実感インタフェースの研究」と題し、6章より構成されている.本論文は、投影型拡張現実感(AR: Augmented Reality)インタフェースの「視点の拡張」と「空間の拡張」を目指し、ユーザの自然な身体動作に基づいた直感的な情報提示を実現する投影型拡張現実感インタフェースの提案と実装を行った研究成果が示されている.

第1章は「序論」であり、まず、現在のディスプレイ技術やヒューマンインタフェース技術を概観し、従来の問題点として、情報世界と実世界の間が空間的に分離されているためこの両者を同時にかつ直感的に扱うことが困難である点を指摘し、具体的に、プロジェクタの投影領域が空間に固定されていたり、観察可能な視点が限られていたりといった問題点があることを述べている.これらの問題点に対して、身体動作に対応したユーザの視点に対して映像提示を行うことによって、情報世界と実世界を一体のものとして提示することを可能とし、同時に視点の拡張や空間の拡張をも可能とするインタフェースを実現するという新しい設計思想を提案している.

第2章は「身体動作に基づく投影型ARインタフェースのアプローチと応用システムの提案」と題し、ユーザの身体動作として視点の動作と映像に対する能動的な動作に着目した新しい投影型拡張現実感インタフェースを提案している.さらに、ユーザの身体動作に基づく投影型拡張現実感インタフェースを実現するためには、プロジェクタ・カメラ・視点の方向が一致した光学系が適していることを示し、この条件を満たす光学系の構成手法として、頭部搭載型プロジェクタ方式、ハンドヘルドプロジェクタ方式、高密度プロジェクタアレイ方式を提案し、それらを実現するための具体的な手法について述べている.

第3章は「頭部搭載型プロジェクタを用いた死角情報提示」と題し、実世界と提示映像との光学的整合性の解決と、ユーザの自由視点に応じた映像提示を実現することを目指し、頭部搭載型プロジェクタを用いた死角情報提示システムを提案している.観察者の視点動作を『見回し動作』と『回り込み動作』の二つに分類し、それぞれに適した手法を用いることでマーカレスでの幾何学的整合性の解決と自由視点への対応を実現している.見回し動作に対応した手法としては、ステレオカメラによって距離情報と背景のテクスチャ情報を取得し、頭部搭載型プロジェクタから投影する手法を提案し、具体的に、Transparent Cockpitと称する、乗り物の内部から死角の情報を投影し、内装上に外部の情報を提示できるシステムを開発している.

また、回り込み動作に対応した手法としては、遮蔽物の背後に配置した背景カメラで取得した画像と、頭部搭載型プロジェクタに搭載した視点カメラで取得した画像を比較することで二つの画像の射影変換行列を算出し、背景カメラの画像を射影変換して頭部搭載型プロジェクタから投影する手法を提案し、ARScopeと称する、実世界の情報を自由に変換させて表示することのできる拡張現実感インタフェースを開発している.

第4章は「ハンドヘルドプロジェクタを用いた映像と実環境とのインタラクション」と題し、Twinkleと称する、ハンドヘルドプロジェクタを用いて実環境と映像の間でインタラクション可能な投影型拡張現実感インタフェースを提案している.ここでは、マーカレスでのユーザの動作推定と、映像と実環境との幾何学的整合性を実現するため、プロジェクタで投影した映像をガイドとして画像処理に利用するとともに、投影画像とカメラの取得画像との画素の対応付けを行い、さらに、投影画像と実物体との衝突検出・衝突回避アルゴリズム等を導入することにより、インタラクティブな拡張現実感インタフェースを構築し、直感的に映像と実物体とのインタラクションが可能であることを示している.

第5章は「高密度プロジェクタアレイ光学系を用いた多視点立体ディスプレイ」と題し、RePro3Dと称する、再帰性投影技術を用いた実空間重畳型多視点立体ディスプレイを提案している.LCDとレンズアレイを用いた高密度プロジェクタアレイの基準光学系を設計した上で、フレネルレンズを用いた改良光学系による高解像度化手法を提案し、滑らかな運動視差提示に重要である最適なレンズ間隔を実験的に導出することにより、上下左右方向に42視点分の視差画像を裸眼で実空間に重畳提示可能なディスプレイを実装している.さらに、赤外カメラを用いてユーザの手と立体映像のインタラクションが可能な物体操作インタフェースを実装したり、触覚提示デバイスを用いて、実空間に重畳された立体映像に直接触ってインタラクションすることができるシステムを構築している.

第6章は結論であり,本研究の成果がまとめられている.

以上要するに、本論文は、視線の移動や手の動作といった人間の自然な身体動作を積極的に用いた投影型拡張現実感インタフェースの構成方法を提案し、バーチャルな情報世界のデータを実空間の事物と同様に直感的に扱える拡張現実感インタフェースとしていくつかのシステムを実現することにより、その効果を実証したものである.この成果は、理想的な拡張現実感の実現の可能性を飛躍的に高め、様々な応用展開が期待されるものであり、関連する分野の発展に貢献するとともに、システム情報学の進歩に対して寄与することが大であると認められる.よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.