テレイグジスタンス(Telexistence)は人間が実在する場所以外の遠隔環境,もしくはコンピュータの創成したバーチャル環境へ臨場感を持ちつつ存在し行動する概念であり,前者を実環境へのテレイグジスタンス,後者をバーチヤル環境へのテレイグジスタンスという.後者はまた,狭義のバーチャルリアリティ(Virtual Reality:VR)と呼ばれる.テレイグジスタンスおよびVRにおける感覚提示において,視覚提示は最も盛んに研究開発が行われてきた領域であり,人間の運動に対してリアルタイムに提示される視覚情報を更新することが必要である.

　従来,空間的品質,すなわち提示される画像の解像度やVR空間のリアルな画像を生成することには多くの注意が払われてきたが,時間的な品質に関しては個々のデバイス単位ではなくシステム全体にわたる性質を論じなければならないこともあって,置き去りにされてきた.時間的品質が不十分,すなわち提示される情報の更新頻度が低い場合やシステム全体としての遅延が大きい場合には,システムを体験する人間にとって提示される空間がそこに存在するような感覚が得られず,作業性の低下や不快感を生じる.本論文では,そのような場合に生じる現象の解析を行うと共に,安定な空間提示を実現するための手法を提示することにより,この問題の解決を図る.

　本論文では,まず第1章においてVRおよびテレイグジスタンスシステムがどのような要素から構成されるかについて整理し,実際にシステムを体験した場合の「違和感」という漠然とした感覚を,リアルタイムインタラクションの実現,より具体的には操作者の運動と提示される視覚情報との整合性という切り口から見ることにより,工学的な解析の俎上に乗せる.

　第2章では,最も典型的なVRシステムの構成,すなわち人間の運動計測と頭部搭載型視覚提示装置(Head-Mounted Display:HMD)によるVR空間の視覚によるという構成をとりつつ,極力実時間性を重視したシステムの構築を行った.ハードウェア的には,運動計測装置として物理世界のロボットを制御するためのテレイグジスタンスマスタ装置を利用し,大きな自由度数の運動情報を高速・安定にVR空間の中へ取り込むことに成功した.ソフトウェア的には,システム全体の仕事をいくつかのサブタスクに分割し仕事の分散を図ると共に,最も負荷が大きく時間がかかる画像生成についてはいくつかの高速化テクニックを開発・実装し,効率の良いVR空間画像の生成を実現した.これにより,システム全体としての遅延時間を小さくすることができ,運動感覚と提示される視覚との整合性の確保を実現した.同時に,使用するHMDの仕様に適合するパラメータを用いることにより自然な三次元空間の提示を,また大きな自由度を反映して操作者の上肢や体幹の運動をVR空間中に反映させることにより自己投射性を実現した.

　第3章では第2章で構成したシステムを利用して,空間的な側面と時間的な側面が互いに干渉する.ことを示した.すなわち,両眼立体視を利用する視覚提示デバイスを用いて空間提示を行っている場合に,何らかの理由により正確な三次元空間提示が行えない状況において頭部運動を行うと,空間の動的な変形と不自然な画像のフローが生じるという現象を幾何学的解析により定量的に説明した.また,これによって作業性に影響が生じることを実験により確認した.従来VRシステムの時間的な要素といえば純粋な時間遅ればかりが議論されてきたが,ここで指摘した間題は,たとえシステム全体の時間遅れが皆無という理想的な状態でも不正確な立体視を行っていると不具合が生じるということを解明したものである.

　第4章では,近年各地に建設されているプロジェクション型没入ディスプレイ(Immersive Projection Technology:IPT)に着目し,HMDを用いたシステムとの比較を行うことにより,それぞれのディスプレイにおける利点と欠点を解析した.その結果,IPTの視覚提示品質が良好であることの本質は頭部搭載でなく空間に固定した画像提示面を使用していることにあることを明らかにした.頭部運動,特に回転運動を行った場合における提示画像の安定性は固定スクリーン型の方が優れており,simulator sicknessを喚起しにくい性質を持っていることを示した.逆に,固定スクリーンを用いて自然な立体視を行うには,操作者の運動に従って時間的に変動する非対称透視投影によって生成される画像をスクリーン上に表示することが必要であり,HMDを利用した実環境へのテレイグジスタンスシステムとは異なり光軸に対称な視野を持つ通常のカメラをそのまま使用できないという問題を指摘し,続く2章へ向けた問題提起を行った.

　第5章では,システム全体にわたる時間遅れが大きい場合やCG画像生成時のフレームレートが十分に確保できない場合に,HMDを用いたシステムでは世界が揺れるという弱点の解決を図った.操作者に近い場所にローカルな高速ループを構成することにより,等価的に高フレームレートと遅延の補償を行う手法を提案した.これは視野角が限定されることを除いて,頭部運動に対する画像の振る舞いにおいて等価的に固定スクリーン型システムの良好な性質をHMDにおいて実現するものであり,提示される世界を安定化させる効果を持つ.

　第6章では,元来頭部運動感覚と視覚との整合性確保が容易な固定スクリーン型システムを実環境へのテレイグジスタンスに適用するにあたり,第4章で指摘した,時変非対称透視投影の問題に対する解決法を示した.その際,複雑な三次元空間の再構築や画像の三次元的な変形操作を行わず,あくまでカメラで取得した二次元画像を二次元画像のままで扱うために,カメラの姿勢を常に一定に保つリンク機構を発案・設計・試作した.これと二次元的な画像のシフト・拡大縮小操作を組み合わせることにより,固定スクリーンを利用し頭部運動に対応した正確な三次元空間提示が可能になり,実環境へのテレイグジスタンスが実現できることを示した.

　以上のように,本研究ではVRおよびテレイグジスタンスにおいて人間が運動を行った場合に提示される世界がどのように見えるかに関して探求を行った.従来,ともすれば個々のデバイスレベルでの議論に終始し,システムを構築して人間が運動を行った時に生じる現象については放置されがちであったが,本研究ではそこに運動感覚と視覚との整合性という観点を導入することにより,インタラクティブなシステムにおいて安定な世界提示を実現するための設計指針を提示した.これは,いわば「止まっている世界が止まって見える」という,現実世界では至極当たり前のことをVRシステムで実現するための非常に基本的かつ重要なポイントであり,VRやテレイグジスタンスが一般社会に浸透していくために必要なマイルストーンを示すことができたと考える.

　本論文は「テレイグジスタンスにおける視覚と運動感覚の整合性に関する研究」と題し、7章からなる。近年、自分が現存する場所にいながらにして、ロボットの働く遠隔環境やコンピュークの生成した3次元空間にあたかも存在するような臨場感を有して空間を観察し、その空間で行動することを可能とする技術が確立されつつあり、テレイグジスタンスないしは入工現実感と呼ばれている、このテレイグジスクンスのための視覚提示に用いる方式としては頭部搭載型ディスプレイ(HMD)を用いる方式と包囲投影型ディスプレイを用いる方式(IPT)があるが、前者については、特にコンピュータの生成する3次元コンピュークグラフィクス(CG)空間での利用に際して、頭部運動を計測したり画像を生成したりする際の時間遅れにともなう違和感の問題があり、後者については、逆に実の遠隔環境での利用に際して、IPTに時間遅れなく提示するための画像入力方式が未だ確立していないという問題があった。本論文においては、HMDとIPTにおける視覚と頭部運動の整合性を解析し、HMDの短所とされる回転運動への追従性能を向上させる手法を提案しその効果を実証するとともに、IPT方式のディスプレイでも実環境を実時間で提示することを可能とするための視覚入力システムを提案し、実際のハードウェアを構成してその効果を実証し、頭部運動に対して安定な3次元空間を構築するための設計指針を明らかにして今後の応用への道を拓いたものである、

　第1章は「序論」で、頭部運動に連動した3次元視覚提示システムにおける違和感という主観的な感覚を、操作者の運動と提示される視覚情報との整合性という切り口から客観的に分析し工学的な考察を行い、従来の頭部運動に連動する視覚提示システムの問題点を明らかにすることにより、本研究の目的と立場と意義を明らかにしている。

　第2章は、「Virtual TELESARの構築」と題し、現在、東京大学舘研究室に物理的に存在するテレイグジスタンスの世界標準的なロボットシステムであるテレサ(TELESAR)とほぼ同一の構成を有し3次元かつインタラクティブさ自己投射性を有するコンピュークシミュレークを、構築している。このVirtual TELESARでは、全体のタスクをサブタスクに分割し演算の分散を図ると共に、最も負荷が大きく時間がかかる3次元CG画像生成を高速化するための手法を考案し実装して、効率の良い人工現実感空間の生成を実現している。これらにより、システム全体としての遅延時間を小さくすることが可能となり、運動感覚と提示される視覚との整合性の確保が実現されている。

　第3章は「HMD使用時の視覚系パラメータ整合性の形響」と題し、両眼立体視を利用する3次元視覚提示装置を用いて空間提示を行っている場合に、何らかの理由により3次元空間が正確な空間になっていない場合に頭部運動を行うと、空間の動的な変形と不自然な面像のフローが生じるという現象を幾何学的解析により定量的に説明している。また、この現象によって作業性に影響が生じることを第2章で構成したシステムを用いて実験的に確認している。従来人工現実感システムの時間的な要素といえば純粋な時間遅ればかりが議論されてきたが、ここで指摘した問題は、不正確な立体視を行った状況でかつ頭部運動が生じると、たとえ時間遅れが皆無という理想的な状態で頭部運動に追従できたとしても不具合が生じるということを明らかにしたものである。

　第4章は「視覚提示デバイスの特性分析」と題し、近年世界各地に設置されているCAVEやCABINなどのIPT方式のディスプレイに着目し、HMDを用いたシステムとの比較を行うことにより、それぞれのディスプレイにおける利点と欠点を解析し、その結呆、IPTの視覚提示品質が良好であることの本質は、空間に固定した画像提示面を使用していることにあることを明らかにしている。頭部運動、特に回転運動を行った場合における提示画像の安定性は固定スクリーン型の方が優れており、所謂シミュレータ酔いを喚起しにくい性質を持っていることを理論的に示している。逆に、固定スクリーンを用いて自然な立体視を行うには、操作者の運動に従って時間的に変動する非対称透視投影によって生成される画像をスクリーン上に表示することが必要であり、HMDを利用した実環境へのテレイグジスクンスで常用される光軸に対称な視野を持つ通常のカメラをそのまま使用すると様々な問題が生じることを指摘し、続く第5章と6章へ向けた問題提起を行っている。

　第5章は「HMD利用時の頭部回転運動に対する画像安定化」と題し、システム全体にわたる時間遅れやCG画像生成時のフレームレートが十分に確保できない場合にHMDを用いたシステムでは世界が揺れてしまうという従来の問題点の解決を図っている、すなわち提案する方式は、操作者側にローカルな高速ループを構成することにより、等価的に高フレームレートを実現し遅延の補償を行う手法である。これは視野角が多少限定されるという短所はあるものの、頭部運動に対する画像の振る舞いにおいて等価的に固定スクリーン型システムの有する良好な性質をHMDにおいても実現するものであり、世界を安定化させる効果を持つと主張している。

　第6章は「固定スクリーンを利用した実環境へのテレイグジスタンス」と題し、もともと3次元CG環境において多用され頭部運動感覚と視覚との整合性確保が容易な固定スクリーン型システムを、実環境へのテレイグジスタンスに適用する場合に生じる第4章で指摘した実時間での時変非対称透視投影の問題を解決する手法を提案している。すなわち、複雑な三次元空問の再構築や画像の三次元的な変形操作を行わず、あくまでカメラで取得した二次元画像を二次元画像のままで扱う方式であり、そのためにカメラの姿勢を常に一定に保つリンク機構を発案し設計試作して、これと二次元的な画像のシフト・拡大縮小操作により固定スクリーンを利用しながら、正確な実環境へのテレイグジスクンスが実現できることを構成論的に示している。

　第7章は「結論」で、本論文の結論をまとめ、今後を展望している。

　以上これを要するに、本研究では人工現実感ないしはテレイグジスクンスにおいて、HMDとIPTにおける視覚と頭部運動の整合性を解析し、3次元CG空間提示においてHMDの短所とされる回転運動への追従性能を向上させる手法を提案しその効果を実証するとともに、逆に従来困難とされていたIPTを用いた遠隔実環境の実時間提示を可能とするための視覚人カシステムを提案しハードウェアを構成して提案方式の効果を実証して、あわせ頭部運動に対して安定な3次元空間を構築するための設計指針を明らかにして今後の応用への道を拓いたものであって、計測工学及び入工現実感工学に貢献するところが大である。よって、本論文は博士(工学)の学位請求論文として合格と認められる。