学位論文要旨



No 114350
著者(漢字) 稲見,昌彦
著者(英字)
著者(カナ) イナミ,マサヒコ
標題(和) オーグメンテッドリアリティにおける視覚提示法の研究
標題(洋)
報告番号 114350
報告番号 甲14350
学位授与日 1999.03.29
学位種別 課程博士
学位種類 博士(工学)
学位記番号 博工第4476号
研究科 工学系研究科
専攻 先端学際工学専攻
論文審査委員 主査: 東京大学 教授 舘,すすむ
 東京大学 教授 南谷,崇
 東京大学 教授 満渕,邦彦
 東京大学 助教授 廣瀬,通孝
 東京大学 助教授 小木,哲朗
内容要旨

 近年、現実空間にCG等による映像を重畳することにより現実空間での行動の支援を行うことを目指したオーグメンテッドリアリティ(AR)という手法が提案されている。

 オーグメンテッドリアリティの実装に当たってはシースルー型のヘッド・マウンテッド・ディスプレイ(HMD)が多用されている。

 しかし、シースルー型のHMDは現実空間とCGとを合成するために、ハーフミラーによる光学的な合成や、頭部搭載カメラによる電子的な合成が試みられているが、現実物体とCGとの焦点位置のずれの問題、狭い視野に起因する問題等が指摘されている。

 立体ディスプレイにおいては、理想的には両眼像の輻輳角の条件や網膜上の像の大きさ、水晶体調節を実際に見たものと同じ条件に調整する必要がある。しかしながら、現在一般的に用いられているHMDでは、提示画像の光学的距離が1〜2[m]に固定されているものがほとんどであるため、輻輳に位置対して水晶体調節がずれてしまい、奥行き認知精度の狂いや眼精疲労を引きおこすといった問題が指摘されている。

 筆者は以上の問題を低減するため本研究において光学系の焦点深度に着目した直視型、及び投影型の画像提示システムを提案しその設計指針を示した。さらにシステムの試作を行い提案システムの有効性を確認した。

 以下直視型、投影型のそれぞれのシステムについて述べ、最後に頭部搭載化についての検討を行う。

 まず、直視型ディスプレイの光学系に絞りを設け、眼球光学系の焦点深度を大きくとることにより水晶体の調節量によらず網膜に結像可能な視覚提示装置を構築し、上記問題点の解決を行うことを提案する。

 このシステムを構築するに当たっては

 ・焦点深度を大きくとるためには絞り径をできるだけ小さくする

 必要があるが、一方

 ・絞り径を小さくするほど回折の影響が大きくなる

 といったトレードオフが明らかになった。さらに、

 ・絞り径が小さくなったことに伴う網膜照度の低下により視力が低下する可能性がある

 ため、提示に必要な解像度を満たすよう画像生成部の光量に十分注意を払う必要がある。

 よってシステムに要求される角解像度を決めることにより、焦点深度を最大にするための絞りの径を定めることが可能となる。

 視覚提示装置に要求される角解像度を[rad]とすると、絞りの最小の直径[m]は

 

 のように求めることができる。このときの焦点深度、つまり必要解像度を満たしたままでの水晶体屈折力の変化可能な量D[D]は、

 

 のようにあらわされることが明らかとなった。

 以上の条件を満たす小さな開口絞りを設ける光学系として、絞りの実像を瞳孔の位置に作るマクスウエル光学系を用いることによって、水晶体の厚さによらず網膜に結像可能なディスプレイを提案する。この立体ディスプレイにマクスウエル光学系を利用する手法により、輻輳による調節の誘導を阻害することなく、無理のない立体視が可能になると考えられる。

 このディスプレイは

 ・極めて大きな焦点深度を持つため、無理のない立体視を可能とするだけでなく、

 ・屈折異常者がディスプレイを使用する時の視度調節が必要ない

 ・老視等水晶体調節異常者、水晶体摘出者でも利用可能

 ・任意の大きさの画像提示デバイスを任意の位置に配置可能

 といった特長をもつと考えられ、この設計指針に基づき光学系を試作した。

 本光学系は球面鏡の中心に眼球を置くことにより、極めて簡単な構成ながら、色収差、球面収差など各種収差のほとんど存在しない像を得ることが可能となる。

 また、複数のピンホール、映像提示デバイスを組み合わせて構成することにより、操作者は眼前のハーフミラーを通し、広い視野で現実世界を観察するとともに、ハーフミラーと球面鏡によってできたピンホール像を通し、大きな焦点深度でディスプレイ像を観察することになる。

 本光学系は、静的な視野として90度、動眼視野として、110度得ることができた。また、散瞳時の静的な視野が110度と増加することから静的な視野は瞳孔径に依存することが明らかとなった。

 結像特性としては、肉眼の調節位置を25〜200[cm]に変化させた状態でも提示指標を良好に観察することができた。なお、ビデオカメラによる撮影でも同様の効果が観察された。

 以上、頭部搭載型ディスプレイへの応用を念頭に置いて焦点深度優先型ディスプレイの実装としてのマクスウエル光学系を利用した直視型の視覚提示装置についてのべた。

 次にオーグメンテッドリアリティにおける視覚提示でマクスウエル光学系による立体ディスプレイでは解決困難な問題の考察を試みた。一つは頭部搭載型ディスプレイそのものの問題点となる遮蔽に関する問題。そしておよび提示映像の生成、伝送時に問題となる実時間相互作用性の問題を指摘した。

 以上の問題を解決するための方途として観察者のビューイングボリュームとデバイスのプロジェクションボリュームを一致させることにより、観察者が観察しているもののみを提示する"observee"の提案を行い、その工学的実現法として本研究ではX’tal Vision光学系を用いたディスプレイを提案した。

 X’tal Visionとは、

 (1)ディスプレイ面として再帰性反射材(リトロリフレクタ)を利用する

 (2)観察者の目と光学的に共役な位置より画像を投影する

 (3)画像投影部の開口径を光量の許す限り絞り込む

 ことにより、それぞれ、(1)高い輝度、指向性反射を有し、再帰性反射材が塗布可能なすべての物体をスクリーンとして利用可能なため非常に軽量なディスプレイ部を実現可能であり、スクリーン部の形状も自在かつ材質も発泡スチロールや布、壁などかなりの自由度があり(2)スクリーン形状に起因する像の歪みが生じず、(3)大きな焦点深度を持ち、任意形状、任意位置のスクリーンに対し、広い範囲で結像可能。

 といった特長を有することになる。さらに、それぞれの要素を融合することで、スクリーン輝度の距離依存性の減少(1)+(2),手などの物体とスクリーン面との大きな輝度差による適切な遮蔽関係(1)+(3)、両眼像の空間的分離による裸眼立体視(1)+(2)+(3)といったような各要素を同時に満たすことにより、単独では生まれ得ない効果も発生する。

 本システムにより

 ・近距離物体から遠距離に至るまで大きな焦点深度を得ることができたため、プロジェクタの焦点調節を行うことなく合焦した映像を投影することができた

 ・対象形状によらず歪みのない映像を投影することができた

 ・屋内光の下で十分な輝度の投影映像を観察することができ、物理世界の物体映像と情報世界の映像を同時に観察することができた

 ・物理世界の物体と、情報世界の物体とで適切な遮蔽関係を得ることができた

 以上の通常のプロジェクタを利用したシステムでは視点位置が固定されてしまい自由な視点から物体及び空間を眺めることが困難となってしまう。

 そこで、市販の軽量小型プロジェクタを分解、再構成することによりに示すような頭部搭載型プロジェクタを設計試作した。

 アプリケーションとしては、まず被験者の骨格映像を被験者に重畳投影する事により、あたかも被験者骨格を身体を透過して観察する事が可能な投影型オーグメンテッドリアリティ環境を構築し、本手法がオーグメンテッドリアリティにおける視覚提示に適していることを実証した。

 次に、「近くの物体は近くのディスプレイ、遠くの物体(景色)は遠くのディスプレイ」であたかも舞台における書き割りのように提示することによって、より広い範囲で自然なバーチャルリアリティ環境を構築することを目的とした書き割型バーチャルリアリティを提案した。

 また、ペーパータイプディスプレイを試作することにより、HMPを装着し、再帰性反射材を貼付、塗布したところを遍在させたコンピュータのディスプレイとして用いるUbiquitous Display実現のための方途を示した。

 さらに、本X’tal Visionは、各種デバイス・センサ等あるいは人体を視覚的に透明化することによってバーチャル空間映像を現実空間に重畳する場合に問題となる遮蔽関係の矛盾を解決する「光学迷彩」にも適応可能である。

 光学迷彩は、前述のX’tal Vision光学系の応用であり、透明化を行う物体に再帰性反射材を塗布もしくは貼付した上で背景映像を投影することにより実現する。

 本構成は

 ・不要な現実物体を視覚的に消去できる

 ・正しい遮蔽関係が保たれ、現実感を増強する

 ・他の方式に比べ安価である

 ・バーチャル世界と現実物体を融合させる際に、再帰性反射材を用いるか、用いらないかで選択的に透明化する物体を設定できる

 ・再帰性反射材を利用しているため、光学系を両眼用に2組用意することでめがねなし立体視が可能である

 といったメリットをもっている。

 あらかじめ現実空間の映像を撮影しておくことにより現実空間においても光学迷彩を実装することもできた。

 以上筆者の提案したマクスウエル光学系を利用した広視野立体ディスプレイ、及びX’tal Vision光学系によるHMPはwearableなubiquitous-computingのためのキーデバイスとして位置づけることができ、今後は複数のデバイスをネットワーク接続することにより、従来のネットワーク上の情報空間での共同作業だけでなく、テレイグジスタンスへの応用など、より、実世界指向のオーグメンテッドリアリティにおいても遠隔共同作業を実現することを目指す。

審査要旨

 本論文は「オーグメンテッドリアリティにおける視覚提示法の研究」と題し、6章からなる。近年、現実空間にコンピュータグラフィクス(CG)等による映像を3次元的に重畳することにより現実空間での行動の支援を行うことを目指したオーグメンテッドリアリティ(AR)という手法が提案されている。オーグメンテッドリアリティの実装に当たってはシースルー型の頭部搭載型ディスプレイ(HMD)が多用されているが、シースルー型のHMDには、現実物体とCG物体との焦点位置ずれの問題、現実空間の視野が狭まることに起因する問題等があり実用には至っていない。また、一般の立体ディスプレイにおいては、理想的には両眼像の輻輳角の条件や網膜上の像の大きさ、水晶体調節を実際に見た場合と同じ条件に調整する必要があるが、現在一般的に用いられているHMDでは、提示画像の光学的距離が1〜2[m]に固定されているものがほとんどであるため、輻輳の位置対して水晶体調節がずれてしまい、奥行き認知精度の狂いや眼精疲労を引きおこすといった問題が指摘されている。本論文の研究は、以上の問題を低減するため、光学系の焦点深度に着目した直視型、及び投影型の画像提示システムを提案しその設計指針を示し、さらに実際のシステムの試作を行い提案システムの有効性を確認して今後の応用への道を拓いたものである。

 第1章は「序論」で、実空間にCGなどのコンピュータにより生成された3次元空間を立体的に重畳させるオーグメンティドリアリティにおける従来の視覚提示システムの問題点を明らかにし、焦点深度に着目した本研究の目的と立場と意義を明らかにしている。

 第2章は、「焦点深度に着目した視覚提示」と題し、直視型ディスプレイの光学系に絞りを設け、眼球光学系の焦点深度を大きくとることにより水晶体の調節量によらず網膜に結像可能な視覚提示装置を構築し、上記問題点の解決を行うことを提案している。このシステムを構築するに当たっては焦点深度を深くとるためには絞り径をできるだけ小さくする必要があるが、一方絞り径を小さくするほど回折の影響が大きくなるといったトレードオフが生じる。さらに、絞り径が小さくなったことに伴う網膜照度の低下により視力が低下する可能性があるため、提示に必要な解像度を満たすよう画像生成部の光量に十分注意を払う必要がある。よってシステムに要求される角解像度を決めることにより、焦点深度を最大にするための絞りの径を定めることが重要となる。それらを厳密に解析することにより要件を明確にし、深度優先型視覚提示装置の最適設計法を明らかにしている。

 第3章は「マクスウエル光学系による広視野立体ディスプレイ」と題し、第2章の条件を満たす小さな開口絞りを設ける光学系として、絞りの実像を瞳孔の位置に作るマクスウエル光学系を用いた水晶体の厚さによらず網膜に結像可能なディスプレイを提案し、第2章の設計指針に基づき光学系を試作している。試作した光学系では球面鏡の中心に眼球を置くことにより、極めて簡単な構成ながら、色収差、球面収差など各種収差のほとんど存在しない像を得ることが可能となっている。また、複数のピンホール、映像提示デバイスを組み合わせて構成することにより、操作者は眼前のハーフミラーを通し、広い視野で現実世界を観察するとともに、ハーフミラーと球面鏡によってできたピンホール像を通し、大きな焦点深度でディスプレイ像を観察することができる。試作した光学系は、静的な視野として90度、動眼視野として、110度を得ている。結像特性としては、肉眼の調節位置を25〜200[cm]に変化させた状態でも提示指標を良好に観察することができ、ビデオカメラによる撮影でも同様の効果が観察されたと報告されている。

 第4章は「頭部搭載型プロジェクタ」と題し、新しいタイプの投影型の視覚提示システムを提案している。まず、従来の頭部搭載型ディスプレイそのものの問題点となる遮蔽に関する問題と提示映像の生成、伝送時に問題となる実時間相互作用性の問題を指摘し、その問題を解決するための方途として観察者のビューイングボリュームとデバイスのプロジェクションボリュームを一致させることにより、観察者が観察しているもののみを提示する"オブザビー(observee)"の提案を行っている。さらに、その工学的実現法としてクリスタルビジョン光学系を用いた頭部搭載型プロジェクタ(HMP)提案している。クリスタルビジョン光学系とは、ディスプレイ面として再帰性反射材を利用し、かつ観察者の目と光学的に共役な位置より画像を画像投影部の開口径を光量の許す限り絞り込み投影する光学系である。提案方式の有効性を解析と実験により明確にし、頭部搭載型プロジェクタを設計試作している。

 第5章は「アプリケーション」と題し、試作したHMPの広い分野での応用可能性示している。まず被験者の骨格映像を被験者に3次元的に重畳投影する事により、被験者の身体を透過して観察する事を見かけ上可能とする投影型オーグメンテッドリアリティ環境を構築し、本手法がオーグメンテッドリアリティにおける視覚提示に適していることを実証している。次に、近くの物体は近くのディスプレイ、遠くの物体(景色)は遠くのディスプレイと提示面を複数用意し、舞台における書き割りのように提示することによって、より広い範囲で自然なバーチャルリアリティ環境を構築することを目的とした書き割型バーチャルリアリティを実現している。また、ペーパータイプディスプレイを試作することにより、HMPを用いた遍在コンピューティング(Ubiquitous Computing)実現のための方途を示している。さらに、各種デバイス、センサや人間を視覚的に透明化することによって,所謂「光学迷彩」が可能であることを示している。光学迷彩は、透明化を行う物体に再帰性反射材を塗布もしくは貼付した上で背景映像を投影することにより実現している。

 第6章は「結論」で、本論文の結論をまとめ、今後を展望している。

 以上これを要するに、本論文はオーグメンティドリアリティにおいて従来問題となっていた焦点矛盾や遮蔽矛盾の問題と狭視野の間題を解決すべく、マクスウエル光学系を利用した広視野立体ディスプレイ及び、クリスタルビジョン光学系による頭部搭載型プロジェクタ(HMP)を提案し、設計法を明確にするとともに実際の装置を試作し、その有効性を示して今後の応用への道を拓いたものであって、計測工学及び人工現実感工学に貢献するところが大である。

 よって、本論文は博士(工学)の学位請求論文として合格と認められる。

UTokyo Repositoryリンク