人工現実感あるいはバーチャル・リアリティという概念が提案されて以来、バーチャル環境やバーチャル物体の提示あるいは数値情報の可視化(Visualization)を目的とした画像提示システムが広く提案・研究されている。中でもバーチャル空間の視覚情報提示デバイスは特筆される研究であり、HMD(Head Mounted Display)やCAVE、CABINなどさまざまな新しいタイプの画像提示デバイスが提案されてきた。これらのディスプレイ・システムは「バーチャル空間」の提示に主眼を置いた設計がなされている。しかし、バーチャル空間における「バーチャル物体」に対する作業を考慮した際、「バーチャル物体」の提示に主眼が置かれるべきである。本論文ではバーチャル・リアリティあるいはコンピュータ・ビジュアライゼーションなどの分野で利用されている従来型のディスプレイ・システムを「平面型」「頭部搭載型」「没入型」の3種に分類した。その上でこれらのシステムの問題点である「影問題」「遮蔽矛盾問題」を解決し、またバーチャル・リアリティにおける提示装置に要求される機能として「視触覚融合」を実現する第4番目の種類のディスプレイ・システムと位置付けられる「オブジェクト指向型ディスプレイ」の概念を提案した。

　本論文中では視触覚融合の目的のうち把持(handling)と形状提示(Shape Display)に着目した。提案するオブジェクト指向型ディスプレイの特徴は以下の2点である。

　・ バーチャル物体の提示される位置の近傍にディスプレイ部を配置する

　・ ディスプレイ部に対する操作とバーチャル物体に対する操作に投射性がある

　すなわち「オブジェクト指向型ディスプレイ」とは情報環境の可視化デバイスとして、ディスプレイ自身をバーチャル物体のメタファーとして手に持ち操作可能なディスプレイである。すなわち、バーチャル物体の提示に主眼をおいたディスプレイであり、より直観的な操作を可能とする。

　まず、以上の概念に基づきオブジェクト指向型ディスプレイの設計指針を論じた。形状に関しては提示するバーチャル物体に近似させる戦略とバーチャル物体を取り囲む「かご」状にする戦略があることを示し、後者に関しては平面ディスプレイを組合わせた立体ディスプレイが有効であることをバーチャル物体の観察可能な角度の観点から論じた。また、把持・見回し動作時のオブジェクト指向型ディスプレイのワークスペースを実験的に求めた結果、両眼の中心を原点として、おおよそ垂直方向に関して0[deg]〜45[deg]、正中面に対して左右15[deg]の範囲で原点からの距離がおよそ15[cm]〜50[cm]の範囲と設定された。重量に関しては提示するバーチャル物体に近似させる戦略と軽量化を図る戦略あり、把持・見回し動作は軽量であるほど有利であることを実験によって検証した。サイズに関しては実験的手法で200[mm]以下が有利であることを検証し、視角と目からの距離との関係についても議論した。

　次に、オブジェクト指向型ディスプレイという概念自体の利点について「カラーリングローテーション実験」を設定・実施し、人間の脳内の短期記憶や計算などの限られたリソースを物理空間で代用すること、換言すると思考過程を外在化させることによってタスクの質をより容易な方向へ変質させることが可能である点を指摘した。また、オブジェクト指向型ディスプレイはデバイスに対する作用とバーチャル物体に対する作用との間に投射性があるため、バーチャル物体に対する操作に人間が現在までの成長の過程で習得した「手で持つ」などといった既得学習スキルを利用でき、操作が直感的で容易かつ精確なものとなることを指摘し、実験により確認した。また、輻輳調節の点で有利である点、環境提示ディスプレイとの共存が可能であること、物体の排他的存在性を保証していること、物体間の接触判定を物理空間で行っていることなどを論じた。

　以上のオブジェクト指向型ディスプレイの概念に基づき、単面LCD方式のMEDIA-A(MEDIA-Ace)、多面LCD方式のMEDIA³(MEDIA Cube)さらに投写型となるMEDIA X’tal(MEDIA-Crystal)の3方式のオブジェクト指向ディスプレイの設計と試作をおこなった。

　MEDIA-Aは小型携帯液晶ディスプレイに傾斜センサを取り付けることで構成される。コントロール部でLCDおよび観察者の位置・姿勢を計測し、LCDの姿勢および観測者の視線に応じグラフィックエンジン部で画像を生成する。MEDIA-Aはオブジェクト指向型ディスプレイのディスプレイに対する操作と仮想物体に対する操作の投射性を実現する最もプリミティブな実装例である。

　MEDIA³は液晶ディスプレイを立方体状(正確には直方体状、159[mm](W)×127[mm](H)×189[mm](D)2[kg](Weight))に4枚配置して構成する。MEDIA³に対する視点の相対位置を計測し、グラフィックエンジン部で各面に視点位置に応じた適切な透視変換画像を生成し各面に提示する。位置の計測と画像の生成を実時間で行うことによってオブジェクト指向型ディスプレイの機能を実現する。

　第3の実施手法として投写式のオブジェクト指向型ディスプレイMEDIA X’talを提案する。投写型オブジェクト指向ディスプレイを実現するにあたり、まず、遮蔽関係を正しく提示するための再帰性反射材を用いた光学系を設計し、これをX’tal Vision(Crystal Vision)と命名した。再帰性反射材を用いることで高い輝度、指向性反射を有し、また再帰性反射材が塗布可能なすべての物体を提示部として利用可能なため非常に軽量なディスプレイ部を実現可能である。また、提示部の形状も自在かつ材質も発泡スチロールや布、壁など相当の自由度が得られる。プロジェクタと観察者の目をハーフミラーによって光学的に共役な位置に配置することで提示部の形状に起因する像の歪みが生じない。また、プロジエクタと提示部の間に何らかの遮蔽物があったとしても遮蔽物の影が生じる部分は遮蔽物自体によって観察者からは死角となる。そのため観察者から見ると遮蔽物の影は事実上ないとみなすことができる。また、ピンホールによって大きな焦点深度を持ち、提示部の形状や提示部の前後方向の移動によるピンぼけなどが生じにくい。

　さらに、各要素を同時に満たすことにより以下のように単独では生まれ得ない効果も発生する。再帰性反射材の利用と光学的に共役な配置によりスクリーン輝度の距離依存性が減少する。また、視点位置を限定できるため、本光学系を2組用意することで裸眼立体視が可能である。再帰性反射材の利用とピンホールの利用によりピンホールによって投影光が大幅に減衰される。そのため提示面(再帰性反射材)以外の部分に投影された像は散乱され肉眼で観察不能な暗さとなる。しかし、提示面(再帰性反射材)はこの減衰された光を散乱することなく視点方向にのみに反射するため像が観察可能となる。この機構によって提示面部のみの選択的な投影が可能となり、正しい遮蔽関係が保持される。

　MEDIA X’talはX’tal Vision光学系を利用して構成する。まず、小開口径単眼プロジェクタをハーフミラーにより目と共役な位置に配置する(左右両眼に各1組)。提示面は再帰性反射材を塗布し、さらに位置センサを取り付ける。計測した提示部の位置情報を基にグラフィックエンジン部で画像を生成する。

　以下に今回試作したオブジェクト指向型ディスプレイに関する特性、優位性、問題点などを論じる。

　各ディスプレイとも遮蔽される部分は、正しい遮蔽関係を保って観察可能であった。また、正しい遮蔽関係が保たれると同時に、提示部の移動や回転に対応した映像提示も適切に移動・回転するため極めて高い現実感が得られることが確認された。

　MEDIA X’talに関して球形のディスプレイ部の重量は位置センサの重量を加えても97[g]と100[g]以下となり今までにない極めて低重量のディスプレイが実現された。

　オブジェクト指向のディスプレイは物体を実質的に比較的高い解像度で提示することができる。MEDIA-Aを例とし、縦視野角30[deg]のHMDと視点から40[cm]先(手で保持した場合を想定)にあるオブジェクト指向ディスプレイを比較する。HMDもMEDIA-Aと同一の解像度である縦84[mm]、234[pixel]の液晶パネルを利用したと仮定する。この場合、HMDの分解能は約7.5[分](視力に換算すると0.13相当)であるのに比べ、オブジェクト指向ディスプレイは約3.1[分](視力で0.32相当)と2.4倍の解像度で物体を提示することが可能である。また、MEDIA X’talの解像度について提示部として利用している再帰性反射材はマイクロビーズで構成されておりこの1粒が最小の画素単位となると考えられる。これは投影される像の解像度に比べ十分細かい値である。よって本光学系の解像度に関してはプロジェクタの解像度に依存する。

　一般に、プロジェクタを利用した既存のディスプレイ・システムは非常に暗い環境で使用される。しかし、MEDIA X’talの場合は再帰性反射材の特性から、非常に弱い光でも確実に視点へ反射させるため、明るい環境下(約500[lx])でも利用可能であることが確認された。この明るさは一般的な事務作業用表示装置を快適に利用する目安とされる明るさである。

　最後に、オブジェクト指向型ディスプレイの技術による視触覚融合提示の実験として、(1)本研究室で開発された能動型環境提示装置(AED)の構成要素である形状近似デバイス(SAD)(2)近似形状を形成したブロック、の両者に再帰性反射材を貼付・塗装し、X’tal Visionを用いて映像を投影することにより視触覚融合を実現する実験をおこなった。(詳細本文参照)

　本論文は「オブジェクト指向型ディスプレイの研究」と題し、6章からなる。人工現実感あるいはバーチャル・リアリティという概念が生まれて以来、バーチャル環境やバーチャル物体の提示あるいは数値情報の可視化を目的とした画像提示システムが広く提案され研究されている。中でもバーチャル空間の視覚情報提示デバイスは重要な研究分野であり、頭部搭載型ディスプレイ(HMD)や全周投影型ディスプレイなどさまざまな新しいタイプの画像提示デバイスが提案されてきた。しかしこれらのディスプレイは「バーチャル空間」の提示に主眼を置いており、「バーチャル物体」に対する作業を考慮した際には、「影問題」「遮蔽矛盾問題」などの問題が生じていた。本論文では、これらのシステムの問題点である「影問題」「遮蔽矛盾問題」を解決し、またバーチャル・リアリティにおける提示装置に要求される機能としての「視触覚融合」を実現する新しい種類のディスプレイと位置付けられる「オブジェクト指向型ディスプレイ」の概念を提案し、実際にその概念に基づいてディスプレイを構成しその有効性を示すことにより応用への道を拓いている。

　第1章「はじめに」は緒言で、バーチャルな物体操作という観点から従来の視覚提示法の問題点を明らかにし,操作と提示の両面性を兼ね備えたオブジェクトとしてのディスプレイを指向するという本研究の目的と立場と意義を明らかにしている。

　第2章は、「オブジェクト指向型ディスプレイの提案」と題し、オブジェクト指向型ディスプレイを定義し、その設計指針を論じている。すなわち、「オブジェクト指向型ディスプレイ」とは情報環境の可視化デバイスとして、ディスプレイ自身をバーチャル物体のメタファーとして手に持ち操作可能とするディスプレイであると定義している。まずオブジェクト指向型ディスプレイという概念自体の利点について「カラーリングローテーション実験」を設定して実施し、人間の脳内の短期記憶や計算などの限られたリソースを物理空間で代用すること、換言すると思考過程を外在化させることによってタスクの質をより容易な方向へ変質させることが可能である点にあるとしている。また、オブジェクト指向型ディスプレイはデバイスに対する作用とバーチャル物体に対する作用との間に投射性があるため、バーチャル物体に対する操作に人間が現在までの成長の過程で習得した「手で持つ」などといった既得学習スキルを利用でき、本方式により操作が直感的で容易かつ精確なものとなることを指摘し、実験により確認している。さらに、オブジェクト指向型ディスプレイの設計指針を、形状、把持・見回し動作時のワークスペース、重量、サイズ、視角と目からの距離との関係などの観点から実験的手法を用い求めている。

　第3章は「オブジェクト指向型ディスプレイの実施例」と題し、第2章で示したオブジェクト指向型ディスプレイの概念と設計指針に基づき、単面LCD方式のMEDIA-A(MEDIA-Ace)、多面LCD方式のMEDIA3(MEDIA Cube)、投写型のMEDIA X’tal(MEDIA-Crystal)といった3方式のオブジェクト指向ディスプレイの設計と試作を行っている。MEDIA-Aは小型携帯液晶ディスプレイに傾斜センサを取り付けることで構成される。コントロール部でLCDおよび観察者の位置・姿勢を計測し、LCDの姿勢および観測者の視線に応じグラフィックエンジン部で画像を生成する。MEDIA-Aはオブジェクト指向型ディスプレイのディスプレイに対する操作とバーチャル物体に対する操作の投射性を実現する最もプリミティブな実装例である。MEDIA3は液晶ディスプレイを直方体状に4枚配置して構成している。MEDIA3に対する視点の相対位置を計測し、グラフィックエンジン部で各面に視点位置に応じた適切な透視変換画像を生成し各面に提示し、位置の計測と画像の生成を実時間で行うことによってオブジェクト指向型ディスプレイの機能を実現している。第3の実施手法として投写式のオブジェクト指向型ディスプレイMEDIA X’talを提案している。MEDIA X’talでは、小開口径単眼プロジェクタを左右両眼に各1組、ハーフミラーにより目と共役な位置に配置し、提示面には再帰性反射材を塗布し、さらに位置センサを取り付けて計測した提示部の位置情報を基にグラフィックエンジン部で画像を生成している。再帰性反射材を用いることで高い輝度、指向性反射を有し、また再帰性反射材が塗布可能なすべての物体を提示部として利用可能なため非常に軽量なディスプレイ部が実現可能となっている。また、プロジェクタと観察者の目をハーフミラーによって光学的に共役な位置に配置することで提示部の形状に起因する像の歪みが生じず、プロジェクタと提示部の間に何らかの遮蔽物があったとしても遮蔽物の影が生じる部分は遮蔽物自体によって観察者からは死角となるため、観察者から見ると遮蔽物の影は事実上ないとみなすことができる。さらに、絞りによって大きな焦点深度を持ち、提示部の形状や提示部の前後方向の移動によるピンぼけなどが生じにくいなどの長所を有するオブジェクト指向型ディスプレイが実現されている。

　第4章は「試作したオブジェクト指向型ディスプレイに関する考察」と題し、試作したオブジェクト指向型ディスプレイに関する特性、優位性、問題点などを論じている。各ディスプレイとも遮蔽される部分は、正しい遮蔽関係を保って観察可能であり、正しい遮蔽関係が保たれると同時に、提示部の移動や回転に対応した映像提示も適切に移動し回転するため極めて高い現実感が得られることが確認されている。MEDIA-Aを例とし、手で保持した場合を想定して、縦視野角30°のHMDと視点から40cm先にあるオブジェクト指向ディスプレイとMEDIA-Aと同一の解像度である縦84mm、234pixelの液晶パネルを利用したHMDを比較した結果、HMDの分解能は視力換算0.13相当であるのに比べ、オブジェクト指向ディスプレイは視力換算で0.32相当と2.4倍の解像度で物体を提示することが可能であることが示されいる。

　第5章は「視触覚融合」と題し、オブジェクト指向型ディスプレイの技術による視触覚融合提示の実験として、既に開発されている能動型環境提示装置(AED)の構成要素である形状近似デバイス(SAD)と近似形状を形成したブロックの両者に再帰性反射材を貼付・塗装し、絞り付きプロジェクタを用いて映像を眼球の共役点から投影することにより視触覚融合を実現するシステムを構成している。そのシステムを用い実験を行ない本論文で提案した方式により視触覚融合が効果的に実現できることを示している。

　第6章「おわりに」は結論で、本論文の結論をまとめ、今後を展望している。

　以上これを要するに、人工現実感環境において観察している物体を直接操作できるというオブジェクト指向型ディスプレイの概念を提唱し、その利点を実験的に明らかにするとともに設計法を明確に示し、それに基づいて実際に利用可能なディスプレィを試作することでその有効性を示して応用への道を拓いたものであって、計測工学及び人工現実感工学に貢献するところが大である。

　よって、本論文は博士(工学)の学位請求論文として合格と認められる。