本論文では，フルカラーの動画像提示を実現した試作機 TWISTER III について報告し，そのハードウェアの設計，利用する画像の取り込みやレンダリング，および全周の裸眼立体視全周ディスプレイとしての性能評価について報告する．

テレイグジスタンスとは，人間が従来の時空の制約から開放され，時間と空間ないしはそれらの両者を隔てた実環境やバーチャル環境に存在することを目指す概念である．実世界のテレイグジスタンスでは，大分して二つの方向の異なる情報の流れが存在する．すなわち，遠隔地の情報をセンシングしてユーザに提示するという流れと，ユーザの情報をセンシングして遠隔地で提示するという流れとである．例えば，二人の人間 A とB とがテレイグジスタンスの技術を利用して会話を行うときには，(1) A の発する情報，すなわち音声や顔の表情などがセンシングされ B に対して提示され，(2) その逆も同様に行われる．このような面談の会話を成立させるためには，ユーザの音声や顔の表情をセンシングする必要がある．一方，人間 A がコックピットのようなものに搭乗し，遠隔地にあるロボットを操縦するような場合は，(1) A のロボットへの指令情報がセンシングされてロボットに送られ，同時に (2) ロボットに取り付けられた画像センサや加速度センサなどの情報が A に送られる．この場合には，ユーザを遠隔地点に臨場させるために，ロボットの側に広画角な画像センサを用意し，ユーザの側ではそれを臨場感を損なうことなく提示する手段が必要である．テレイグジスタンスによる人間どうしの会話や，遠隔コックピットへの搭乗を実現するには，大別して次のような技術が要求される．1. ユーザの全身像や顔を撮影する技術　2. ユーザの全身像や顔を視覚的に覆うことなく，ユーザに広画角で立体視が可能な映像を提示する技術　3. 実世界やバーチャル世界において広画角で立体視が可能な映像をセンシングあるいはレンダリングする技術

上記の1. すなわち観察者の顔や全身像の取得に関しては，すでに國田らが検討を行っている．本研究の目的は，上記の2および3，すなわちテレイグジスタンスのためのブースを構想し，とくにその中でも，遠隔地やバーチャル世界の情報を観察者に提示するという情報の流れの部分を実装することである．

2. を満たすようなシステムの関連研究として，ユーザに広画角で立体視が可能な映像を提示するものの，ユーザの顔を視覚的に覆ってしまうものとして, 体験者の頭部に光学系を搭載するHMD (Head Mounted Display) や複数のスクリーンを組み合わせた没入型多画面ディスプレイ装置である IPT (Immersive Projection Technology) などがある．これらを利用したシステムは，バーチャルリアリティの三要素といわれる「3 次元の空間性」，「実時間の相互作用性」「自己投射性」は満たすものの，ユーザは特殊な眼鏡をかける必要があるため，ユーザの顔を撮影することができないだけでなく，ユーザの全身像を撮影するのが困難である．

一方，2. の関連研究のうち，ユーザの顔を視覚的に覆うことなく，立体視が可能な画像を提示するディスプレイについても各種のものが提案されている．このようなディスプレイのことを裸眼立体 (Autostereoscopic) ディスプレイと呼び，いくつかの方法や装置が開発されている．ホログラフィックディスプレイやボリューメトリックディスプレイのほか，パララクスバリアやレンチキュラーレンズも数多くのシステムで用いられており，製品化されているものもある．このほかにも，2 人以上の観察者に同時にステレオ画像を提示することのできるものも開発されている．ただし，提案されたディスプレイは，すべて画角が原理的に限られたもので，全周囲をステレオで提示可能なディスプレイは提案されてこなかった．

この課題を解決するため，我々は回転式没入型裸眼立体ディスプレイ，TWISTER (Telexistence Wideangle Immersive STEReoscope) を提案し，1996年以来3台のプロトタイプを製作してきた．TWISTER は，円筒形のディスプレイ装置で，観察者がその内部に入ると観察者を覆うような広画角 (没入的) で，かつ裸眼立体視が可能なフルカラーの動画像が提示される．複数のTWISTER を利用したテレイグジスタンスでは，各ユーザが互いに，バーチャル環境の中でリアルタイムに動く他のユーザの3次元像を見ることができるほか，没入的な空間にいる人間自身をその没入背景と組み合わせて画像として再構成するという要求にもこたえることができる．全周囲のステレオ視提示を可能にするため，回転パララクスバリアと呼ばれる方式を採用した．すなわち，a 多数のLED (Light Emitting Diode) が一列に並んだLED アレイ2本と薄いバリアとで構成されたディスプレイユニットを備える b 複数のディスプレイユニットが円筒形をした回転体の周囲に内向きに取り付けられている c ディスプレイユニットは時間的に変化する発光パターンで，十分高速に観察者の周りを回転するという構成である．1号機 (TWISTER I) では，この回転パララクスバリアの有効性が確認され，TWISTER II では，初めてフルカラーの静止画を提示することに成功した．図1 に，TWISTER II とその中に入る観察者の写真を示す．TWISTER IIIでは，初めてフルカラー動画を提示することに成功した. 本論文で扱う範囲は，TWISTER II におけるフルカラーの静止画提示およびTWISTER III の設計，製作と評価のすべてである．図2に，TWISTER III の概観と体験者の写真を示す．この装置は8 系統のNTSC 信号を入力することが可能であり，コントローラから送られる同期した画像信号を受けて，30fps (frames per second) の動画を提示することが可能である．

前記の 3. すなわち実世界において広画角で臨場感のある (=ステレオ視の可能な) 画像をセンシングあるいはレンダリングする技術は，TWISTER の画像提示の仕組みと密接に関連している．

臨場感をともなった視覚提示系を構成する一つのアプローチとしては，観察者の頭部の位置や向きに合わせてセンサを制御し，画像や音といった実世界の情報を情報量を削減してから取得するというものがある．一方，帯域が許容する範囲内でできるだけ多くの画像情報を取得するアプローチも考えられる．冗長性を持った画像情報を取得することにより，例えば，一つのカメラから得られた画像を，複数の観察者に同時に，それぞれの人の向きに応じて提示するということも考えられる．実際，TWISTER では，観察者の頭部の向きを検出することなく，どの向きを向いても正面が立体視できるような提示が要求される．これは，全周囲にわたるステレオ視 (Panoramic stereo もしくは Omni stereo) と呼ばれる．これまで，静止風景の全周囲ステレオによる画像取得は可能であったが，動画を全周囲ステレオ画像として取得することは困難であった．本研究では，単一のセンサによって複数の(連続した) 視点から静止画ではなく，動画として光線を取得する方法を提案し，実験を行う．

論文では，最初に回転式没入型裸眼立体ディスプレイを設計する際の基準や必要となる仕様について議論する．また，回転式没入型裸眼立体ディスプレイの一つのプロトタイプとして，より具体的な設計および実装についての議論を行う. 次に，実写およびCG, 静止画および動画それぞれについて，画像を生成したり取得したりする方法について述べる．実写の全周囲ステレオ動画を実時間で取得する方法については，システムを試作し，その性能についても議論を行う．さらに，TWISTERのディスプレイとしての評価を行う．ステレオ画像提示能力についての，被験者を用いた実験についても触れる．最後に結論および将来の展望について述べる．

TWISTER II の写真

TWISTER III (左) とそれを体験するユーザ(右)

本論文は「テレイグジスタンスのための全周囲立体提示撮像システムに関する研究」と題し、7章からなる。近年、自分が現存する場所にいながらにして、ロボットの働く遠隔環境に存在するような臨場感を有して空間を観察し、その空間で行動することを可能とする技術が確立されつつあり、テレイグジスタンスと呼ばれている。一方、遠隔地間でのコミュニケーションのためのテレビ電話などが開発されているが、自分がその場にいるような臨場感や、相手が目の前にいるような存在感を伝えるにはいたっておらず、実際に面談しているようなコミュニケーションを可能とする新しいシステムが求められている。本論文は、テレイグジスタンスを用いる面談やロボットの制御のための眼鏡なしで全周囲を立体映像として提示できるシステムと、そのための立体映像を撮像するためのシステムについて、その工学的実現に向け、理論的解析に基づいて設計法を明らかにするとともに、実際のハードウェアを構成してその効果を実証して、今後の実用と応用への道を拓いたものである。

第1章は「序論」で、遠隔地にいるにもかわらず面と向かって会話をしている状況や、ロボットを分身のように利用し行動する所謂テレイグジスタンスを考えたとき、使用者に広画角で立体視可能な映像を提示でき、かつ使用者の顔を覆うことなく全周囲に立体映像を提示できるという条件が必須であることを述べ、従来から提案され利用されている頭部搭載型ディスプレイ（Head-Mounted Display : HMD） や 没入型投影技術（Immersive Projection Technology : IPT）では、広画角で立体視が可能な映像を提示することはできるが使用者の顔を覆わないという条件が満たせず、一方、使用者の顔を覆わずに立体視をさせる従来の裸眼立体ディスプレイは全周囲を提示できないことを明らかにして、実際に面談しているような遠隔コミュニケーションを可能とするテレイグジスタンスのための撮像提示システムを実現するという本研究の目的と立場と意義とを明らかにしている。

第2章は、「回転式没入型裸眼立体ディスプレイの設計」と題し、回転式没入型裸眼立体ディスプレイTWISTER(Telexistence Wide-angle Immersive STEReosope)の原理を説明したのち、その設計上の方法論や、設計パラメータについて議論を行っている。 TWISTERは、裸眼立体視ができ、なおかつ全周囲の提示が理論的に可能なディスプレイとして1996年に提案されたものであるが、本論文では、その実現のための工学的設計論を確立し、その結果360度の全周囲を裸眼でかつフルカラーの動画像で提示することを可能としたシステムとして実現している。TWISTER は、複数の縦に長いディスプレイユニットを円筒状に配置した回転体が、観察者の周りで回転し、人の目の残像効果を利用して、没入的な動画の裸眼立体視を可能にするディスプレイである。2列の Light Emitting Diode (LED) アレイと1枚の視差障壁 (パララクスバリア) とで構成されるディスプレイユニットが観察者の周りを回転することで裸眼立体視が実現できる。 フリッカ、サッケード、サーキュラベクション、両眼の時間差、輻輳調節矛盾を考慮した設計を行い、かつ頭部位置計測を省ける設計法として全周囲レンダリング法を提案している。

第3章は「TWISTERIIIの製作」と題し、 TWISTER III を具体的に実装するにあたって問題となる事項を中心に述べている。これには円柱筐体の精度よく安定した回転、動画のための高速なデータ転送と分配、画質を向上させるための工夫としての機械式インタレースや拡散板の利用などが含まれる。また、回転するディスプレイ特有の問題としての画像取得時と提示時の時空間サンプリングパターンの一致についても論じている。

第4章は「TWISTER の性能評価」と題し、 提示系の性能評価を行っている。実験により、1) 没入感、臨場感を感じさせるのに十分な140度以上の画角で立体視の提示を実現できること、2)面談で想定される0.5mから3mの間の距離において、線形な奥行きの提示が可能であり観察者から12cm〜3mの距離だけ離れた物体を輻輳により融像し正しく裸眼立体視ができること、3) ライブ動画像の提示が可能であること、すなわち、毎秒30フレームで、RGB 8bit 階調のカラー動画像を、左右それぞれの目に対して 1,920 x 256 画素の空間解像度で、明るく(740 cd/m2)色再現よく提示できることを示している。

第5章は「全周囲立体動画像の取得および提示I」と題し、全周のすべての向きについて近似的に立体表示をすることができるような画像の取り込み方法を提案し、実験による評価を行っている。提案する画像取得方法は、円柱もしくは楕円柱ミラーを利用したシステムである。これは、光学的には反射火線 (catacaustic) と呼ばれる曲線を利用しており、曲面ミラーに映り込んだ画像が、その視点を移動させながら光軸を回転させるような画像センサの出力を近似するものであることを利用している。円の反射火線は、Nephroidという形状になることが知られているが、楕円の反射火線はさらに円に近い形状になることや、反射火線の形状が指定されているときに、逆にミラーの形状を求める方法についても議論している。実際に円柱ミラーを使用して構成したシステムで撮影を行った結果、得られる全周囲画像の水平解像度は方向によって不均一性があるものの、正面から ± 30度の範囲において視力換算約0.1となり、利用可能な範囲であるとしている。

第6章は「全周囲立体動画像の取得および提示II」と題し、全周囲立体動画像取得方法として、回転光学系を利用した方法を提案し、設計・実装して実験を行っている。装置は、32本のピラーを備えたケージ状の回転円筒の側面に、16組ずつの、それぞれ左目画像と右目画像を取得できるようなプリズムシートおよび円偏光フィルムの組み合わせを配置し回転させる。左右眼に対応する画像は、この円筒側面の開口部から一つおきに取得されるようになっており、入射した光線は双曲面ミラーにより反射され、装置の上部に備えられたビームスプリッタによって2系統の光線群に分割された後、円偏光板によって、左目もしくは右目画像だけが取り出される。この構造を回転させて時間積分することにより、前章同様、常に正面から到来する左右眼それぞれの光線情報を全周囲にわたって取得できる。これをTWISTERに提示した実験によって、視力換算0.1程度の空間解像度と1/30秒の時間解像度で、水平方向に全周囲、垂直方向に60度の画角での画像の取得と提示が可能であることを確認している。

第7章は「結論」で、本論文の結論をまとめ、今後を展望している。

以上これを要するに、本研究では、遠隔地間での面談コミュニケーションなどの所謂テレイグジスタンスのための全周囲立体動画の撮像と提示を工学的に達成するためのシステムを提案し、その実現可能性を理論と実験によって体系的に論じるとともに、裸眼で全周囲立体動画映像の撮影と提示が可能な装置を設計し、実際のハードウェアを構成して評価することにより提案方式の効果を実証して、今後の実用と応用への道を拓いたものであって、システム情報学及び人工現実感工学に貢献するところが大である。

よって、本論文は博士（工学）の学位請求論文として合格と認められる。