本論文は，TWISTER （Telexistence Wide-angle Immersive STEReoscope） という全周囲裸眼立体提示撮像システムの設計・製作と，TWISTERを用いた通信システムの構築について述べたものである．

研究の背景

研究の背景として，相互テレイグジスタンスという概念が挙げられる．互いに遠隔地にいるユーザ同士があたかも目の前にいるかのようにコミュニケーションを行うためには，臨場感の高いディスプレイシステムと，あらゆる方向から利用者を撮影する撮像機能が不可欠である．本研究で扱うTWISTER は，立体没入映像を提示するディスプレイ性能と，利用者を全周から撮影する撮像機能をあわせ持っており，相互テレイグジスタンスを実現するデバイスとして有効である．

また，TWISTER の持つ裸眼立体視という特徴は撮像の面からも有効であり，特殊なデバイスをつけていない利用者を撮影することで，コミュニケーションの質を上げられると考えられる．

映像提示の原理

TWISTER の形状は人が入れるほどの大きさの円筒であり，ディスプレイ部は円筒状に配置された複数のLEDアレイからなる． LEDアレイを高速に動かしながら通過点に応じた点灯パターンを提示することによって，1次元LEDアレイの残像が，2次元映像として利用者に知覚される．なお、LED の輝度は十分大きいため、高速走査をしても十分な輝度で画像を提示することができる。

LEDアレイの高速走査に加え，TWISTER では回転型パララクスバリアという原理によって利用者の右目と左目に異なる映像を提示している（図1）．また、TWISTER の提示ユニットは2本のLEDアレイと幅数cm程度の遮光板（パララクスバリアと呼ぶ）からなり、LEDアレイとパララクスバリアのエッジによって構成される平面は円筒型回転部の中心軸を含むような配置に設計されている．そのため，機構の中心に立った利用者が正面方向の提示ユニットを見たとき，パララクスバリアによる遮光効果によって，右目からは右側のLEDアレイだけが見え，左目からは左側のLEDアレイだけが見える．この状態を保ったまま，複数の提示ユニットを利用者の周りで高速移動させることで，利用者の右目と左目に別々の全周映像を提示し，利用者はステレオ映像を見ることができる．

映像撮影の原理

TWISTER では、提示ユニットであるLEDアレイの配置が疎であるため、その間にカメラを配置してユーザ周りを高速周回させることができる。

図2に示すように、被写体を周回する1台のカメラのシャッタタイミングを制御すると、被写体周り360度、任意の位置から被写体を撮影することができる。このとき、得られる映像のフレームレートは周回周期と一致し、1周あたり1フレームの映像が、任意に指定された特定地点から得られることになる。TWISTER の撮像系では実際には複数台のカメラが搭載されているため、ユーザの全周から数十fpsで撮像することが可能である。

TWISTER IV および Vの設計と製作

従来のTWISTER III の後継機として、TWISTER IV およびVを設計・製作した。TWISTER IV および V の発光素子に従来の約半分の大きさ（1.6mm x 1.5mm）の3色LEDを用い，通信部に光通信を導入することで，ディスプレイとしての性能が飛躍的に上がった．また，回転部の回転速度も従来の約1.0rps から 1.66rps へと上げることで，これまでに課題だったフリッカーや眼の疲れ，立体視の困難さをかなりの部分改善した．さらに，提示ユニットの間にカメラを配置して利用者を周回させることで，全周から利用者を撮影する枠組みを導入した．

製作されたTWISTER IV およびTWISTER V の全体像は，図3に示したとおりである．

TWISTER に映像を提示するためのレンダリング手法

主に映像生成の側面からTWISTER の提示系に付随する問題に取り組み，TWISTER で実際に提示した映像について評価した．

一般に，2眼の立体ディスプレイにおいては，ユーザに対して自然な立体映像を提示するために，ユーザの視点位置を限定，もしくは測定する．しかし，ユーザ視点位置の取得（または限定）は，ユーザ・デバイスの双方にとって負荷が大きいため，視点位置の取得を伴わない立体映像提示方法があれば，それなりの用途がある．TWISTERの場合，ユーザが立体視をするために，頭部位置をデバイス中心付近に置く必要があるが，少なくとも見回し運動に関しては，以下の手法で提示することが出来る．

デバイスの中心軸を軸として，ユーザの頭部をバーチャルに回転させる．このとき，各頭部位置において，ユーザの正面方向の情報のみを取得し，これらをつなぎ合わせたものを，全周の描画映像とする．このようにして得られた画像は，ユーザの見回し運動時の各ユーザの頭部位置において，少なくとも正面方向については，確からしいものとなる．真正面以外の画像情報は近似であるが，本来提示されるべき画像に近いものなので，ユーザはこれらの画像をもとに立体視をすることができる．

本論文では、レンダリングに対するこの2つのアプローチを円筒座標系を用いて数学的に解き、描画手法として確立した。また、理論を元にTWISTER に対して映像を提示した。提示映像の例を図4に示す。

TWISTER を用いたユーザの全周撮影

TWISTER というハードウェアを活かし，いかに全周撮像を実現するかについて実験を交えて述べた．また、ユーザの周りをカメラが周回するTWISTER 撮像系と等価な被写体回転系を構築し、大掛かりなシステムに撮像機能を組み込む前の予備実験を行った。TWISTER ではカメラが被写体の周りを周回するが，逆にカメラを固定して被写体を回転させることで，TWISTER と同じ状況をより安価にシミュレートした．

また，自由視点映像の合成に関しては，現在のTWISTERのスペックでは実現できないものの，TWISTER の撮像機能の自然な発展として，多視点映像の取得と合成について議論した．また実験として，12台のカメラを制御して，1台ないし2台のバーチャルカメラ生成を実現している現在のTWISTER V の構成について述べた．

TWISTER 間の通信

提示と撮像というTWISTER の2つの機能を活かした通信アプリケーションについて述べた．通信に関する研究は，TWISTER 本体の個体数が少ないことから，まずはTWISTER 一台で完結するアプリケーションとして、バーチャルミラーを実装した．また，TWISTER IV と TWISTER V の間での通信についても設計し，相互テレイグジスタンスの実現への道筋を示した．

まとめ

TWISTER IV および V という全周型裸眼立体提示撮像システムを構築し、その提示機能と撮像機能を評価した．また、TWISTER 間の通信の道筋をつけた．

図1 回転型パララクスバリア

図2 映像撮影の原理

図3 TWISTER IV （左図） とTWISTER V（右図）

図4 TWISTER V での提示映像

図5 相互通信システムの設計

本論文は「全周囲裸眼立体提示撮像システムを用いた空間共有に関する研究」と題し、6章からなる。近年、自分が現存する場所にいながらにして、ロボットの働く遠隔環境にあたかも存在するような臨場感を有して空間を観察し、その空間で行動することを可能とする技術が確立されつつあり、テレイグジスタンスと呼ばれている。一方、遠隔地間でのコミュニケーションのためのテレビ電話などが開発されているが、自分がその場にいるような臨場感や、相手が目の前にいるような存在感を得るにはいたっておらず、実際に面談しているようなコミュニケーションを可能とする新しいシステムが求められている。本論文はコミュニケーションのための空間共有を可能とする、裸眼の全周囲立体映像提示機能と全周囲からの使用者の撮像機能とを合わせ持った臨場的三次元映像相互提示システムを提案し、空間共有のためのシステムの設計法を明らかにするとともに、実際のハードウェアを構成してその効果を実証して、今後の実用と応用への道を拓いたものである。

第1章は「序論」で、遠隔地にいる人間同士が互いに目の前にいるのと同等の状態で対面している状況を作り出す「相互テレイグジスタンス」という概念を述べ、相互テレイグジスタンスを実現するための提示・撮像機構の要件を、「3次元性」「実時間性」「没入性」の観点から論じている。表情などの非言語情報の重要性を考慮すると、顔面への装着物なしに立体映像を見られることが望ましく、空間を共有する必要があることから全周囲の提示が必要となる。この要件を満足する方式がTWISTER（ Telexistence Wide-angle Immersive STEReoscope）であり、1996年にその基本概念が提唱され、これまでに試作機が作られてきているが、使用者を撮像する機能を組み込み、空間共有を実現するには至っていなかった。使用者の全周囲からの映像を取り込み、それを相互に提示しあって相互テレイグジスタンスを実現するための撮像機構を、提示機構と物理的に干渉することなく配置可能なシステムとして提案し、具体的に設計し製作して、その有効性を実証するという本研究の目的と立場と意義とを明らかにしている。

第2章は、「撮像機能を持つ没入型裸眼立体ディスプレイの設計と製作」と題し、TWISTERにおける提示・撮像原理を述べ、既存の試作機（TWISTER III）の問題点を踏まえ、新しい試作機（TWISTER IV）の設計と実装について論じている。小型フルカラーLED（1．6mm x 1．5mm、）を使用し、データ伝送に光信号を用い、高速なディスプレイ走査（60Hz）を行うことで全周3168画素、垂直600画素の高精細画像を約2．0mmピッチで安定に提示しつつ、36台の高速移動カメラを提示機構と物理的に干渉することなく配置し、全周囲からの撮像を可能としたTWISTER IV が設計され実装されている。特に、撮像情報と提示情報は、光信号に変換され、光ロータリージョイントによって回転接続されており、提示機能にはDVI、撮像機能にはIEEE1394を用い5.94Gbpsいう広帯域のデータ伝送が可能となっている。

第3章は「内向き円筒型ステレオ立体ディスプレイのためのレンダリング手法」と題し、円筒形状のTWISTERディスプレイ面にステレオの立体映像を提示するためのレンダリング手法について論じている。TWISTER 内部の使用者の視点位置の自由度を首振り方向の1自由度に限定することで、視点位置の追跡なしにステレオ映像の提示を可能とする方法を示している。全周の視野角を有限個の領域に分けてそれぞれ描画計算を行なって，円筒補正をかける方法と，バーチャル空間の物体の描画において物体を正面方向に見据えた使用者の視点位置を仮定し、物体の存在位置に応じて仮定する視点位置を連続的に移動させながら描画する手法が有効だとしている。前者は、各描画計算における視錘台が左右対称であることから計算上有利であり，また想定された位置から映像を見ると空間的に広がりのある立体映像が見られるものの視点位置の変化に対して脆弱であるが、後者では、正面以外の周辺視領域においては立体映像に歪があるものの、視点位置の変化に対して安定性が見られたという。

第4章は「高速移動多カメラを用いた撮像システム」と題し、円筒状に36個のカメラが配置されて使用者の周りを高速移動するTWISTER の撮像機構を活用した撮像方式について述べ、さらにそれを用いた自由視点映像合成に関する理論を展開している。使用者の周りを高速に旋廻する複数カメラのシャッタタイミングを制御し、複数カメラで水平方向360度の任意の角度から使用者を撮影した映像ストリームを合成することで、多様な映像出力を得るものである。本手法のメリットは、提示機構と干渉することなく撮像機構を備えられる点であり、映像を鑑賞する使用者の正面方向からでも鑑賞映像を阻害することなく撮影することができる。また、各カメラのシャッタタイミングの制御によって、撮影位置とフレームレートを自由に調整し、複数の撮影位置から低フレームレートで映像を取得したり、1つの撮影位置から高いフレームレートで映像を取得したりすることが可能になる。カメラを円筒状に固定して被写体を高速に回転させる被写体回転系を用いて予備実験を行った後、TWISTER IV 本体にカメラを搭載して、実際の撮像機構を構築し、12台のカメラを制御して、約10fpsの映像ストリームを取得している。

第5章は「TWISTER を利用した相互通信システムの構築」と題し、空間共有に関するこれまでの研究事例を踏まえ、提示と撮像というTWISTER の2つの機能を活かした相互通信システムについて述べ、実装例としてTWISTER - SeeLinder（外向き全周立体映像提示装置）間の通信、とTWISTER - TWISTER 間の通信を取り上げている。TWISTER - SeeLinder 間の通信に際しては、外向き全周への立体映像提示というSeeLinderの提示特性と、内向きで360度任意の位置から使用者を撮像可能なTWISTER の撮像機構を組み合わせ、TWISTER 内部の使用者がSeeLinderに提示されるようにしている。ただし、SeeLinder および TWISTER の機能制約から、使用者を複数方向から撮影した映像を同時に扱うことが困難であったため、SeeLinder 側の観察者に磁気位置センサを持たせ、観察者の位置に応じて、TWISTER 内部の使用者が見られるようにしている。TWISTER - TWISTER 間通信に関しては、TWISTER IV と同等機能を持ったTWISTER V を日本科学未来館に設置し、Dynamic Billboard という概念を提案して、VR空間上の互いの使用者の位置に応じて、対面相手が正しい方向から撮影され、互いに描画されることを可能とする方法を示している。また、TWISTER IV 単体の提示機構・撮像機構を直結し、TWISTER IV を体験する自分自身をリアルタイムに観察することもあわせ行っている。

第6章は「結論」で、本論文の結論をまとめ、今後を展望している。

以上これを要するに、本研究では、遠隔地間での臨場的な面談コミュニケーションを工学的に達成するための空間共有方式を提案し、裸眼で全周囲立体動画映像を臨場的に提示しつつ、それを使用する使用者の映像を全周囲の任意視点から映像を阻害することなく撮影可能な装置を設計し、実際のハードウェアを構成して評価することにより提案方式の効果を実証して、今後の実用と応用への道を拓いたものであって、システム情報学及び人工現実感工学に貢献するところが大である。

よって、本論文は博士（工学）の学位請求論文として合格と認められる。