安全な遠隔地からロボットを操作する遠隔制御法は，ロボットの制御手法のひとつとして早期より研究開発されてきている．遠隔操作では，オペレータは直接状況を把握できないが，インターフェイス装置から視覚，聴覚，触覚，力覚など，さまざまな情報が提示される．この手法を有効に機能させるためには，バイラテラル制御などのロボット自体の制御技術とともに，遠隔地の状況を臨場感高く操作者に提示することが不可欠である．このような，機械からオペレータへの感覚フィードバックを臨場感の高いものとするための研究は，テレイグジスタンス(tele-existence)とよばれている．理想的にはすべての感覚に対して遠隔地の情報が忠実に提示される必要があるが，現状の遠隔操作技術では，単純な作業であっても，直接操作するのに比べ，作業効率は著しく低下することが指摘されている．それは，オペレータに提供される情報量が非常に少ないことが一因と考えられ，情報量が増えれば作業効率は改善すると思われる．そのためには，最も多くの情報を提供できる視覚映像の臨場感を高めることは不可欠であり，包囲型ディスプレイ等の大型ディスプレイやヘッドトラッキング付きヘッドマウントディスプレイ(HMD)を用いた方式等が高い臨場感を実現すべく，研究開発されている．臨場感を高めるには広視野で高解像度の映像提示が必要であるが，通常のディスプレイデバイスがもつ走査線数は一般に限られており，大画面にすると提示画像の分解能が落ち臨場感の高い像が必ずしも提示できない．そのため，解像度を維持しつつ，人の視野をカバーするに十分な映像を提示する映像提示システムを構成することが難しく，通常のディスプレイデバイスでは，必要な解像度を確保するために，視野角を制限せざるを得ない．このことが現実感の高い映像を提示する上で一つの障害となっている．そこでこれらの問題を解決しつつ，かつ広視野高解像度映像を提示する手段として，前節述べたのと異なる手段で実現する方法が提案されている．それは，人の視覚系が持つ生理学的特性を利用した映像提示法であり，注視点付近に小領域高解像度映像を，そしてその周囲に広視野低解像度映像を提示する方法で視線追従型映像提示方式と呼ばれている．

　人の視覚は，注視する一定領域でのみ高解像度の映像を受容する能力を持つ．そこでFig.1の概念図に示すように，注視している部位の映像のみ高解像度提示し，周辺の映像を低解像であるが広視野に提示する．これにより従来のディスプレイデバイスを用いながらも広視野高解像度映像を提示できる．

　そこでこれらの議論を踏まえて，本研究では臨場感の高い遠隔操作を実現するために欠かせない基礎技術の一つとして広視野映像上の視線検出された注視点に小領域の高解像度映像を提示する視線追従型広視野高解像度映像提示システムの実現を目指し，高解像度映像の視線追従に関する人間の視覚特性や，システムの構成方法について研究を行った．本論文の概要は以下の通りである．

　第1章「緒論」では，ロボットの遠隔操作の重要性と広視野高解像度映像の必要性について論じ，背景となる広視野高解像度映像提示に関する従来技術の現状と問題点について述べた．これらの様々な映像提示方法の中で，研究対象として視線追従型映像提示システムを取り上げ，本研究の目的，研究課題を明らかにした．

　第2章「注視点近傍における静的視覚特性の検討」では，人間の視覚特性と映像の認識について論じ，視線追従型映像撮像・提示システム設計の基礎データを得ることを目的として，広視野映像上の注視点周りの小領域に高解像度映像がスーパーインポーズして提示されるとき，その境界を認識させない高解像度映像の大きさについて評価した結果を述べた．実験では，中心部と周辺部で異なる解像度を有する縦縞模様パターンを表示刺激に用いて，解像度の境界を判別させる実験を行い，こうした視線追従型画像提示系を設計する際に必要な，高解像ディスプレイの大きさを決定するための以下の基礎データを明らかにした．

(1)中心部と周辺部で解像度の異なる像を提示した場合，解像度の差にかかわらず，中心部高解像度像の幅をある値以上にするとその境界の識別が困難になる．このときの高解像度視野角は，26度から33度である．この特性は人の網膜の生理学的構造に起因すると推定される．

(2)物理量である空間周波数から感覚量への変換操作を導入することにより，より広範囲の空間周波数に対応した高解像度視野角θmの変動傾向を推定した．

　第3章「注視点近傍における動的視覚特性の検討」では，視線追従型映像撮像・提示システム設計のために必要な基礎データとして，オペレータが視線移動するとき，その視線追従する高解像度映像の許容できる提示時間遅れについて述べた．まず眼球運動の種類と特性について論じ，その知見を元にコンピュータグラフィックスによって生成された縞模様画像を視線移動に対してある時間遅れをもって提示する評価実験を行い，視線追従型映像提示システムを設計するために必要な，視線追従に対して許容できる映像提示時間遅れに関する以下のような基礎データを明らかにした．

(1)映像提示時間遅れの評価実験結果をもとに物理量である解像度を感覚量に変換し，より広範囲の解像度に対応した定時時間遅れの変動傾向を推定した．

(2)NTSCディスプレイを用いて110度の視野角でランドルト視力1.0相当の映像提示を行う場合，被験者が視線を移した後それが違和感なく高解像度であると感じられるためには，サッカード終了後，60-80mS以内に高解像度映像が注視点に提示される必要がある．

　第4章「映像提示システムの開発」では，視線追従型映像提示システムを具体化するために必要な，注視点近傍に高解像度映像を提示する方式を提案するとともに，その試作機を設計し，単純映像を対象とする実験によって提案方式の映像提示手法の妥当性を確認した結果を述べた．視線追従型映像提示システムを具体的に構成するために，プリズム方式，楕円鏡方式，前方投射方式という広視野高解像度映像提示のための3種類の実現方法を考案し検討を行った結果，前方投射方式の有効性を指摘するとともに，システムの構成について，映像の投影方法，高解像度映像の視線追従の方法，視線検出手法について論じた．さらに実験システムを試作してその高解像度映像提示系の評価を行った．まず走査ハーフミラーの応答特性を測定し，それが視線の移動速度に十分追従し得るものであることを確認した．さらに高解像度映像を視線に応じて制御する手法の妥当性を心理物理的実験により確認した．

　第5章「映像撮像・提示システムの統合」では，まず視線追従型映像撮像・提示システムを具体化するための映像提示システムと，その提示システムに対応した実環境映像を取得するための映像取得システムの構成方法について検討を行い，4章で検討・試作した映像提示システムをもとにその高解像度映像提示位置を水平方向だけでなく垂直方向にも制御できる試作システムを構成した．(Fig.2, Fig.3参照)またその提示装置に対応した実環境映像を取得するための撮像システムを設計試作し，提示システムと統合したシステムを構築した．次に単眼システムにおける高解像度映像を視線に追従して適切に提示するための条件について検討し，格子状に並んだ9個の指標を用いて高解像度映像提示の評価実験を行った．実験の結果，オペレータの注視点と高解像度映像の提示位置が一致して，その視線方向に一致した映像内容が高解像度映像として提示されていることを確認し，検討・試作した映像取得・提示システムの有効性を確認した．また，オペレータの視線移動に対する高解像度映像の追従性能について，実験中の作業時間を計測した結果，現状のシステムでは，直接視には及ばないが，市販のNTSCディスプレイを視覚提示に用いた場合よりも作業時間が短くなることがわかった．

第6章「視線追従型映像提示システムの設計指針」では，2章から5章で行われた実験結果をもとに，NTSC ディスプレイやHDTVのデバイスの使用を想定した視線追従型映像提示システムの設計法について述べた．特に換算視力1.0相当の提示系を構成するための，境界を認識できない背景の低解像度領域の視野角とそれに対応する最適高解像度視野角の関係および，高解像度映像が視線追従して提示される際の時間遅れと映像の提示方法について述べた．さらに，周辺視の変化知覚に関する予備実験結果から，注視時およびサッカードや随従運動(スムースパースート)などの眼球運動に対するシステム制御の対処方法について検討した．また，視線追従型映像提示システムを制御設計する際の視線検出のタイミング，高解像度映像の移動と提示方法について考察し，本映像提示方式における伝送容量に関する優位性について述べた．

　そして最後に第7章「結論」では，本研究を総括するとともに，今後の課題や将来の展望について述べた．

Fig.1 Concept of an eye movement tracking type image display system

Fig.3 Image display system

　本論文は「視線追従型広視野高解像度映像提示システムの研究」と題し、7章からなる。ロボットの遠隔操作作業において視覚情報は極めて重要であり、広視野で高精細の提示システムが求められている。しかし、広視野で高精細であると情報転送が大容量となり通信が困難となって、どちらか一方を犠牲とせざるを得ない。本研究は、広視野画面に人間の視線に追従して、視線の中心部に狭視野高精細の画面を重ねることにより、広視野高解像度を実現するシステムを提案し、その設計のために必要な人間の視覚特性を明らかにして、一般的な視線追従映像提示システムの設計法を明確にしている。さらにNTSC方式を用いても通信容量を大幅に増やすことなく広視野で高解像度なディスプレイが構成できることを示すことにより応用への道を拓いている。

　第1章「緒論」は緒言で、ロボットの遠隔操作における広視野高解像度の映像情報提示の重要性について論じ、広視野高解像度映像提示に関する従来技術の現状と問題点について系統的に述べ、通信路の負担を軽減する観点から、視線追従型映像提示システムが優れているが、その設計のための基礎的な研究が必ずしも系統的に行われおらず従ってその設計法も確立していないなどの問題点を指摘して、それを解決するという本究の目的と立場と意義とを明らかにしている。

　第2章は、「注視点近傍における静的視覚特性の検討」と題し、視線追従型映像撮像・提示システム設計に際し、広視野映像に注視点周りの小領域に高解像度映像がスーパーインポーズして提示されるが、その境界を認識させない高解像度映像の大きさを評価することが緊要であることを明確にして、中心部と周辺部で異なる解像度を有する縦縞模様パターンを表示刺激に用いて、解像度の境界を判別させる実験を行い、以下の基礎事実を明らかにしている。

　中心部と周辺部で解像度の異なる像を提示した場合、解像度の差にかかわらず、中心部高解像度像の幅をある値以上にするとその境界の識別が困難になる。このときの高解像度視野角は、26度から33度である。この特性は人の網膜の生理学的構造に起因すると推定される。

　第3章は「注視点近傍における動的視覚特性の検討」と題し、オペレータが視線移動するとき、その視線追従する高解像度映像の許容できる提示時間遅れについて論じている。まず眼球運動の種類と特性について論じ、その知見を基にコンピュータグラフィックスによって生成された縞模様画像を視線移動に対してある時間遅れをもって提示する評価実験を行い、映像提示時間遅れの評価実験結果をもとに物理量である解像度を感覚量に変換し、より広範囲の解像度に対応した定時時間遅れの変動傾向を推定し、視線追従に対して許容できる映像提示時間遅れに関する以下の基礎事実を明らかにしている。

　NTSCディスプレイを用いて110度の視野角でランドルト視力1.0相当の映像提示を行う場合、被験者が視線を移した後それが違和感なく高解像度であると感じられるためには、サッカード終了後、60-80ms以内に高解像度映像が注視点に提示される必要がある。

　第4章は「映像提示システムの開発」と題し、視線追従型映像提示システムを具体化するために必要な、注視点近傍に高解像度映像を提示する方式を提案するとともに、その試作機を設計し、実験によって提案方式の映像提示手法の妥当性を確認している。即ち、視線追従型映像提示システムを具体的に構成する、プリズム方式、楕円鏡方式、前方投射方式という広視野高解像度映像提示のための3種類の実現方法を考案し検討を行い、その結果、前方投射方式が最も優れていて有効であるとしている。次に、その方式のシステムの構成について、映像の投影方法、高解像度映像の視線追従の方法、視線検出手法について提案し、提案方式に基づく実験システムを試作してその高解像度映像提示系の評価を行っている。評価実験では、まず本システムで用いた走査ハーフミラーの応答特性を測定し、それが視線の移動速度に十分追従し得るものであることを確認するとともに、本手法の妥当性を心理物理学的に検証している。

　第5章は「映像撮像・提示システムの統合」と題し、視線追従型映像撮像・提示システムを具体化するための映像提示システムに加え、その提示システムに対応した実環境映像を取得するための映像取得システムの構成方法について検討を行い、4章で検討・試作した映像提示システムをもとにその高解像度映像提示位置を水平方向だけでなく垂直方向にも制御できる試作システムに発展させ構成するとともに、その提示装置に対応した実環境映像を取得するための撮像システムを設計試作し、提示システムと統合したシステムを構築している。次に単眼システムにおける高解像度映像を視線に追従して適切に提示するための条件について検討し、格子状に並んだ9個の指標を用いて高解像度映像提示の評価実験を行っている。実験の結果、オペレータの注視点と高解像度映像の提示位置が一致して、その視線方向に一致した映像内容が高解像度映像として提示されていることを確認し、検討・試作した映像取得・提示システムの有効性を検証している。例えば、オペレータの視線移動に対する高解像度映像の追従性能について、実験中の作業時間を計測した結果、現状のシステムでは、直接視には及ばないが、市販のNTSCディスプレイを視覚提示に用いた場合よりも作業時間が短くなることがわかったとしている。

　第6章は、「視線追従型映像提示システムの設計指針」と題し、2章から5章で行われた実験結果をもとに、NTSCディスプレイやHDTVのデバイスの使用を想定した視線追従型映像提示システムの設計法について述べている。特に換算視力1.0相当の提示系でありながら、広視野と高解像度視野の境界を認識しないための、背景の低解像度領域の視野角と高解像度視野角との関係および、高解像度映像が視線追従して提示される際の時間遅れと映像の提示方法について述べている。また、周辺視の変化知覚に関する予備実験結果から、注視時およびサッカードやスムースパースートなどの眼球運動に対するシステム制御の対処方法について検討している。さらに、視線追従型映像提示システムを制御設計する際の視線検出のタイミング、高解像度映像の移動と提示方法についても考察し、本映像提示方式における伝送容量に関する優位性について述べている。

　第7章「結論」は結語で、本論文の結果をまとめ、今後を展望している。

　以上これを要するに、従来は、アドホックに扱われることの多かった視線追従型広視野高解像度の視覚提示システムを、人間の視覚特性の計測実験にまでもどり系統的に検討することにより、その設計指針を明らかにして、それに基づく設計法を構築し、実際に利用可能なディスプレイを試作することでその有効性を示して応用への道を拓いたものであってシステム情報学及びロボット工学に貢献するところが大である。

　よって、本論文は博士(情報理工学)の学位請求論文として合格と認められる。