通信技術の急速な発達に伴い、日常生活における遠隔コミュニケーションにも変化が生じている．1980年代にはXerox PARCなどの研究機関で研究されていたビデオ画像を使ったコミュニケーションが、一般の人でも手軽に行えるようになった．今後はステレオ画像、ロボットなどの技術も手軽に使えるようになる可能性が高い．

1980年代、音声にビデオ画像を付け加えることによって、電話を使ったコミュニケーションは大きく改善されると考えられ、評価実験が行われた．その結果、話題の対象となっている場所や物を、対面会話の場合と同じように共有できないため、音声にビデオ画像を付け加えることの効果は期待されるほど大きくないことがわかった．そして、ビデオ画像を有効に使うことのできる状況には制限があり、全ての場合にメリットをもたらすとは限らないことが示された．こうした研究結果は、技術の直感的な効果と真の効果の間には違いがあることを示すと共に、対面会話の場合と同じように話題の対象を共有できるアプリケーションができれば広く普及する可能性が高いことを示唆している．そのため、遠隔地に居ながらにして話題の対象を共有するための様々な方法が提案されている．全ての話題の対象がバーチャル空間内に存在する場合には、人間をアバタとしてバーチャル空間内に表現することによって話題の対象を共有できるようにしている．しかし、人間は多くの時間を実世界で過ごし、重要な事件は実世界で起きているため、実世界を共有する技術が必要である．そのため、ビデオ画像やロボット技術が共有空間を構築するために応用されている．そして、より自然な共有を実現するために、共有空間を構築するための技術はモノ画像からステレオ画像へ、単純なロボットからより人間に近い複雑なロボットへと高度化している．こうした高度化は人間のコミュニケーションに何をもたらすのであろうか？新たに遠隔コミュニケーションを支援するシステムを構築する際には、どの技術を導入すればよいのであろうか？モノ画像で自然な共有空間は構築できないのであろうか？遠隔地間で実世界にある対象物を共有するためには、ロボットが必要なのであろうか？こうした疑問に答える研究はまだ行われていない．

本論文では，モノ画像、ステレオ画像、ロボットを使って構築される共有空間の違いを調べることを目的として、対面における指示、モノ画像やステレオ画像を使って提示される指示、ロボットの指を使って提示される指示を人間がどのように知覚するかを計測し、比較を行った．

本論文は8章からなる．第1章では，研究の目的および背景について説明た．第2章から第4章では，対面において人間が相手の指示をどのように知覚しているかを調べ、第5章から第7章ではモノ画像、ステレオ画像、ロボットの指を使って指示を行った場合の、人間の知覚精度を計測した．

第2章では、実物大の顔面情報の提示で指示がどの程度行えるかを調べるために、対面で相手の顔を見て人間がどのような精度で指示を知覚するかを計測した．指示者と被験者は机を挟んで130cmの距離で座り、指示者は机上にある2160点のターゲットから100点をランダムに選んで指示し、被験者は指示者がどのターゲットを指示しているかを答えた．指示者は1名、被験者は6名であった．計測の結果は、実際の指示先から被験者の知覚結果に向けて引いたエラー・ベクトルの絶対値の平均値を知覚精度と定義し、異なる条件下で得られた結果を比較するために持いた．その結果、被験者は約8cmの知覚精度で相手が見ている机上の点を知覚できることがわかった．また、机上の奥行き方向の知覚精度が左右方向の知覚の精度よりも低かった．しかし、視線を提示する人の頭部の向きの知覚精度を比較すると、左右方向の回転角度の知覚精度が上下方向の回転角度の知覚精度よりも高かいことがわかった．これらの結果から、コミュニケーション・システムに実装する画面の大きさが、人の顔全体が表示できる17インチ以上あれば、机上への指示が8cm前後の精度で行える可能性があることがわかった．

第3章では、実物大の顔と手の両方の情報を提示することによって、知覚の精度が向上するかどうかを調べた．その結果、顔のみを見て判断した場合の知覚精度との間には統計的に有意な差がないことがわかった．このことから、コミュニケーション・システムに大きな画面を実装し、顔と手の両方を表示できるようにしても、指示を見る人の知覚には改善効果がないことがわかった．しかし、顔のみで指示を知覚する場合と、顔と手の両方を見て指示を知覚した場合とでは、知覚の特性が異なっていた．顔のみを見て知覚した場合には、知覚結果が実際に指示した点よりも指示者の方向に偏って知覚され、顔と手を見て知覚した場合には、知覚結果が実際よりも指示者の左側に偏ることが計測された．顔のみを見た場合と、顔と手を見た場合とで知覚結果の偏り方が異なることから、顔と手の両方を提示すると、被験者が顔以外の手掛かりを用いて指示先を判断しているという仮説が示唆された．

第4章では、第3章で立てた仮説を実証するために、実物大の手の情報を提示した場合の知覚結果の偏りを計測した．その結果、顔と手の両方を提示した場合に計測された偏りと同様の偏りが計測された．このことから、顔と手の両方を見せると、被験者は主に手から指示先を判断することがわかった．そのため、遠隔地へ顔の情報と共に手の情報も伝える場合には、顔と手の関係を正確に提示するよりも、手の情報を正しく提示する必要があることがわかった．

第2章から第4章の実験から、顔のみの情報しか提示できない大きさの画面でも約8cmの精度指示が行えること、また、画面の大きさを大きくして顔と共に手の情報を提示しても指示先の知覚に関しては大きな改善が見込めないことがわかった．そこで、第5章では顔の情報をモノ画像を使って提示した場合に、指示の知覚に与える影響を調べる実験を行った．その結果、知覚精度は約12cmであり、全ての被験者の知覚精度が対面の場合よりも悪化していた．

第6章では、ステレオ画像を使うことによって、知覚精度を向上させることができるかどうかを調べた．その結果、ステレオ画像条件での知覚精度がモノ画像条件での知覚精度よりも向上した被験者は6名中1名であった．更に、被験者の中に、ステレオ画像条件での知覚結果が対面条件での知覚結果よりも向上するという異常な結果を示す被験者の存在が確認された．そこで、眼間距離とステレオ画像を撮影した2台のカメラの間の距離と比較した結果、異常な結果を出した被験者の眼間距離がカメラ間距離よりも0.3cm小さいことがわかった．そこで、カメラ間距離を被験者の眼間距離に合わせてステレオ画像を撮影して実験を行ったところ、異常な傾向は修正された．このことから、ステレオ画像を撮影する2台のカメラの間の距離が、ステレオ画像を見る人の眼間距離に合っていないと、モノ画像以上の情報を伝えることができないこと、場合によっては誤った情報を提示してしまうことがわかった．この結果から、ステレオ画像を使ってモノ画像以上の情報を提示するためには、ステレオ画像を見る人ごとにステレオ画像を撮影するカメラの距離を調整しなければならないことが示唆された．しかし、カメラ間距離を調整しても、まだ知覚精度は対面の場合よりも低かった．知覚精度が低い理由として、ステレオ画像を見る人の頭部位置に合った画像が提示されていないことが考えられるため、頭部位置が知覚精度に与える影響を計測した．対面条件で頭部位置を固定して知覚実験を行った結果、頭部位置を固定した結果と統計的に有意な差が生じ、被験者3名中2名については頭部固定条件での知覚精度とステレオ画像条件での知覚精度の間の有意な差がなくなった．　頭部固定条件での計測結果とステレオ画像条件での計測結果の間に統計的に有意な差が認められない被験者が存在していることから、ステレオ画像条件での知覚精度を、対面条件での知覚精度に近づけるためには、頭部位置に合ったステレオ画像を提示する必要があることがわかった．第2章から第6章の実験から、対面に近い知覚精度で指示を行うためには、ステレオ情報と共に、頭部位置に合った情報を提示する必要があることがわかった．この条件を満たす設計としては、頭部位置に合わせて眼間距離を考慮したステレオ画像を提示する方法が考えられる．しかし、実物を使って指示を行えば眼間距離も頭部位置も考慮することになる．そこで、第7章では人間の指に似せて作ったバーチャル指をロボットの指に見立てて指示実験を行った．その結果、バーチャル指条件での知覚精度は、ステレオ画像条件での知覚精度と同等かそれ以上の精度であることがわかった．

第8章では，本論文の総括を行った．

本研究では，人が話題を共有するために必要な、話題の対象への指示について研究を行い、次のような結果を得た．

顔と手の情報を提示して指示を行うと、人は主に手から指示の情報を得ること．顔の情報を提示した場合と、顔と手の情報を提示した場合とでは知覚結果の偏り方が異なること．モノ画像は対面の状態を66％再現でき、眼間距離を考慮したステレオ画像は対面の状態を72％再現することができること．72％以上の再現を実現するためには、頭部位置に合ったステレオ画像を用いるか、ロボットなどの実体を用いる必要があること．眼間距離に合わないステレオ画像を用いて指示情報を提示すると、モノ画像を用いて提示した場合よりも悪い影響が出る可能性があること．

本論文は「コミュニケーション・システムにおける視線・指示に関する研究」と題し、8章からなる。遠隔地を結ぶコミュニケーション・システムにおいても、対面のコミュニケーションと同じように、視線や指差しなどにより話題と話題の対象物とを短時間にわかりやすく結びつけることが求められている。しかし、現在普及している携帯電話やテレビ会議システムで使われているビデオ画像では遠隔地間の位置関係を正しく伝えることができないため、話者は自分と同じ空間内への指示は行えても、遠隔地への指示を対面の時のように行うことができない。本論文は、次世代の実空間を結ぶコミュニケーション・システムにおいて、遠隔地への指示をどのように実現すれば良いかを実験に基づいて検討し、コミュニケーション・システムにおける提示装置の設計法や評価法の確立にとって必要な視線や指示に関する知見を得ることを目的としたものである。

第1章は序論で、研究の背景を述べ、音声以外の情報を使った指示の必要性について説明し、特に顔や手を使った指示の重要性について述べて、本研究の目的と立場と意義とを明らかにしている。

第2章は「対面で顔を見て指示を知覚する実験」と題し、顔や手を使った指示を遠隔地へ伝えるためのコミュニケーション・システムを設計する際の指針を得るために、実際の人との対面での指示の知覚実験を行っている。特に、顔のみを提示する設計にした場合に、どの程度の指示能力をシステムに期待できるかを調べることを目的として実験を行い、 顔のみを見て指示を知覚した場合、それを正面で見る人は平均8.0cmの誤差を伴って指示先を知覚する、知覚結果は実際よりも指示者に近い方向に偏る、知覚は指示者から遠くなるにつれて難しくなる、すなわち、横方向への偏りは小さく、平均-0.7cmで、奥行き方向の偏りである-5.2cmの約1/7であることなどを実験により明らかにしている。

第3章は、「対面で顔と手を見て指示を知覚する実験」と題し、第2章で得られた指示能力を向上させる手段として、顔に手の情報を付け加える実験について述べている。実物大の顔と手の情報を提示するコミュニケーション・システムは、顔のみを提示する設計のシステムに比べて複雑になることから、手の情報を付け加えてシステムを複雑化させることによって、どのような効果があるのかの検討が重要である。そのため、顔と手の情報の両方を提示することによる指示能力の向上を、実際の人との対面の場合との比較で調べている。その結果、顔と手を見て指示を知覚した場合、それを正面で見る人は平均7.6cmのエラーを伴って知覚し、指示者の横方向への偏りが大きく平均-4.3cmで、奥行き方向の偏りである-0.8cmの約5倍であったしている。すなわち、知覚精度と知覚方向依存性の個人差のばらつきが減少するものの、知覚精度の平均値は、手の情報を付け加えても向上しないという知見を得ている。また、 顔と手を見て指示を知覚した場合のエラーの主な原因は、指示を行う人が提供している情報と、指示を見る人が使っている情報との間に食い違いがあるためであることを明らかにしている。実際のターゲットは、指示を行う人の眼と指先を結ぶ直線上にあるにもかかわらず、指示を見る人は、指の向きを延長した先にターゲットを探していたという。

第4章は「対面で手を見て指示を知覚する実験」と題し、手のみを見て指示を知覚する実験を行っている。第3章の実験の結果、顔に手の情報を付け加えて指示を行っても、指示能力の向上はほとんど見込めないことがわかったが、指示を知覚する際に用いる手掛かりが異なっていることが示唆されていたため、第4章では指示に使われた手掛かりを調べるための手のみの指示の実験を行っている。その結果、手のみの指示では、方向依存性のパターンが手と顔を使った指示の場合と酷似するが、知覚精度は両者に比べ劣るという結果を得ている。これらのことから、顔のみの提示では視線情報で判断するが、顔と手が表示されると手の情報を主として、それに視線の情報を加えて判断すると推論している。　第5章は「モノスコピック画像で提示する顔を見て指示を知覚する実験」と題し、顔のみの情報を提示しても顔と手の両方の情報を提示しても指示能力に大きな改善はみられないことから、顔のみの情報を遠隔地へ伝える実験を行っている。本章では最もシンプルなシステム設計の検討を行うために、フラット・ディスプレイにモノスコピック画像を表示して指示する実験を行い、対面状態再現率を定義し、実際の人が対面して指示した場合と比較した結果、平均61パーセントの再現に留まったとしている。

第6章は「ステレオ画像で提示する顔を見て指示を知覚する実験」と題し、顔をステレオ画像を用いて提示する実験を行いその結果について考察している。ステレオ画像を用いた場合の実験から、撮影用のカメラのカメラ間距離と人間の眼間距離との差が3mmを超えるとモノスコピック条件よりも精度が低下する場合もあることが分かり、設計としてカメラ間距離を個人に合せることが最適であり、その場合に平均対面状態再現率が66パーセントになるとしている。また、個人最適化ができない場合の設計指針としては、想定される使用者の最も狭い人の間隔（目安としては60ｍｍ）に合せて撮影カメラの眼間距離を決めるのが良い。また、ステレオで実際の対面に達しない要因を調べるべく、対面条件で使用者の頭部運動を拘束したところ平均対面状態再現率が70パーセントとなったことから、画像による寄与が、61パーセント、両眼視差と輻輳によるステレオ視の効果が5パーセント、使用者の頭部運動による運動視差によるステレオ視効果が30パーセント、残りの4パーセントが、その他の要因であり、水晶体調節や対面の人物が動くことなどの効果と考えられることを述べている。

第7章は「モデル化された指を使った実験」と題し、第4章の実験の結果、顔と手の両方を提示すると人は手に注目することが分かったため、指をモデル化した棒を用いて指示を行う実験を行ったところ、棒で置き換えられた指を見て指示を知覚した場合の対面状態再現率は77％であり、眼間距離のあったステレオ画像よりも効果があるとしている。

第8章は「考察と結論」で本研究の結果を考察し、まとめている。

以上これを要するに、実空間を結ぶ遠隔コミュニケーションにおける対象物を指示するためのヒューマン・インタフェースとして重要な視線と指による指示を人間がどのように知覚するかを、実際の対面状態との比較から計測し、遠隔コミュニケーション・システム設計のための指針を得て、新しいインタフェース設計のための視線と指示の活用への方向を示したものであって、システム情報学、人工現実感工学に資するところ大である。

よって本論文は、博士（工学）の学位請求論文として合格と認められる。