近年情報の電子化が進みコンピュータ利用者の裾野も拡大している。しかし、それにともなってユーザインタフェースが複雑になり、初心者が戸惑う場面も少なくない。そこで、ユーザの状態や作業意図を推測して作業支援を行う、知的ユーザインタフェースが開発されてきた。これらのシステムはユーザの作業履歴などを用いて推測を行い、操作の自動化・作業状態に応じたヘルプの提示などを実現している。しかし、これらの手法では、ユーザが「迷いの状態」に入って操作ができなくなったときに、推測の基本となる履歴自体の取得が困難になり支援を行えないという問題がある。迷いをはじめとした作業の状態や作業意図を常に推測するためには、時間の空白なくユーザの作業を測定できる必要がある。

　そこで、本論文では視線追跡装置を用いて、ユーザの視線の動きをリアルタイムに測定し、その測定結果よりユーザの状態や作業意図を推測する手法を提案する。画面上を移動するユーザの視線にはユーザの状態や作業意図に応じて特徴的に現れる視線の一連の規則的な動き、「視線パターン」が含まれている。このような視線パターンを発見するためのN-Gram解析を用いた解析手法と、パターン発生時のユーザの思考を測定してパターンの意味を検証する手法を提案する。本手法を翻訳課題に適用した結果、ユーザが「迷いの状況」に陥ったことを示す規則的な視線パターンを発見した。さらに、このパターンが生じたときのユーザの思考を測定して、これらのパターンが確かにユーザが迷っているときに生じていること、またどのような理由で迷っていたのかを明らかにした。最後に、これらの結果を利用し、「迷い」の状況に応じて効果的に作業支援を行うシステムの実現性を検討する。

　本論文の第1の貢献は、視線を解析してユーザの状態や作業意図を推測する手法の提案である。第2の貢献は大量の視線情報から効率的に視線パターンを発見するためのN-Gram解析を用いた解析手法の開発である。第3は、これらのパターンが発生した時のユーザの思考を測定し、パターンの意味を検証する手法を開発した点である。第4は、提案を翻訳課題に適用して規則的な視線パターンを発見し、さらに検証を行った点である。最後に、これらの視線パターンに基づいて可能となるユーザインタフェースを提案した点が第5の貢献である。

　本論文は8章から構成されている。2章では関連する研究を視線関連、知的インタフェース、翻訳支援に分けて概観する。

　3章ではまず、本研究の最終目標である視線からユーザの迷いを検出しさらにその迷いに応じた情報提示を行う知的翻訳支援システムの具体例を示す。このシステムを実現するためには「実際に作業を行っている過程」という複雑な視線を解析しなければならない。そこで、我々のアプローチである視線パターンに基づく手法の概要を述べるとともに、本研究の貢献について述べる。

　4章では我々の解析、検証、題材選択のアプローチを述べるとともに、題材として翻訳作業を選んだ理由を示す。視線パターンを解析するためには視線から意味のある規則的な視線の動きを探し出さなくてはならない。その手間を削減するための手法としてN-Gram解析の利用を提案する。また、個々のパターン発生時のユーザの思考を測定する手法として、作業に割り込んで質問項目を提示する手法を提案する。最後に、これらのアプローチに適した作業として翻訳作業を選択した理由を述べる。

　5章では実際に翻訳作業過程の視線を測定し、解析した実験(実験1)について述べる。解析の結果、2つの視線パターン、比較パターンとスキャンパターンを見出した。比較パターンはユーザが迷っているときに、スキャンパターンはユーザが画面上の情報を不必要だと感じているときにそれぞれ生じていると推測された。

　6章では、実験1で明らかになった2つの視線パターンを検証した実験(実験2)について述べる。この実験では、実験システムがリアルタイムに視線パターンの解析を行い、パターン発生時に作業に割り込んで質問ダイアログを提示した。その結果、8回以上往復する比較パターン、5つの領域を順次移動するスキャンパターンがそれぞれ5章で予想通りの意味を持っていることが分かった。また、それぞれのパターン発生時のユーザの意図が詳細に明らかになった。

　7章では、実験1・実験2の結果に基づいて実現可能なユーザ支援を検討する。たとえば、比較パターンを利用すれば、ユーザが英文を理解できずに困っているちょうどその時に、原因となっている英文に関する情報を提示する支援が実現できる。これらの支援の実現方法を検討するとともに、実際にそれぞれの支援を実現するために今後明らかにすべき課題も同時に検討する。

　本論文は視線追跡装置を用いて、ユーザの視線の動きをリアルタイムに測定し、その測定結果よりユーザの状態や作業意図を推測する手法を提案したものである。これまで、ユーザの状態や作業意図を推測して作業支援を行う、知的ユーザインタフェースが開発されてきた。これらのシステムはユーザの作業履歴などを用いて推測を行い、操作の自動化・作業状態に応じたヘルプの提示などを実現している。しかし、これらの手法では、ユーザが「迷いの状態」に入って操作ができなくなったときに、推測の基本となる履歴自体の取得が困難になり支援を行えないという問題がある。迷いをはじめとした作業の状態や作業意図を常に推測するためには、時間の空白なくユーザの作業を測定できる必要がある。

　本論文では、時間的空白なく測定可能な視線情報を利用することでこの問題を解決している。画面上を移動するユーザの視線にはユーザの状態や作業意図に応じて特徴的に現れる視線の一連の規則的な動き、「視線パターン」が含まれているが、本論文は、このような視線パターンを発見するためのN-Gram解析を用いた解析手法と、パターン発生時のユーザの思考を測定してパターンの意味を検証する手法を提案している。また、実際に、提案手法を翻訳課題に適用した結果、ユーザが「迷いの状況」に陥ったことを示す規則的な視線パターンを発見したことを報告している。さらに、このパターンが生じたときのユーザの思考を測定して、これらのパターンが確かにユーザが迷っているときに生じていること、また迷いの認知プロセスを明らかにし、最後に、これらの結果を利用し、「迷い」の状況に応じて効果的に作業支援を行うシステムの実現性の検討を行っている。

　本論文は8章から構成されている。2章では関連する研究を視線関連、知的インタフェース、翻訳支援に分けて概観している。3章ではまず、本研究の最終目標である視線からユーザの迷いを検出しさらにその迷いに応じた情報提示を行う知的翻訳支援システムの具体例を示している。

　4章では解析、検証、題材選択のためのアプローチを述べるとともに、題材として翻訳作業を選んだ理由を議論している。そこでは、視線パターンを解析するためには視線から意味のある規則的な視線の動きを探し出さなくてはならないと論じ、そのための手法としてN-Gram解析の利用を提案している。また、個々のパターン発生時のユーザの思考を測定する手法として、作業に割り込んで質問項目を提示する手法を提案し、最後に、これらのアプローチに適した作業として翻訳作業を選択した理由を提示している。

　5章では実際に翻訳作業過程の視線を測定し、解析した実験(実験1)について報告している。解析は博士候補者の提案しているN-Gram解析を応用した手法を用いて行われ、解析の結果、2つの視線パターン、比較パターンとスキャンパターンを見出している。比較パターンはユーザが迷っているときに、スキャンパターンはユーザが画面上の情報を不必要だと感じているときにそれぞれ生じているとの推測を行っている。

　6章では、実験1で明らかになった2つの視線パターンを検証した実験(実験2)について報告している。この実験では、実験システムがリアルタイムに視線パターンの解析を行い、パターン発生時に作業に割り込んで質問ダイアログを提示する方法をとっている。その結果、8回以上往復する比較パターン、5つの領域を順次移動するスキャンパターンがそれぞれ5章で予想通りの意味を持っていること、また、それぞれのパターン発生時のユーザの意図が詳細に明らかになったことを示している。

　7章では、実験1・実験2の結果を知的インタフェースへ応用するために残された課題について検討し、たとえば、比較パターンを利用すれば、ユーザが英文を理解できずに困っているちょうどその時に、原因となっている英文に関する情報を提示する支援が実現できるとの提案を行っている。また同時に、実際にこのような支援を実現するための今後の課題を整理している。

　以上のように、本論文は視線の動きからユーザの意図を推察する手法、および、それを知的インターフェースの設計に適用する新しい方法論を提案するもので、その可能性を実証的な実験によって確認している。

　なお、本論文は、萩谷昌己氏との共同研究に基づいているが、論文提出者が主体となって分析および検証を行ったもので、論文提出者の寄与が十分であると判断する。

　したがって、博士(理学)の学位を授与できると認める。