This thesis describes the research work on e-learning interface with multiple tutoring character agents to improve the learning process with learners.

　In chapter 3, we present the Character Agent Tutoring System that uses real-time interaction with numerous interactions to effectively communicate nonverbal information. Empathic Tutoring System (ETS) uses character agents for online learning. Eye movement tracking and other physiological measures are used to personalize character agent behaviors (affective and instruction) in an e-learning environment. A prototype system reacts to learner's eye information in real-time, recording eye gaze and pupil dilation data (plus heart rate and skin conductance) during learning. Based on these measures, character agents inferred the attentional and motivational status of the learner and responded accordingly with affective and instructional behaviors. Character agents engage and direct the learner's attention while providing both generalized system help and personalized advice about the learning content.

In chapter 4, we describes Multiple Agents Interface, an e-learning interface with multiple tutoring character agents. We review evidence concerning the relative effectiveness of multi-agent systems and introduce a multiple agent system that we have developed for online instruction. A user test is carried out that compares one and two agent versions of the learning system. The results are interpreted in terms of their implications for selecting when and how more than one agent should be used in online learning. We conclude with some recommendations on when multiple agents may help online learners to interact with the learning environment more easily and efficiently.

In chapter 5, we describe the interface using real-time eye movement information to facilitate empathy-relevant reasoning and behavior. Eye movement tracking is used to monitor user's attention and interests, and to personalize the ESA behaviors. The system reacts to user eye information in real-time, recording eye gaze and pupil dilation data during the learning process. Based on these measures, the ESA infers the attentional focus and motivational status of the learner and responds accordingly with affective (display of emotion) and instructional behaviors. In addition to describing the design and implementation of empathic software agents, this chapter will also report on some preliminary usability test results concerning how users respond to the empathic functions that are provided.

In chapter 6, we describe Multiple Modal Interaction Interface, the system using multiple modal learner input information for the real-time interaction for multiple learners. The system provides the platform for communicating and exchanging the information during the learners' learning process. The learner's facial information, voice information, as well as mouse movement, is obtained in real-time and the character agents give the feedback to learners based on these kinds of information. Each type of the data is a modular, which makes the system easy to integrate and update. The interface is customizable. Based on these measures, the interface infers the focus of attention of the learner and responds accordingly with affective and instructional behaviors.

In chapter 7, we describe the platform and communication for character agent in the system. There are kinds of online communication tools currently but still the information from human, especially the emotional, attention data are not used widely, and partly it is because it is still difficult to communicate with multiple channels of data, especially the non-verbal information without non-verbal information of users. Our system focuses on it and tries to get multiple channels of information easily and visually and includes numbers of aiding functions/interface to help online users get involved into the online environment. Our system includes two main elements:

1. Personal agents which perform multiple roles for each user for online communication.

2. Platforms created from Personal agents for multiple users

We introduce the design of platform and agent communication model, and the programming flow in detail. Finally, we introduce the design of agent part.

As conclusion, by getting information about learner response (such as eye movement data and bio-signals data), character interfaces such as ETS can interact with the learner more efficiently and provide appropriate feedback. From preliminary assessment of usability, ETS had a beneficial effect on learner motivation and concentration during learning. This result suggests that there may be a larger role for empathic tutor agents to play in acting as guides to learning content. Such agents can provide important aspects of social interaction when the student is independently working with e-learning content. This type of agent-based interaction can then supplement the beneficial social interactions that occur with human teachers, tutors, and fellow students within a learning community. Character agents provide a style of collaborative learning, e.g., if the learner does not know answer, s/he can ask either the character for a hint. This approach could be extended to allow interactions with or other online learners.

Promising areas for future study include improvements to the collection of eye information and bio-signals, and analysis of video data recorded during online chat sessions to search for correlations between the video and physiological data. The use of multiple character agents within empathic tutoring systems represents another interesting direction for this type of research.

　本論文は「Empathic Tutoring Character Agents Interacting with Learner's States(学習者状態とインタラクションする共感的教育キャラクターエージェントの研究)」と題し，英文で記されており，11章から成る．

　第1章「Introduction(序論)」では，オンライン教育は盛んになってきているものの学習者とのインタラクションは実世界教育と比べて遅れており，特に学習者のノンバーバル情報を利用しリアルタイムでインタラクションすることによって学習の効率の向上が図ることが重要になるという，本研究の背景について述べている．

　第2章「Background and Related Work(背景と関連研究)」では，本研究の背景となるオンライン教育とについて説明し，視線情報やキャラクターエージェントを用いる関連研究について記している．

　第3章「Outline of Agent Tutoring System(教育エージェントシステムの概要)」では，以下のような本研究の共感的学習インタフェースの手法を記している．学習者の視線情報，マウス動作，入力，動作時間，ウェブカメラから得る学習者の状況などを取得し，エージェントがこれらを利用して，学習の動き，学習のパフォーマンスを考慮し，学習者の注視を引き，学習過程において支援をし，学習者の特性に応じて適切に対応をするようにする．

　第4章「Description of Rules and Methodology for Empathic Tutoring Interface(共感的教育エージェントのルールと手法)」では，システム構造と学習，インタラクションの原理，システムのインタラクションの方法を記している．

　第5章「Multiple Agent Tutoring vs. Single Agent Tutoring(複数エージェントと単一エージェントによる教育システム)」では，単一エージェントを用いるプロトタイプシステムと複数エージェントを用いるプロトタイプシステムの比較実験を行い，複数エージェントを用いる利点を示している．

　第6章「Multiple Learner Interface(複数学習者用のインタフェース)」では，エージェントが学習者とコミュニケーションしながら複数学習者と情報共有したり，学習コミュニティを形成するのを手伝う，多人数に対応する教育エージェントシステムを示している．

　第7章「Real-time Eye-tracking Interaction System(視線情報を用いるリアルタイムインタラクション・システム)」では，キャラクターエージェントが学習者のリアルタイム視線情報を用いて学習者とインタラクションを行うシステムについて記している．学習者の視線情報や学習の動き，学習のパフォーマンスをエージェントが考慮して，学習者とインタラクションを行いながらよりよい学習環境を築いていく．プロトタイプシステムを作成して評価実験を行い，効果を示している．

　第8章「Physiological, Mouse Movement and Other Information in Empathic Tutoring(生体情報，マウス動作や他の学習者情報を用いる共感的教育)」では，学習者の生体情報などの情報を用いるインタラクションについて記し，システムの評価実験を行っている．

　第9章「Agent Communication Platform for Multiple Channels of Information(多チャネル情報のためのエージェントコミュニケーション・プラットフォーム)」では，学習者の多チャンネル情報を処理するプラットフォームを構築している．ここでは各学習者情報をモジュール化することによりエージェントが利用しやすくしている．また容易にユーザにフィードバックを与えられるコミュニケーションシステムについて考案し，実装している．

　第10章「User Studies with Think-aloud Design Method (Think-aloud手法を用いるユーザ評価実験)」では，キャラクターエージェントを用いる共感教育インタフェースに関してThink-aloud手法(発話思考法)による実験，考察を行っており，キャラクターエージェントが学習者とリアルタイムでインタラクションすることによって学習パフォーマンス向上に繋がる効果を示している．

　第11章「Conclusion and Future Work(結論と今後の課題)」では，本論文の成果をまとめ，共感教育インタフェースの今後の展望について述べている．

　以上を要するに，本論文は，学習者の視線情報，入力情報，生体情報などを取得し，教師役のキャラクターエージェントがこれら情報を利用して，学習者の学習の動き，学習パフォーマンス等の状況を把握し，学習者とインタラクションする共感的学習インタフェースの設計と構成法を提示し，プロトタイプシステムの構築と実験を通じてその効果を実証したものであり，電子情報学上貢献するところが少なくない．

　よって本論文は博士(情報理工学)の学位論文として合格と認められる．