人とコンピュータの相互作用(HCI)を考える上で、生体情報や行動情報などを用いた人の状態推定は、重要な研究課題である。そこで本論文では、コンピュータの人に対する柔軟な行動選択などを行うためのシステム構築を目指して、人の関心度及び集中度を推定するための手法の構築を行う。

本研究では、視線と皮膚電位レベル(SPL)の情報を用いた推定を行う。従来、視線から得られる情報は人の状態についての情報を多く含むと考えられており、有用な行動指標として用いられることが多い。しかし、注視時間から集中の度合いを推定するような場合、集中したために起こる注視と、漫然とした状態での視線の固定化を区別するというのは非常に困難である。そのため、生理指標として用いられるSPLを並行して用いることによって、人の状態推定がより精度良く推定できるようになるであろうと考えられる。

以上を踏まえ、まず、画像に対する関心を推定する実験を行う。この実験では、被験者に静止画像の提示を繰り返し、そのときの視線とSPLを計測する。また、実験後のアンケートによって実際の被験者の関心度及び集中度を確認する。視線データの解析としては変分ベイズ法を用い、その結果得られた混合比率と、連続注視時間からなる二次元の注視モデルを形成する。なお、生体情報は個人差が大きいため、各被験者での相対的な評価を行う必要がある。こうして得られた注視モデルに対して、"関心あり"と"関心なし"の二つのカテゴリーに分類を行う。簡単のため、二次元の注視モデルに対して、傾きを-1に固定した直線によって分類を行う。ここでは、視線データのみを使った場合での推定精度を評価するために、正しく分類されたものの割合が最も良くなるときの精度を求めた結果、最高で全注視モデル中82%のデータが正しく分類された。一方、SPLの解析においては、SPLでの有意な反応を抽出し、各視覚刺激に対してその反応の頻度を計算する。通常、外界の刺激に対してSPLは負の方向に大きく電位を変え、ピークを越えると元の電位付近に戻る性質がある。すなわち、こうした有意な反応が多くある場合、被験者は視覚刺激に対して何らかの心的反応を示していることが示唆される。本実験においては、不快な視覚刺激は用いないため、実験中に起きたSPLの反応は、視覚刺激に対しての反応であるならば、関心などの状態を反映しているものと仮定している。すなわち、視覚刺激に対する反応頻度を計測することで、被験者の関心度推定を行うことができると考えている。この反応頻度に対して、注視モデルのときと同様にカテゴリー分けを行う。すなわち、ある値より反応頻度が大きければ関心があるとし、小さければ関心がないとしてカテゴリー分けを行う。その結果、最高で85%のデータが正しく分けられた。次に、注視モデルとSPLの反応頻度を合わせた三次元データに対して、角度を固定した平らな平面を用いて同様のカテゴリー分けを行うと88%となる。このことから、行動指標と生理指標を組み合わせることによって、人の状態推定精度が向上することが示唆される。また、集中力の衰えなどの状態の変化が、SPLの大局的な変化に繋がると考えられる。そこで、SPL全体の特徴量として自己相関関数を用いて、注視モデルにおけるカテゴリー分類のための直線の境界を動かす適応的なシステムの構築を行う。

ここまで行われたカテゴリー分類は直線などによる単純なものであったが、こうした分類問題においては、サポートベクターマシーン(SVM)をはじめとして、境界形成に関して幅広く研究が行われている。しかし、SVMなどの従来手法では、データの非定常性のために両カテゴリーのデータが全体的に重なり合っているような場合、適切な境界が形成されないことがある。さらに、本実験において得られるデータ数は少数に限られているため、統計的な手法を用いた境界形成は困難である。そのため本論文では、これらの制約下においてもカテゴリー分類を可能にするための手法を提案し、実際の注視モデルの分類においてその手法を検証する。本手法では、反応拡散方程式の一つであるAllen-Cahn型方程式を用い、重みを用いずに各点から境界形成を行い、領域を広げていくことによって、分布の重なりやデータの少なさなだの問題を回避し、注視モデルのカテゴリー分類を可能にする。

一方で、SPLデータの一回差分列に対してヒストグラムをとると、べき乗則の関係が現れる。また特に、得られた差分列の正の値に対するヒストグラムにおいて、関心度や実験中の集中度と、両対数グラフ上でのヒストグラムの傾きの間に、より強い相関がみられる。SPLは反応があると負の方向に電位が変化し、その後正の方向に変化する。つまり、SPLにおいて反応が起こってから元の状態に戻るところを用いることで、状態推定を行う可能性が示唆される。

また、SPLのような非定常なデータを解析する上で、同じような変化をしている部分を抽出することによって、SPLでの反応を抽出する方法も検討する。ここでは、時系列の近さを視覚化するリカレンスプロットを元に、特に時系列の変化の仕方の近さについて抽出を行う。これを用いて直線の境界によるカテゴリー分類を行うことによって、計算コストに課題が残るものの、最高89%の精度が得られる。

関心度推定実験において、刺激提示は短時間であった。しかし、SPLの反応には局所的な反応だけではなく、長期的な変化も重要な意味を持つ可能性がある。また、実社会での運用を考えた場合、対象が時間変化していく状況での状態変化を計測・解析することは有用である。そこで、動画を用いた集中度に関する実験を行う。被験者に、変化に乏しい直線路を走行するアニメーションと、変化に富むカーブ道路を走行するアニメーションを見せ、そのときのSPLと視線を計測した。すなわち、被験者は後者の方でより集中しやすくなっている。ここで、集中時にはSPLはより反応を示し、同時に視線の遷移も少なくなると仮定し、それを検証する。そのためには、両者の潜時の違いを解消した解析手法をとる必要がある。そこで、SPL及び視線データを一定の時間間隔で区分し、その間の平均をそれぞれの代表値とする。すなわち、ある程度の時間幅を持ったもの同士を比べることによって潜時の違いを無視できるようにする。これを基に直線路走行時とカーブ路走行時のデータを比較することで、相対的に大きなSPLの反応を伴う小さな視線変動と、より集中した状態との間の相関が示唆される。

また、同じような刺激が提示され続ける場合、人の状態は定位から馴化へと遷移していく。そこで、この遷移を抽出するための数理モデルの構築を目指す。ここで、直線路走行の動画では集中がすぐに継続しなくなる可能性があるので、カーブ道路走行時のデータを用いる。また、実際に運用することを考慮すると、実時間での処理が可能なシステムであることが望ましい。そこで一定時間間隔ごとに、その間の視線移動速度の標準偏差とSPLの平均傾きを求めて二次元座標系にマップする。次に、他の点までの平均距離を正規化し、今回提案したAllen-Cahn型方程式を用いたカテゴリー分類法によって、境界の情報を更新していく。これにより、状態の遷移を実時間で抽出する。

介護や人の行動支援などを行うシステムにおいて、人の状態推定を行うことは、対象者の負担軽減や処理の効率化などに寄与する重要な基盤となる。推定すべき人の状態は色々と考えられるが、その中でも特定の対象に対する"関心度"と作業に対する"集中度"は、対象者への適応的な行動生成を行う上で非常に重要であると考えられる。このような状態を推定する際、視線情報を行動指標として用いることが多いが、対象を注視している状態と漫然と見ている状態を区別するのは困難であるなどの問題がある。そこで本研究では、視線との連動性が小さく、人が恣意的に操作できない皮膚電位レベル(SPL)を生理指標として相補的に用いるシステムの構築を目的とする。

また、状態推定問題は、たとえば関心の有無に相当するデータを二つのラベルに分類するパターン分類問題として捉える事が出来る。その際の問題点として、分類を行うためのデータ数の少なさ、データの非線形的な分布がある。さらに、以前関心があったものに対して時間経過によって関心を失う、すなわち過去のラベルの状態が変化するという問題がある。そこで、従来手法で対処するのは難しいこれらの問題を解決できるパターン分類手法の構築も本研究の目的とする。

本論文は、「クロスモーダルセンサーを用いた人の状態推定に関する研究」と題し、5 章より成る。

第 1 章「序論」では、人の状態推定に関する研究および応用事例などの背景についての概要を説明している。また、本論文の構成を示し、各章の位置付けを明確にしている。

第 2 章「クロスモーダルシステムの背景」では, 本論文において使用される視線とSPLそれぞれの特徴について説明している。また、状態推定の際に関連する認知科学的現象についても説明している。

第 3 章「静止画を用いた関心度推定実験」では、静止画像に対する被験者の関心度を推定するための実験システムの構築、実験設定の説明および得られた生体データに対する解析について述べている。視線もしくはSPL単独による推定よりも、両者を同時に用いた推定を行うことにより精度が向上することを示しており、クロスモーダル情報を用いた状態推定の重要性を示している。また、非線形時系列解析手法の一つであるリカレンスプロットを応用することによる性能向上を示している。さらに、視線データを関心の有り無しの2クラスに分類するための手法として、反応拡散方程式の一つであるAllen-Cahn型方程式を用いた分類方法を提案している。データの少数性と非線形性によって従来手法では困難な問題に対し、各データ点から領域成長させる考え方を用いることによって分類問題を解決している。

第 4 章「動画を用いた集中度推定実験」では、視覚的に変化の多い動画と変化の少ない単調な動画の二種類を用い、両者提示時の反応をそれぞれ計測することによって被験者の集中度を推定する実験を行っている。視線とSPLそれぞれの変動の度合いを用いて両刺激での状態を特徴づけることにより、より集中している状態を判別する方法を提案し、その効果を示している。さらに、集中状態から飽き状態への状態変化をリアルタイムで抽出するシステムを、3章において提案したAllen-Cahn型方程式を用いたパターン分類手法の応用によって実現している。この状態変化抽出は、パターン分類におけるデータ少数性・非線形性・ラベルの非定常性という三つの問題を内包しており、これらをすべて克服する新しいパターン分類手法の可能性を示した。さらに、このシステムはリアルタイム性を有していることから、幅広い応用展開が期待される。

第 5 章「結論」では、以上の結果に対するまとめと議論を行っている。

以上のように、本論文はクロスモーダル情報を用いた人の状態推定の有効性を示すと共に、データ少数性・非線形性・ラベルの非定常性という問題を克服するパターン分類手法を提案したものである。これは数理情報学上貢献するところが大きい。

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる。