(本文)理想的なヒューマン・マシン・インタラクションシステムの能力の一つとして,単にユーザの指示を待つだけでなく,システムが自律的にユーザの感情や意図といった心的状態を推定し,各場面で望ましいサービスを提供できることが挙げられる.しかし,心的状態はいわば人間の内部状態であり基本的に直接観察することができない.よって,システムは,日常的に発現される観察可能なユーザの動作を手がかりとして,その内部状態を推定するというアプローチをとる必要がある.そこで,本研究では,人間の心的状態に関する多くの情報を含む動作として,特に表情と注視動作の認識に関する研究を行う.

まず,対話において内部状態に関する多くの情報を含む表情を,単眼動画像に基づき,対象人物の頭部姿勢に関わらず正しく推定することが可能な手法を提案する.従来手法は複雑な顔モデルを用いるために,ステレオシステムや事前の膨大な学習データの収集を要するなどの問題があった.そこで,本研究では,その問題の解決を目指し,その場で簡単に個人に特化したものとして作成可能な変動輝度テンプレートと呼ぶ新たな顔モデルを用いた手法を提案する.変動輝度テンプレートは,形状モデル,顔部品の周辺に離散的に配置した注目点の集合,および,それらの注目点の表情変化による輝度変化のモデルからなる.提案手法では,この変動輝度テンプレートを用い,本論文にて提案するパーティクルフィルタと勾配法を組み合わせた推定方法により頑健かつ効率的に表情と頭部姿勢を同時に推定する.

次いで,運転の場面において,コンテクスト情報を用いた,ドライバの意図の異なる注視動作を識別するための手法を提案する.近年の重大事故の主要な原因の一つである前方不注意には,ミラーの死角を確認するといった安全性を高めるための前方不注意と,景色に見とれるといった逆に事故リスクの増大を承知した前方不注意とがある.提案手法の特長は,これらの前方不注意に含まれる意図の違いの重大さに注目している点にある.従来は,これらの2種類の前方不注意が区別されずに一つの前方不注意として検出されてきたのに対し,提案手法ではこれら2種類の前方不注意,および,前方注視の計3種の注視動作の識別を初めて実現する.観測変数としては,ドライバの身体動作である頭部姿勢に加えて,コンテクスト情報としてペダルやステアリングといった運転操作,および,車速などの運転状況という計3種類の情報を用いる.

本論文にて提案する以上2つの異なるタイプの動作の認識手法,すなわち,様々な情報が統合された観測データからの複数動作の認識手法,および,コンテクストに依存する動作の認識手法は,様々な情報から人間の内部状態を推定する手法を構築する上でいずれも重要な要素技術となると考える.

本論文は「人間の内部状態推定のための動作センシング」と題し,人間の内部状態である心的状態の推定を目指し,そのために必要となる人間動作についての認識手法をまとめたものであり,全体で4章で構成されている.

第1章「序論」では,本研究の背景として,人間の内部状態を推定するために人間動作の認識が必要であることを述べ,その内部状態の推定技術の構築が特に必要な場面として対話と自動車の運転の場面を挙げている.そして,それら2つの場面における人間動作を既存の階層的な分類方法に従って整理し,本論文で対象とする表情と運転中の注視動作という心的状態に深く関連する2種類の動作のレベルを明確にしている.また,これら2つの動作の認識が,様々な情報が統合された観測データからの複数動作の認識,および,コンテクストに依存する動作の認識という動作認識における一般的なパターンにそれぞれ相当することを述べている.さらに,それらの動作と観測データとの関係を記述するのに,内部状態推定までを考慮した場合にもそれらを統一的に記述可能な動的ベイジアンネットワークが望ましいことを述べ,最後に本論文の構成をまとめている.

第2章は「表情と頭部姿勢の同時推定」と題し,対話において内部状態に関する多くの情報を含む表情を,単眼動画像に基づき,対象人物の頭部姿勢に関わらず正しく推定することが可能な手法について述べられている.複雑な顔モデルを用いるためにステレオシステムや事前の膨大な学習データの収集を要するといった従来手法の問題の解決を目指し,作成の容易な変動輝度テンプレートと呼ぶ新たな顔モデルを提案している.この変動輝度テンプレートとは,形状モデル,顔部品の周辺に配置した離散的な注目点の集合,および,それらの注目点の表情変化による輝度変化をモデル化したものからなる.さらに,表情と頭部姿勢を同時に推定する手法として,パーティクルフィルタと勾配法を組み合わせによる頑健かつ効率的な推定を実現する手法を提案している.そして,多くの検証実験から提案手法の有用性を確認しているとともに,汎用的に使用可能な変動輝度テンプレートについての検討を行いその有効性が示唆される結果を得ている.

第3章は「コンテクスト情報を用いた運転時の注視動作の識別」と題し,重大な自動車事故の主原因の一つである前方不注意に属する,ミラーの死角を確認するといった安全性を高めるための前方不注意と,景色に見とれるといった逆に事故リスクの増大を承知した前方不注意という2 種類の前方不注意と,前方注視の計3 種の注視動作を識別可能な手法を他に先駆けて提案している.つまり,本論文は,従来区別されてこなかったこれら2 種類の前方不注意動作の意図の違いの重大さに注目している点が特長となっている.観測変数としては,ドライバの身体動作である頭部姿勢に加えて,コンテクスト情報としてペダルやステアリングといった運転操作,および,車速などの運転状況という計3 種類の情報を用いている.実験により,他人の走行データから学習したモデルを用いた場合にも提案手法がこれらを識別可能なことを確認している.

第4章「結論」では,全体を総括し,今後の課題と展望について述べている.

以上これを要するに,本論文では,人間の内部状態推定のために必要となる,情報が結合した観測情報からの複数動作の認識と,コンテクスト情報を要する動作の認識という,2種類の一般的な動作認識の問題に対し,それぞれ単眼動画像からの顔表情と頭部姿勢の同時推定と,運転時のドライバの注視動作識別を対象とし,動的ベイジアンネットワークにもとづく推定アルゴリズムを提案するとともにその有効性を実験により示したものであり,電子情報学上貢献するところが少なくない.

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.