近年，画像に基づく視線の計測・推定技術が活発に研究されている．視線は人の興味の対象を強く反映することから，視線の計測技術は人間の行動・意図を理解するために重要な要素技術である．また，画像を用いることで被計測者に特別な装置を装着することなく，かつ，被計測者の行動を拘束することなく視線を計測することが期待されている．しかし，現状ではそのような非接触かつ非拘束な視線計測技術が実現されているとは言い難い．

　そこで，本研究では非接触かつ非拘束な視線計測技術を実現するために，監視カメラによって得られる画像のように人物の体の大部分が映っている一般的な画像を用いて視線を推定する手法を検討する．その状況では人物とカメラとの距離が大きいために目領域の解像度は低くなる．そこで，本研究では低解像度画像から視線を推定する手法に取り組む．

　そこで，第2章では低解像度画像から視線を推定する手法を探る目的で，視線計測の既存技術を概観する．低解像度画像から視線を推定する手法はこれまでほとんど研究されてこなかった．眼球モデルを用いる一般的な視線計測の手法では，虹彩などの目の器官の座標を計測する精度が視線の計測精度に直接影響を与えることから，視線を精度良く計測するためには高解像度画像を必要とする問題がある．そこで，本論文では目画像の画素値の分布を手がかりに，目画像の見えに基づいて視線を推定する手法を提案する．

　見えに基づく手法には，切り出しのずれ，見えの個人差，頭部の姿勢変動による見えの変動が視線の推定精度を悪化させる問題が存在する．このため，本論文ではこれらの3つの問題を議論する．見えに基づいて視線を推定する手法の先行研究では，切り出しのずれ，見えの個人差の問題は考慮されておらず，それらの問題の解決手法は本研究において初めて検討された．

　第3章では，低解像度画像からの視線推定において本質的な問題である切り出しのずれの問題を扱う．それは，低解像度画像から精度良く目領域を切り出すことは難しく，その避けることができない切り出しのずれが視線の推定精度を大きく悪化させる問題である．例えば，黒目と思われる領域が目画像の右端にある場合，右を見ているのか切り出しがずれているのかを判別することは困難である．

　この問題に対するアプローチとして，切り出しのずれた画像においても精度良く視線を推定するために，様々な視線の変動だけでなく，様々な切り出し方の変動を与えた目画像を学習する．更に，視線の違いと切り出し方の違いとを識別するために，切り出し方からの影響を受けにくい視線の特徴量を抽出することを狙う．それを行うために，視線の変動と切り出しの変動とを別モードとして扱うことができる多重線形モデルにより，様々な視線および様々な切り出しの目画像をモデル化する．目画像を用いた評価実験により提案手法を用いた視線の推定精度が，モードの分離を行わない主成分分析に基づく手法のそれより優れていることを確認した．

　第4章では，見えに基づく視線の推定技術を実用化する際に大きな問題となる目画像の見えの個人差の問題を議論する．それは，目画像の見えが個人毎に大きく異なるため，学習画像を持たない人の視線の推定精度が学習画像を持つ人のそれより大きく悪化する問題である．

　この問題に対するアプローチとして，個人差に影響されにくい視線の特徴量を抽出するために，多重線形モデルの枠組みにおいて視線，切り出しの変動だけでなく個人差をも別モードとして扱う．更に，視線および切り出しの変動だけでなく個人差という3つの変動要因を持つ目画像から視線の特徴量を精度良く抽出するために，非線形性を考慮した多重線形モデルにより目画像をモデル化する．非線形性を考慮しない通常の多重線形モデルでは,様々な変動のモードよりなる画像と,各モードの特徴量とが線形の関係にあることを仮定している．しかし，目画像ではこの線形性が厳密には成り立っていないため，非線形性を考慮することにより視線特徴量をより精度良く抽出することを狙っている．目画像を用いた評価実験により提案手法を用いた視線の推定精度は，非線形性を考慮しない手法のそれに比べて優れていることを確認した．

　第5章では，目画像の見えに対して大きな影響を与える頭部の姿勢変動の問題を解決する手法を検討する．この問題に対するアプローチとして，頭部姿勢の変動に影響されにくい視線の特徴量を抽出するために，多重線形モデルの枠組みにおいて視線だけでなく頭部姿勢をも別モードとして扱う．

　多重線形モデルの枠組みにおいて視線および頭部姿勢の変動のモードよりなる目画像から視線の特徴量を抽出するためには，姿勢の特徴量を目画像から抽出する，あるいはそれを多重線形モデルに与える必要がある．目領域という狭い領域から姿勢の特徴量を精度良く抽出することは容易でないと考えられる．そこで，より精度の高い姿勢の特徴量を求めるために，顔器官の特徴点に基づく頭部姿勢の推定手法を利用することにより頭部姿勢を推定し，この推定された頭部姿勢に対応する姿勢の特徴量を計算して多重線形モデルに与えている．本提案手法の有効性を評価実験により確認した．

　第6章では，本研究のまとめと今後の課題を述べる．

本論文は「低解像度画像からの視線方向の推定(Gaze Estimation from Low Resolution Images)」と題し，目画像の見えに基づいて低解像度画像から視線方向を推定する手法をまとめたものであり，6章で構成されている．

　第1章では，本研究の背景および目的を説明している．そして，目画像の見えに基づいて低解像度画像から視線方向を推定する際に生ずる3つの問題について述べている．それらは，切り出しのずれ，見えの個人差，頭部の姿勢変動による見えの変動が視線の推定精度を悪化させる問題である．

　第2章では低解像度画像から視線を推定する手法を探求する目的で，視線計測の既存技術を調査し，まとめている．視線の計測技術は，モデルに基づく手法と見えに基づく手法とに大別される．モデルに基づく手法では，虹彩などの目の器官の座標を計測する精度が視線の計測精度に直接影響を与えることから，視線を精度良く計測するためには高解像度画像が必要となる．一方，見えに基づく手法は，目器官の位置等を計測することなく，目領域の画素値の分布を手がかりに視線を推定するものであり，前者の手法と比べて低い解像度でも適用できるという特長を有する．以上の点を踏まえて，本研究において開発した低解像度画像から精度良く視線方向を推定するための手法の概略を述べている．

　第3章では，低解像度画像からの視線推定において本質的な問題である切り出しのずれの問題を扱う．それは，低解像度画像から精度良く目領域を切り出すことは難しく，その避けることができない切り出しのずれが視線の推定精度を大きく悪化させるという問題である．この問題に対するアプローチとして，切り出しのずれた画像においても精度良く視線を推定するために，様々な視線の変動だけでなく，様々な切り出し方の変動を与えた目画像を学習している．更に，視線の違いと切り出し方の違いとを識別するために，切り出し方からの影響を受けにくい視線の特徴量を抽出することを狙っている．それを行うために，視線の変動と切り出しの変動とを別モードとして扱うことができる多重線形モデルにより，様々な視線および様々な切り出しの目画像をモデル化している．目画像を用いた評価実験により提案手法を用いた視線の推定精度が，モードの分離を行わない主成分分析に基づく手法のそれより優れていることを示している．

　第4章では，見えに基づく視線の推定技術を実用化する際に大きな問題となる目画像の見えの個人差の問題を扱う．それは，目画像の見えが個人毎に大きく異なるため，学習画像を持たない人の視線の推定精度が学習画像を持つ人のそれより大きく悪化するという問題である．この問題に対するアプローチとして，個人差に影響されにくい視線の特徴量を抽出するために，多重線形モデルの枠組みにおいて視線，切り出しの変動だけでなく個人差をも別モードとして扱っている．更に，視線および切り出しの変動だけでなく個人差という3つの変動要因を持つ目画像から視線の特徴量を精度良く抽出するために，非線形性を考慮した多重線形モデルにより目画像をモデル化している．非線形性を考慮しない通常の多重線形モデルでは,様々な変動のモードよりなる画像と,各モードの特徴量とが線形の関係にあることを仮定している．しかし，目画像ではこの線形性が厳密には成り立っていないため，非線形性を考慮することにより視線特徴量をより精度良く抽出することを目指す．目画像を用いた評価実験により提案手法を用いた視線の推定精度は，非線形性を考慮しない手法のそれに比べて優れていることを確認している．

　第5章では，目画像の見えに対して大きな影響を与える頭部の姿勢変動の問題を解決する手法を検討している．この問題に対するアプローチとして，頭部姿勢の変動に影響されにくい視線の特徴量を抽出するために，多重線形モデルの枠組みにおいて視線だけでなく頭部姿勢をも別モードとして扱っている．より精度の高い姿勢の特徴量を求めるために，顔器官の特徴点に基づく頭部姿勢の追跡手法を利用することにより頭部姿勢を計測し，この計測された頭部姿勢に対応する姿勢の特徴量を計算して多重線形モデルに与えている．本提案手法の有効性を評価実験により確認している．

　第6章では，本研究のまとめと今後の課題を述べている．

　以上これを要するに，本論文では，低解像度画像から視線方向を推定する際に避けることができない切り出しのずれ，個人差，姿勢という3つの変動要素に起因する問題を挙げ，これらを解決するための方策として，多重線形モデルおよび多重非線形モデルにより各要因を分離することで視線方向を精度良く推定するというアプローチにもとづく手法を新たに提案し，その有効性を実験によって示したものであり，電子情報学上貢献するところが少なくない．

　よって本論文は博士(情報理工学)の学位請求論文として合格と認められる．