本論文は、顔画像の表情情報を、その種類と強さを含めて抽出・認識する新たな手法を提案して、表情の分析と認識処理における有用性を示すとともに、表情合成技術と結びつけて顔画像の知的符号化への応用を論じたものであって、全体で6章からなり、英文で書かれている。

　第1章は“Introduction”序論)であり、顔表情認識、分析、合成の必要性とその応用について論じている。また、本論文の位置付けを明らかにして、その構成を示している。

　第2章は“Background”(背景)と題し、まず心理学の分野での表情認識に関する研究を概観し、次に工学分野で顔を扱う場合の基本問題である顔画像領域の検出、追跡、表情情報抽出処理について論じている。さらに、顔画像表情分析・合成についての従来の試みを紹介した後、Model based image coding、MPEG-4 Facial Animationに至るまでの知的画像符号化へ向けた一連の流れをまとめている。

　第3章は“Expression Vector”(表情ベクトル)と題し、顔画像から顔表情情報を抽出するために必要となる表情ベクトルを定義している。すなわちここでは、まず従来の多くの顔の表情認識に関する研究では、目などの局所的な領域を切り出す必要があって処理が複雑になること、また、これらの特徴部分は顔表情の動きの重要なものを捉えているものの、顔表情変化の情報のすべてを反映しているわけではないことを指摘して、顔画像全体を一つのパターンとして扱うことを提案している。具体的には、同一の人物の無表情画像との差分二次元離散コサイン変換(DCT)係数で表情ベクトルを定義して、本論文を通じて表情情報抽出の特徴パラメータとして用いている。

　第4章は“Facial Expression Recognition using a Neural Network”(ニューラルネットワークを用いた顔表情認識)と題し、ニューラルネットワークを用いて未知の人物の顔表情まで認識・分析できる手法を論じている。この方法では、表情ベクトルをそのままニューラルネットワークに学習させ、表情空間へのマッピングを実現している。60人×5表情の顔画像からなる正規化画像データペースに対して実験を行なった結果、学習用に用いた40入の表情画像に対して表情認識率が100%、残りの未学習表情画像に対しては最高で95%の表情認識率を得ている。

　第5章は“Personal Facial Expression Space(PFES)”(個人顔表情空間(PFES))と題し、顔表情の空間的、時間的な変化を、顔表情の強さまで含めて分析する手法を提案している。すなわち、顔表情に個性的な要素が含まれていることは経験的に明らかであるが、従来の研究ではほとんど無視されていることを指摘して、新たに「個人顔表情空間(PFES)」を提案している。PFESとは、ある個人の基準表情画像を低次元空間上の点として与え、その個人の表情が変化した顔動画像系列を空間内の点の軌跡として表す手法である。この手法では、第3章で定義した表情ベクトルを顔表情情報抽出に用いて、多次元尺度法に基づいて低次元空間を構築している。また、表情が変化している顔動画像系列からPFES上の軌跡を実時間で得られる手法を提案して、その結果、時空間的な個人性を反映した表情分析が可能であることを示している。

　さらに本章では、この個人顔表情空間(PFES)に基づく表情分析手法を表情合成へ結びつけて、知的画像符号化への応用を論じている。例えば、MPEG-4 High level Facial Animation parameterに対応する特徴量をPFESにより計算することができる。また、異なるPFES間の写像により、別の個人の顔画像の表情を制御できることを示し、実時間での顔表情画像の合成実験によって、その有用性を示している。

　第6章は“Conclusion”(結論)であり、本研究で得られた成果をまとめると共に、将来の展望について述べている。

　以上を要するに、本論文は、顔画像からの表情分析と認識を目的として、顔表情画像の二次元DCT係数を表情ベクトルとする手法を提案し、ニューラルネットワークを用いた顔表情認識を実現するとともに、個人顔表情空間(PFES)を新たに定義して、顔表情の動的な変化を実時間で分析・合成する手法を明らかにしたものである。これらの成果は、顔表情の分析・認識技術への貢献のみならず、知的画像符号化技術等への幅広い応用が期待される。

　本論文は、“Analysis,Recognition and Synthesis of Facial Expressions with Applications to Intelligent Image coding”(顔表情分析、認識、合成とその知的画像符号化への応用)と題し、顔画像の表情情報を、その種類と強さを含めて抽出・認識する新たな手法を提案して、表情の分析と認識処理における有用性を示すとともに、表情合成技術と結びつけて顔画像の知的符号化への応用を論じたものであって、全体で6章からなり、英文で書かれている。

　第1章は“Introduction”(序論)であり、顔表情認識、分析、合成の必要性とその応用について論じている。また、本論文の位置付けを明らかにして、その構成を示している。

　第2章は“Background”(背景)と題し、まず心理学の分野での表情認識に関する研究を概観し、次に工学分野で顔を扱う場合の基本問題である顔画像領域の検出、追跡、表情情報抽出処理について論じている。さらに、顔画像表情分析・合成についての従来の試みを紹介した後、Model based image coding、MPEG-4 Facial Animationに至るまでの知的画像符号化へ向けた一連の流れをまとめている。

　第3章は“Expression Vector”(表情ベクトル)と題し、顔画像から顔表情情報を抽出するために必要となる表情ベクトルを定義している。すなわちここでは、まず従来の多くの顔の表情認識に関する研究では、目などの局所的な領域を切り出す必要があって処理が複雑になること、また、これらの特徴部分は顔表情の動きの重要なものを捉えているものの、顔表情変化の情報のすべてを反映しているわけではないことを指摘して、顔画像全体を一つのパターンとして扱うことを提案している。具体的には、同一の人物の無表情画像との差分二次元離散コサイン変換(DCT)係数で表情ベクトルを定義して、本論文を通じて表情情報抽出の特徴パラメータとして用いている。

　第4章は“Facial Expression Recognition using a Neural Network”(ニューラルネットワークを用いた顔表情認識)と題し、ニューラルネットワークを用いて未知の人物の顔表情まで認識・分析できる手法を論じている。この方法では、表情ベクトルをそのままニューラルネットワークに学習させ、表情空間へのマッピングを実現している。60人×5表情の顔画像からなる正規化画像データベースに対して実験を行なった結果、学習用に用いた40人の表情画像に対して表情認識率が100%、残りの未学習表情画像に対しては最高で95%の表情認識率を得ている。

　第5章は“Personal Facial Expression Space(PFES)”(個人顔表情空間(PFES))と題し、顔表情の空間的、時間的な変化を、顔表情の強さまで含めて分析する手法を提案している。すなわち、顔表情に個性的な要素が含まれていることは経験的に明らかであるが、従来の研究ではほとんど無視されていることを指摘して、新たに「個人顔表情空間(PFES)」を提案している。PFESとは、ある個人の基準表情画像を低次元空間上の点として与え、その個人の表情が変化した顔動画像系列を空間内の点の軌跡として表す手法である。この手法では、第3章で定義した表情ベクトルを顔表情情報抽出に用いて、多次元尺度法に基づいて低次元空間を構築している。また、表情が変化している顔動画像系列からPFES上の軌跡を実時間で得られる手法を提案して、その結果、時空間的な個人性を反映した表情分析が可能であることを示している。

　さらに本章では、この個人顔表情空問(PFES)に基づく表情分析手法を表情合成へ結びつけて、知的画像符号化への応用を論じている。例えば、MPEG-4 High level Facial Animation parameterに対応する特徴量をPFESにより計算することができる。また・異なるPFES間の写像により、別の個人の顔画像の表情を制御できることを示し、実時間での顔表情画像の合成実験によって、その有用性を示している。

　第6章は“Conclusion”(結論)であり、本研究で得られた成果をまとめると共に、将来の展望について述べている。

　以上を要するに、本論文は、顔画像からの表情分析と認識を目的として、顔表情画像の二次元DCT係数を表情ベクトルとする手法を提案し、ニューラルネットワークを用いた顔表情認識を実現するとともに、個人顔表情空間(PFES)を新たに定義して、顔表情の動的な変化を実時間で分析・合成する手法を明らかにしたものである。これらの成果は、顔表情の分析・認識技術への貢献のみならず、知的画像符号化技術等への幅広い応用が期待され、今後の電子情報通信工学の進展に寄与するところが少なくない。

　よって本論文は博士(工学)の学位請求論文として合格と認められる。