"顔"は個人の特徴を表す多くの情報を含んでいる。例えば、顔の形、骨格、皮膚の色、顔の各部位の位置関係もしくは相互のバランスより、人種、年齢、性別等を読みとることができる。また、表情からは感情、心理、精神状態等を読みとることができる。

　近年、このような様々な情報を持つ顔を対象に、工学と心理学の両分野からの研究が行われているが、感性的な側面を定量的に分析しようとする研究は数少ない。

　本研究では顔における感性処理的な側面の解析を主目的としている。感性情報処理についての研究とは、対象を定量化された物理パラメータ空間上に表現し、心理学的に表現されている、なんらかの形の心理パラメータとの対応関係を調べることだと考えられる。対象を定量化した物理パラメータで表現するまでが工学的な立場でのアプローチである。本研究の立場としては、この工学的な立場から感性情報(このうち特に顔の持つ印象)について定量的数値表現の検討を行なうことを目的としている。顔の印象を定量的なパラメータとして取り扱うことで、顔の検索の一つの手段、あるいは、顔画像の合成技術、また、心理学的な調査および実験への応用が期待できる。

　本論文では、顔の印象を解析する一手法として、個人的な相貌の特徴を取り除き、集団の顔に共通する特徴要因のみを抽出する平均顔手法を提案した。これは、"集団としての顔"の印象が形成されている場合に、平均操作をおこなうことにより、集団としての特徴が残り、個人としての特徴は互いに打ち消し合うという発想である。この平均顔の例を図1に示す。

図1:平均顔の例左上から、女性研究員(30名)、ミス日本候補者(10名)、政治家(10名)、プロレスラー(11名)、銀行員(13名)、日活男性俳優(8名)

　さらに平均顔は、集団の持つ印象の要素をその画像内に持っていると考え、これらの画像を構造と輝度値とを成分に持つベクトルだと捉え、主成分分析手法を用いて空間軸を求めることで、平均顔で張られる空間表現という概念を提案した。この平均顔空間内に各顔画像を投影し空間座標値を求めることが可能である。空間投影によりパラメータ表現された顔画像は、平均顔が示す単純なカテゴリーに分類ができることを、また平均顔空間内での顔パラメータの変化は軸を構成している顔の印象を表現できる可能性があることを示した。

　また、顔の印象は顔面の個々の部分によっても決定されると考え、顔の各部品の単純な数値データからの印象表現を試みた。これは、各顔の部分の計測数値を要素として持つベクトルを定義し、それらの顔特徴を表現するベクトルに主成分分析を施し解析をおこなう手法である。実験として、上記の平均顔について、相互の顔の印象を決定づけている空間内の関係を示した。これを図2に示す。また限られた数の空間軸上のパラメータで表現される単純な形状からの、特定の印象表現の可能性を示した。

図2:主成分分析で表現された平均顔同士の位置関係(x軸は目の閉じ具合、顎の短さ等を、y軸は眉の下がり具合を主として表す軸になっている。グラフ中、bank:銀行員、poli:政治家、pro:プロレスラー、edit:雑誌編集者、act:男性俳優、univ:東大男子学生である。)

　また、実際に画像処理を行なうことで印象の変化要因を可視化しようとするさまざまな試みを、あるいは、画像合成によって得られた刺激を用いて心理学実験をおこなっている。

　とくに心理学実験として、顔の年齢印象の生ずる主要因について考察をおこなっている。ここでは、子供から大人の顔まで、その形状と肌の状態を段階的にそれぞれ独立に変化させた画像を実験刺激として作成し、それを用いてアンケート実験をおこなった。ここでは、年齢印象を決定づける主要因は顔の形状よりも肌の状態であることが明らかになっている。

　さらに、将来のマンマシンインターフェイスに向けてのインタラクティブな感性という観点も含んで、ニューロベビーシステムの視覚部分についての簡単な実験を行なっている。ここでは、顔の表情を一つの顔の印象パターンとしてとらえ、処理をおこなう手法を提案している。

　以上の顔の印象を解析するための基礎研究は、感性情報処理の分野と大きく係わってきており、ひとのおこなう情報処理の解析のための手法の一端となると考えられる。

　本研究の骨子はいかに顔の感性的な側面を工学的な手法を用いて表現できるがである。今後、顔の印象をパラメータ表現した場合において、その工学的な量を、心理学上の事例等と、どのようにして関連づけていくのかが重要な課題となる。

　本論文は「顔画像のパラメータ表現と感性処理に関する基礎研究」と題し、感性コミュニケーションならびに感性情報処理研究の方法論の確立を目指して、特に顔の印象解析に関連した顔画像処理研究をまとめたものであって、9章からなる。

　第1章は「序論」であって、本研究の目的と意義について述べている。すなわち、本研究で述べる感性情報処理の位置付けについて論じるとともに、感性コミュニケーション研究において、顔画像の持つ印象を工学的な立場で解析することの重要性を論じ、研究の背景を明らかにするとともに論文の構成について述べている。

　第2章は「顔画像とその処理」と題し、顔画像処理についての研究の動向をまとめて紹介している。その結果、従来の顔画像研究は顔の個人認識と表情の分析合成に関するものが大部分であり、顔そのものから受ける年齢、職業、性格などの印象に関連した研究はほとんど行なわれていないことを述べ、顔画像の印象解析を対象とした研究の重要性について述べている。

　第3章は「顔画像の演算処理」と題し、顔画像をコンピュータ処理する際に必要となる各種の画像処理手法についてまとめている。すなわち、顔の3次元的な構造モデル(ワイヤーフレームモデル)と実顔画像との間の整合処理、構造モデルを用いた顔画像の大きさ、位置の正規化手法などについて述べている。また、顔画像における単純な演算処理手法を論じて、個人の顔の特徴を目立たせた"強調顔"や、特定の集団に属する複数人の顔の"平均顔"を導く手法を説明している。

　第4章は「顔画像のパラメータ表現と空間記述」と題し、顔画像を数学的に扱うための一手法として、顔画像をパラメータ表現してベクトル空間に配置することを試みている。すなわち、まず顔画像を輝度情報と構造情報に分離して、それぞれについてのパラメータを求め、そのパラメータを空間における座標とみなして顔画像を空間に配置する。その際、空間の軸は直交していることが望ましく、主成分分析の手法を用いて直交基底空間を構成する手法について論じている。

　第5章は「顔画像処理における印象解析」と題し、まず、印象を扱うための準備段階として印象語の構成について考察している。次に集団における顔の印象を抽出するための平均顔作成手法を論じ、さらに平均顔に基づいて第4章で論じた直交基底空間を構成することを試みている。このようにそれぞれの集団ごとに平均顔の分布を空間上に配置することにより、特定の印象を空間的に判別することが可能となる。さらに、第5章では、平均顔によって張られた基底空間上のパラメータの変化によって、与えられた顔画像に任意の印象を付加することの可能性についても論じている。

　第6章は「顔特徴パラメータによる印象解析」と題し、顔画像における印象を目の大きさや眉の傾きなどの単純な特徴量に基づいて解析する手法を示している。すなわち、顔画像に整合された構造モデル(ワイヤーフレームモデル)から、顔形状の特徴量を取り出し、これを要素として持つベクトルに対して主成分分析の手法を適用して、各平均顔の印象を定める要素を抽出する。また、抽出された主要特徴成分に基づいて、それぞれの顔の特徴を表現した典型顔を線画で示すことを試みている。

　第7章は「顔処理のシミュレーション実験」と題し、数多くの顔画像をデータベースとして収録し、実際の顔画像処理を行ないながらその印象解析を試みた結果について述べている。例えば、明治、大正、昭和、平成に至る顔像解析によって、それぞれの時代の顔の印象を浮き彫りにしている。また、縄文顔や弥生顔から現代にいたる日本人の顔の変遷を追い、これを未来に外挿することによって、百年後の日本人顔を予測している。さらに、合成された顔画像を刺激画像とする顔印象の心理学実験の可能性を論じ、実際に年齢印象に関して実験を行なった結果を示している。例えば顔の年齢印象を顔の形状と肌の状態の二つの要素に分離しておこなった実験では、10代では年齢印象が顔の形状に依存するが、20代以降では主として肌の状態に支配されていることが示されている。

　第8章は「インタラクティブ感性」と題し、顔画像におけるインタラクティブな感性情報の処理という観点から、コンピュータとの間のヒューマンインタフェースに表情認識の機能を持たせることの意義を論じ、実時間表情認識の可能性を論じている。また具体的に電子ペット(ニューロベビー)を対象として、顔の陰影パターンに基づく簡易な表情認識法を提案し、その予備実験を行なった結果を示している。

　第9章は「結言」であって、本研究の成果と意義について述べるとともに、今後の発展方向を示している。

　以上これを要するに本論文は、顔のコンピュータによる印象解析という困難な問題に挑戦して、顔印象のパラメータ表現法、顔空間の構成法、平均顔に基づく顔印象の定量解析法などを提案し、具体的な顔画像処理を通じて感性コミュニケーションならびに感性情報処理研究の方法論を開拓したものであって、情報・通信工学に寄与するところが少なくない。

　よって著者は東京大学大学院工学系研究科における博士の学位論文審査に合格したものと認める。