人間の顔面は身体の中で非常に重要な役割をもつ部分であり、工学・医学・人類学・心理学・生理学などの種々の方面からの研究がなされている。特に近年は、セキュリティシステムやマンマシンインターフェースおよび遠隔通信システムなどの応用分野において、ビデオカメラおよび計算機を用いた自動システムの構築が広くなされており、情報科学における研究の重要性が高まってきている。 この顔面に関する研究は顔の個人識別機能を扱うものと顔の表情伝達機能を扱うものの2つに大別される。 前者に関しては、ビデオカメラを用いて得られた横顔や正面顔の濃淡画像から、目・口・鼻・眉などの構成要素を抽出し、それらのパターンや相互位置関係に基づいて識別する方法が、多く提案されており、またかなりの成功を収めている。 後者に関しては、個人識別で採用されてきた方法と同様な方法で、ビデオカメラで撮影された顔画像から直接に顔面構成要素を抽出し、パターン分類する方法が近年盛んに行なわれるようになってきているが、この方法には以下の2点において問題がある。 1分類された結果には顔面表情を表出する側とそれを認識する側からの2つの解釈が含まれてしまっている。 顔面表情を的確に判断するには、実際の顔面上にどのような表情が表出されるのかという表出側からの解析と、人間が他人の顔に表示される表情をどのように認知するかという認識側から解析を分離する必要がある。しかし、従来手法においては、顔画像から抽出された情報に対して、恣意的に作られた特徴軸をもとに、単純に統計的に分類を行なって分類しており、表情における何が解明されたのか明確ではない。 2算出結果は顔面筋の動きに基づいていない。 顔面上で作られる表情は、顔面筋の収縮に基づいて形作られるものである。しかし、実際に多くの研究において採用されている、顔面上からデータを入力する方法は、顔面画像上において、輝度のコントラストが大きな目・口・眉などの構成要素の形状変化に着目したものが多い。さらに、その形状も2次元のものとして処理しており、3次元の顔面形状を2次元画像に投影する間に、形状の奥行き方向の情報が消滅し、起伏などの変形量を得ることが不可能になっている。さらには、照明の強さ、顔面の方向、および顔面と画像面間の距離などの影響も受けるという欠点もある。よって、顔面上の表情の動きの全てを形作っている実際の筋肉の3次元的な形状とは、かけ離れたデータのみしか入力していない。最終的に算出された結果が、顔面上に表出し得る表情のすべてを解析しているとは言えない。 一方、古くから医学の分野において、電極を被験者に接触させ筋電図を用いて、表情表出と筋肉の収縮量についての相関関係の解析が広くなされてきていた。しかし、実際の顔面上の筋肉は二十数種類あり、これを同時に測定することは不可能であり、また、電極の物理的な被写体への接触によって、被験者に物理的な負担をかけてしまうという欠点もある。 以上の点を踏まえ、本研究においては、表情を表出している顔面側を観察し、その表情を形作っている筋肉の変形量を、被験者とは物理的に非接触に得られた画像から算出し、その分類を行なうことにより表情を判別する。 本研究は4つの部分から構成されている。まず、顔面からの情報の入力においては、新たに提案する3次元形状入力法を利用し、ビデオカメラから得られる顔画像を用いて3次元顔面形状モデルを作る。さらに顔面構成要素の形状も顔画像から抽出する。そして、顔面モデルと抽出された構成要素を顔面動画像にフィッティングし、構成要素の変位と頭部の向きおよび皮膚の部分の3次元形状の変形量を計算することにより、顔面筋としての形状変化を算出する。最後に、求められた各筋肉における収縮量を用いて、その時点における表情の分類を行なう。 詳細を記述すると以下のようになる。 顔面形状の測定 顔面の3次元モデルを構成する。顔面形状測定のために、ライティングスィッチフォトメトリー法を導入する。この方法は1台のビデオカメラと3台の光源を用いる。3光源は順次高速に切替えられ、被写体が一つの光源に照射されている間に、その反射光が画像として取り込まれる。さらに、各光源からの画像を時間的に合わせるために補間する。そして、完全拡散面の仮定に基づいて、顔面上の各点における各時間の法線ベクトルが計算される(図1)。この方法により、被写体が動作していても各瞬間における顔面の3次元形状が求められる。 ここでは、さらに精度を上げるため、スリット光を被写体に照射することにより顔面上の二十数点における3次元座標を算出しそこを基準点とする。その基準点を中心として、顔面領域を複数の局所領域に分割する。その各領域上で、すでに得られている法線ベクトルを積分し、局所曲面の3次元形状を求める。最後に、ブレンディング関数を用いて各局所曲面を統合して、顔面全体の3次元形状モデルを求める(図2)。  図表図1:法線図 / 図2:3次元顔面モデル顔面構成要素の算出 顔面が写されている画像から、顔面上の構成要素の形状を抽出する。まず鼻の形状を抽出することにより、顔面領域を3領域に分ける。次に、それぞれの領域に属する各顔面構成要素の位置を検出し、最後にその形状を求める。 顔面形状の変形量の算出 作成された3次元形状モデルと、抽出された顔面構成要素の位置と形状を、各瞬間に得られる動画像上の顔面部分にフィッティングさせることにより、顔面の頭部の方向の変化と顔面構成要素の位置の変化および皮膚表面の変形量を求める。 顔面筋の収縮量からの表情の分類 頭蓋骨データを利用し、顔面上の軟部の厚さを計算し、顔面筋の頭蓋骨側の付着位置を計算する。算出された結果と、その筋肉の皮膚側の付着位置の間の長さの変化を、筋肉の収縮量として抽出する。最後に各筋肉の収縮量を特徴軸として表情を分類する。 なお実験は多人数の学生において行ない、表情としては、被験者との会話中に表出された幸福・怒り・悲しみを用いた。収縮量を18種類の顔面筋に関して算出した結果、各表情独特の値のパターンが得られた。図3に算出結果を示す。(値は、平静の表情における各筋肉の長さに対する、その表情での比率を示す。)表1に各特徴軸と顔面筋との対応を示す。  図3:各筋肉の収縮量 表1:各筋肉の名前 以上の結果、本研究により提案された手法を用いることにより、顔面上に現れる表情変化を、各筋肉の収縮量から明確に分類できることが確認された。 |