計算機による顔画像識別は、人間に負担をかけずに自然な状態で撮影した顔画像からさりげなく個人を識別できるようにすることで、人間-計算機間インタフェースや遠隔モニタリングによるセキュリティシステムの高度化に貢献することが期待される要素技術の一つとしで位置付けられる。そこでは拘束のない自然な状態での顔画像入力が必然的な前提となるので、その際に不可避的に生じる画像入力条件の変動に対して、ロバスト(頑健)な識別を行なうことができるような識別アルゴリズムの開発が求められる。本論文では、正面顔面像を識別の対象として、入力される顔パタンを一般的な画像として表現する特徴ベクトルを求め、その特徴ベクトルの照合によって識別を行なうというパタン整合法を識別手法として選択した。そして、入力される顔について容貌自体の変化や表情による変化を当面は考えないものとして、顔画像入力で現実的に避けることができない姿勢や照明条件の変動に対して、このようなパタン整合法の枠組みにおいて識別のロバスト性を高めるためにどのようにすればよいかという観点からの識別アルゴリズムの検討と、その定量的な評価に取り組むことにした。

　パタン整合法による画像パタン識別のもっとも素朴な形態は、入力パタンを予め登録されている複数クラスの標準パタンと重ね合せることによって、両パタンの空間的な広がりの一致の度合をみるというものである。これには対象パタンの正規化を含めて、入力画像中での正確な位置決めが行なわれていることが前提となる。ところで、拘束のない自然な状態にある人物の顔という対象に対して、そのような厳密な位置決めを仮定することはできない。したがってパタン整合法による顔画像識別を実現するためには、対象の位置決めを前提条件としない識別アルゴリズムの確立が必要である。本研究では、以下のような2つの技術課題の解決を計るモジュールを組み合わせることで、対象となる顔の厳密な位置決めを予め必要としないパタン整合法を提業し、本手法による顔画像識別のロバスト性の評価を行なった。まず第一の課題は、入力画像中における顔パタンの大きな位置変動を吸収するため、対象とする顔自身がもつ特徴を用いて入力画像中での顔パタンの位置を自動的に決定し、照合対象とする部分画像を抽出する手法を確立することである。また第二の課題は、部分画像として抽出された顔パタンの濃淡情報を、その切り出しに際しての小さな位置ずれ、顔自体の姿勢や照明条件といった画像入力条件の変動に対して、ロバストな識別を可能とするような特徴ベクトルとして表現する手法を確立することである。

　まず第一の課題に関しては、照合の対象とする正規化された照合パタンを入力画像から自動抽出することによって画像中の大きな位置変動を吸収する方法について論じた。ここで照合パタンは、顔内部の造作である左右の目と唇を基準点とした相似変換によって位置決めと正規化を行なった部分画像として定義した。このような照合パタンを以下のような2段階からなる処理によって自動抽出する手法を提案した。第一段階では、カラー顔画像を知覚的表色系による表現に変換し、いき値処理と連結領域検出処理を組み合わせたシンプルな画像領域分割処理を適用することによって照合パタンの位置決めに用いる基準点候補を抽出する。そして第二段階では、得られた基準点候補の組み合わせに基づいて切り出された複数の照合パタン候補に対して、部分空間類別法を用いることによって正規化条件に関するクラス分類を行ない、その分類結果を総合的に判定することによって照合パタンを決定する。以上の方法によれば、顔画像がほぼ正面から撮影された場合には、未知人物の顔に対しても正しい正規化条件を満足する照合パタンが高い信頼度で得られること、顔の撮影方向が斜めにずれた場合には、正しい照合パタンか抽出されない割合は増大するが、その多くの場合に照合パタンは総合判定の結果から"不定"となるため、誤った照合パタンの抽出を防止できることが示された。

　また第二の課題に関しては、パタン整合法による顔画像の識別において、マッチングの対象とする顔照合パタンの濃淡情報をロバストな識別が可能なように次元圧縮した特徴ベクトルとして表現する方法について論じた。照合パタンの濃淡情報を低次元の特徴ベクトルで表現する従来からの方法として、パタンをモザイク化する方法(M特徴)、多数の顔の照合パタン集合をKL展開することによって多次元の濃淡値ベクトルに対する統計的な次元圧縮を行なう方法(KI特徴)、の2通りを比較の対象として選んで考察を加えた。その結果から、照合パタンが抽出される時の位置ずれ変動の吸収を図るため、照合パタンの濃淡画像をまずフーリエスペクトルへ変換し、その標本集合のKL展開によって次元圧縮を行なう手法(KF特徴)を導入した。このKF特徴は、パタンの平行移動に対して不変となるので、位置ずれ変動に対してよりロバストな識別に寄与するものと期待される反面、識別用特徴としての有効性については幾つかのマイナスの要因も含んでいる。そこで、入カパタンを多数人物から繊別するという実際の識別課題のシミュレーション実験によって、M特徴、KI特徴と比べた場合のKF特徴の識別能力を評価した。その結果、正面顔に近い顔画像入力が行なわれる場合には、新しく提案したKF特徴は、従来法に比べて、顔姿勢の変動に対してよりロバストな識別を可能とすることが確認された。このKF特徴は、画像のフーリエスペクトル情報に基づいて得られるため、画像入力系の空間周波数特性の変動に敏感となることが懸念された。そこで人為的なぼかし処理を加えた画像を用いて、異なる人物の顔画像のパタンに関して、特徴空間上のパタンの分布についてクラス間分離度の分析を行なった。この結果、KF特徴ではパタンのぼかしによる影響はあるものの、M特微、KI特徴と比べた場合にはクラス間識別能力に関する全体的な優位性はゆるがないことが確かめられた。一方、入力画像に斜め顔が含まれるほどに顔画像を入力する時の3次元的な姿勢変動を大幅に許容した場合には、KF特徴による識別のロバスト性は従来法であるM特徴、KI特徽を用いた場合よりもむしろ低下することが、同じく各々の特徴空間上の変動パタンの分布状況の分析によって明らかとなった。

　また、照合パタンの特徴表現法を評価する手段として、人物頭部を3次元計測して得られる3次元CGモデルに基づき、さまざまな撮影条件で得られる顔画像をコンピュータグラフィックス技術によって人工的に生成したCG生成顔面像を応用する試みについて論じた。比較の対象とした3種類の特徴表現法(M特徴、KI特徴、KF特徴)について、照明方向の変動に対する識別のロバスト性を比較するため、姿勢だけでなく照明方向についても変動させた多数のCG生成顔画像を実験データとして用意した。複数人物の顔画像データに対して各々の特徴空間上で得られたデータ分布について、クラス内分散とクラス間分散の比を評価尺度とすることで識別のロバスト性を評価したところ、KF特徴が照明方向の変動に対してもっとも優れていることが確認された。一方、3次元CGモデルから生成されたこのようなCG生成顔面像は、識別辞書作成のための学習サンプルとして実画像データの代わりに使用するには、画像品質上で解決すべき問題がまだ残されていることが明らかとなった。

　最後に、以上2つの技術課題に対して提案した手法を組み合わせることによって、2次元濃淡画像を対象としたパタン整合法によって顔画像の識別がどの程度まで可能となるか、を明らかにするために、顔画像識別システムを試作してその評価を行なった。その結果、画像入力時の照明条件がほぼ一定で、ほぼ正面像とみなせる表情一定の顔画像が入力されるならば、最小距離法というシンプルな識別法を用いた場合でも、10名程度の規模の識別対象人物に対しては安定な識別が可能なことが確かめられた。

　本研究では、濃淡画像のパタン整合法にもとづく識別処理によって正面顔画像の識別を行なう手法を提案した。画像入力条件の変動に対する識別処理のロバスト性を実験的に評価するとともに、画像入力から識別までの一連の処理を自動的に行なう識別システム構築についての見通しが得られるという成果が得られた。

　本論文は、「パタン整合法による顔画像識別の研究」と題し、7章より構成されている。撮像カメラの前に立った人物を正面から撮像した顔画像と、あらかじめ撮像してある一群の人物の正面顔画像とを照合比較することにより、その人物を同定するための識別手法を研究したものである。

　顔画像から顔の目、鼻、口などの形状を線図形として抽出してこれを照合比較する方式も研究されているが、この線図形を正確に抽出するのにはなお大きな困難が残されている。ここでは、顔の画像データを直接圧縮したものを特徴として使用する方式を採用しており、撮像時に不可避な位置ずれに強い特徴の抽出法を提案し、その性能を多数の実顔画像を用いて詳細に評価している。

　第1章は序論であり、本研究の背景と目的、本研究の特徴、および、本論文の構成を述べている。

　第2章は「パタン整合法による顔画像の識別」と題し、まず、本研究で採用したパタン整合法による識別方式について説明し、つぎに、この方式を採用した場合に重要になる照合のための顔画像パタンの表現法と、入力画像からの顔照合領域の切り出し・正規化法について、従来の研究を概説している。

　第3章は「顔の照合パターンとその特徴表現」と題し、入力画像から後述する方法で切り出し・正規化した顔照合パタンを表現するための特徴にって詳細な検討を行い、従来のものに修正を加えた新しい特徴抽出法を提案している。照合に使用する顔の濃淡画像をベクトルとして表現すると非常に次元数の大きいベクトルとなり、これをそのまま識別に使用するのは得策でない。そこで、画像をKL展開で近似表現する方法が提案されていた。すなわち、サンプルとして収集した画像集合をデータとしてKL展開し、得られた固有ベクトルのうち固有値の大きいものからK個をとって、K箇の固有ベクトルによる展開で画像を表現することにする。K箇の固有ベクトルはすべての顔画像に共通のものであるので、個々の顔画像はK簡の展開係数で表現できることになる。

　この方法は顔画像の最小誤差近似を利用している点で一つの合理的なデータ圧縮方法といえるが、顔画像撮像時に位置ずれがある場合には位置ずれした顔画像を近似表現することになる。実際問題としては数%の位置ずれは不可避であるので、本研究では、顔画像をフーリエ変換して平行位置ずれの影響を除去したものをKL展開する方法を提案している。この方法の性能を評価するため、269名の顔画像を対象として、位置ずれのない照合顔パタンを与えた場合と位置ずれのある照合顔パタンを与えた場合について詳細な実験を行い、直接KL展開する場合よりも、位置ずれのない場合でも5%、3%の位置ずれのある場合では19%識別率が向上することを示している。

　第4章は「CG生成画像による特徴表現の評価」と題し、コンピュータ・グラフィックス(CG)により撮像条件の異なる顔画像のサンプルを多数生成し、これを用いて従来の特徴抽出法と本研究で提案する特徴抽出法の性能を比較した結果を報告している。顔画像識別の研究において、同一人物の顔画像を多数サンプルとして収集するのは困難である。そこで、顔の3次元形状を計測しておき、このデータを用いてコンピュータ・グラフィックス(CG)により種々の撮像条件下の顔画像を生成する方法を採用している。

　第5章は「正面顔の照合パタンの抽出法」と題し、入力画像から照合に用いる顔の領域を切り出して正規化する方法について報告している。撮像顔画像の色彩情報を利用して、まず、両眼と唇の3箇の領域を検出し、これらを基準点として顔の中心領域の切り出しと相似変換による正規化をおこなっている。誤って基準点とすべき領域が3個以上検出される場合もあるが、それらの組み合わせで複数の照合パタン候補を作成し、それから最適なものを選択する手法を提案している。

　第6章は「試作識別システムによる評価」と題し、上記の方法を採用した識別システムを試作し、これを用いておこなった評価結果を報告している。対象人物が10名程度の場合には、実用的な撮像条件の下でほぼ100%の識別率が得られると報告している。

　第7章は結語であり、本研究の成果を要約している。

　以上を要するに、本論文は、撮像カメラの前に立った人物の正面顔画像から照合に用いる顔中心領域を切り出し、この画像データから特徴ベクトルを抽出して人物を識別する手法について研究したもので、従来のちのに修正を加えた新しい特徴抽出法を提案すると共に、その性能について詳細な評価結果を報告しており、計測工学上寄与する所が大きい。よって本論文は博士(工学)の学位請求論文として合格と認める。