1　本論文の目的

　本論文の目的は，イメージングデバイスにおいてこれまであまり活用されてこなかった時間軸に注目し開発された時間相関型イメージセンサを用いた新しい実時間パターン計測法を提案することである．時間相関型イメージセンサの特長は，情報の時間軸方向への展開であり，能動計測によりさまざまな情報を光強度の時間軸に展開し，リアルタイムに2次元パターンとして計測することができる点である．ここで，光計測の際の能動性として，光強度の時空間パターン，光源の配置，センサの位置・姿勢，光源強度，照明の偏光状態，照明のスペクトルなどがあげられる．本論文では，上にあげた能動性をうまく利用することにより，取得したい情報を時間軸方向に展開し，時間相関型イメージセンサで復調することで，計測したい情報の2次元分布をリアルタイムに取得する手法について述べる．

2　本論文の構成

　本論文は序論、結論と下記5章の7章構成となっている。

第I部―時間相関型イメージセンサを用いた立体計測と顔勾配情報を用いた認証アルゴリズムの開発

1) 実時間法線ベクトルイメージャ

2) 実時間法線ベクトルイメージャの非ランバート面への拡張

3) 顔勾配情報を用いた個人認証のためのアルゴリズムの開発

第II部―時間相関型イメージセンサを用いたヘテロダインパターン計測法

4) ヘロテダイン検出による実時間エリプソメトリックイメージャ

5) 実時間振動分布計測法

3　本論文の結果

3.1　時間相関型イメージセンサを用いた立体計測と顔勾配情報を用いた認証アルゴリズムの開発

　本論文第I部の目的は，立体計測とその応用として顔認証である．

1)　実時間法線ベクトルイメージャ

　本章では，三次元計測の一手法として，対象の形状の微分である勾配を計測する方法について，時間相関型イメージセンサに適した形で勾配を計測する方法を提案する．

　具体的には，3つの照明を正三角形をなすように配置し，それぞれを位相が120度ずつ異なるある周波数ωで強度変調する．この時，対象の表面をランバート面であると仮定すると，

というように，反射する光強度の振幅/位相に面の方向が符号化される．ここで，Θは法線の天頂角，Φは法線の方位角，Rは反射率，Aは光源強度であり，ψは光源配置のパラメタ，mは変調率である．

　これを時間相関型イメージセンサで復調することにより，実時間で対象の面の向きを復元することが可能となる．

　時間相関を用いることから，外乱光による影響を受けにくいという特徴を持つため，実環境での使用が十分可能である．

　本章ではさらに，計測された勾配分布から，対象の形状h(x, y)を復元するために，

という評価関数を最小化することにより関数h(x, y)を求めた．ここでhx(x, y), hy(x, y)は計測された勾配である．

2)　実時間法線ベクトルイメージャの非ランバート面への拡張

　前章の法線ベクトルイメージャは，ランバートな面に限っていたため，ランバート面だけでなく，広く一般の対象へも本手法を適用できるように鏡面反射および影を取り扱えるように拡張を行った．

　具体的には，4重極照明と呼ぶ光源の変調方式により対象を照明することで非ランバート成分を検出する．4重極照明とは，円周上の各光源の位相が，1周で4π回る光源のことであり，前章の1周で2π位相が回転する変調光源を2重極照明と呼ぶ．

　6つの光源を用いたときの4重極照明による反射光強度は，

となる．関数S(lko, ni,j, zi,j)は，対象の鏡面反射成分をあらわす関数であり，鏡面成分がなければゼロとなり，反射光強度は時変成分を持たない．時間相関型イメージセンサにより4重極照明で観測された鏡面成分を用いて，2重極照明で撮像された相関画像を補正することで，非ランバート成分を補償できることを示した．

3)　顔勾配情報を用いた認証アルゴりズムの研究

　顔を用いた認証は，顔が普段から露出しているため心理的抵抗が低い手法であることが言われているが，顔の向きや照明の方向により，認証精度にばらつきがあることが報告されている．

　本章では，以上のような問題意識から，前述した法線ベクトルイメージャにより取得された顔勾配情報を用いて，立体的な情報を用いた顔認証のためのアルゴリズムを提案した．

　具体的には，従来強度画像に対して行われてきた固有顔法に対し，各画素において法線ベクトルをxy平面に射影し複素量として表すことで，複素固有顔法を提案し顔立体情報を用いて認識を行った．さらに，固有顔法より識別力が高いフィッシャー顔に対しても，複素量で顔勾配を表すことで複素フィッシャー顔として拡張を行った．

3.2　時間相関型イメージセンサを用いたヘテロダインパターン計測法

　本論文第II部の目的は，ヘテロダインにより計測したい情報を2つの正弦波のビート周波数に変調する手法の提案である．ヘテロダイン検出により，時間相関型イメージセンサの帯域制限を越えた変調成分に関しても，時間相関型イメージセンサの帯域に落とし込むことが出来るため，時間相関型イメージセンサの応用範囲を格段に広げることができる．また，位相の演算が行われるため，直接，取得したい情報を光強度信号の振幅位相に変調することができる．第II部では，このように大きな利点を持つヘテロダイン検出を用いたパターン計測法として，次の2つの手法を提案する．

4)　ヘテロダイン検出による実時間エリプソメトリックイメージャ

　本章では，主に半導体製造やMEMSの分野で利用されているエリプソメトリーを2次元かつ実時間化する手法を提案している．エリプソメトリーでは，媒質の入射する面に平行な偏光(p偏光)と垂直な偏光(s偏光)に対する複素反射率比(〓)を計測し厚さを計測する．

　われわれはこれに対し，二つの偏光子を異なる周波数で回転させることで，そのビート周波数にエリプソパラメタを符号化する．提案システムは，

・無偏光また円偏光の単色光源

・回転偏光子

・傾きπ/4のλ/4波長板

・対象

・回転偏光子

から構成されている．二つの偏光子の角周波数をω，Ωとすると，出射光強度Iは，

となることを示した．これにより，時間相関型イメージセンサにビート周波数を入力し撮像することにより，エリプソパラメタを取得する．

5)実時間振動分布計測法

　本章では，振動の振幅/位相の2次元分布を計測する手法を提案した．従来，振動計測は，ドップラー効果やホログラフィーを用いるものがある．ドップラー計測は，点計測であり2次元振動計測をする場合には走査が必要である．ホログラフィー法では，時間平均法が一般的に使われる．時間平均法では，干渉縞のCCD等の電荷蓄積時間の平均強度を取得することで振幅を計測している．一方で、振動の位相の取得を目指したものとして，位相変調法がある．この手法では，干渉光学系の参照面を振動に同期して移動することで，振動の位相差を干渉縞の強度分布に置き換えている．しかし，いずれの手法も撮像素子が本質的に1自由度しか取得できないため，振幅・位相の同時2次元計測にはいたっていない．

　それに対し，時間相関型イメージセンサを用いることで振幅/位相の同時計測が可能となる．本研究では，このデバイスの特長を生かし，1)並進する縞を投影することによる光強度の変調周波数と対象の振動周波数の和周波数，差周波数への対象の振動情報の振幅・位相変調2)三相時間相関イメージセンサによる振動の復調，により，対象の振動の振幅，位相分布を実時間で2次元的に計測するシステムを提案する．

　並進する縞模様を斜めに投影したとき，対象からの反射光強度は，次のように書かれる．

これにより，対象の振動振幅・位相δz(x)，φ1(x)は，和周波数と差周波数の振幅・位相に現れていることが分かる．ここで，Dは投影する縞間隔，θは縞の投射角，φo(x)は縞間隔および投影角と対象の形状によって定まる空間に固定の位相を表している．

　これにより，振動周波数と縞による光強度変調のビート周波数を参照信号として振動する対象を撮像することで，振動振幅/位相を同時に計測することができる．

パターン計測技術は固体イメージセンサや信号処理技術の格段の発達により幅広い方面で利用されるが，その一方で，様々な問題や性能・機能上の制約も指摘されている。本論文は，このような制約の多くがビデオ映像や静止画観察を目的とした従来のイメージセンサの機能上の制約に起因するとの立場に立ち，近年新たに考案された時間相関型イメージセンサを画像センシングデバイスとして導入し，これにより適用可能になる相関計測原理と信号処理の方法論に立脚し，画像の時間軸方向に展開された情報をセンサの能動性と一体化して利用する新しパターン計測法の開発と応用を目指したもので，全体で2部，8章から構成されている。

第1章の序論においては、画像センシングの問題と，そのために必要となる高機能イメージセンサについて，これまでの研究を概観しつつパターン計測の目的と方法論に応じた課題が整理されるとともに，本論文の主題である時間軸情報の利用という観点が導入されている。

第2章は「時間相関型イメージセンサ」と題し，時間相関型イメージセンサの基本的機能，すなわち直流成分とそれ以外の2個の任意の独立基底波形との時間相関積分値が1フレーム時間で取得できること，およびこれらの値からの一般化振幅・位相が復元できること，およびそのアルゴリズムが定式化されている。

第3章は「実時間法線ベクトルイメージャ」と題し，新たに考案した3個の正三角形状に配置した正弦波変調光源を用いる三次元物体の法線ベクトルの映像化システムについて，その基本原理と適用可能条件，システム構成，実験結果，および精度評価を述べている。さらに，1点あたり2自由度を取得可能な特徴を利用し，測定誤差等によって生じるベクトル場の回転成分を除去することにより，矛盾のない法線ベクトルならびに標高データを求める矛盾除去フィルタリング手法を提案し，実験によりその基本性能を確認している。

続く第4章は，上記の結果を発展させ，「実時間法線ベクトルイメージャの非ランバート面への拡張」と題し，多重極光源として提案する新たな照明方式を導入し，完全拡散面の条件が成立しない鏡面や陰影領域への実時間法線ベクトルイメージャの測定範囲の拡張法を示している。具体的には，1周で位相が$4pi$回転する4から6個の円周上等間隔配置の変調光源が，ランバート面に対して反射光の時間変動を生じないことを理論的に示し，4重極光源によって求まる振幅と位相を前章で述べた2重極光源による振幅と位相からベクトル的に差し引く信号処理手法を導出した。試作システムを用いた評価実験により，鏡面物体の正反射部や深い凹凸部の影の領域が検出され，正反射部で法線ベクトル計測が可能になることを示している。

第5章は「顔の勾配情報を用いた識別のための特徴抽出」と題し，前章までで実現した法線ベクトルイメージャを顔貌認証に適用するための特徴抽出法と圧縮表現方法について検討している。具体的には，明暗画像と法線ベクトル画像および立体画像が位置ずれなしに同時に求められる特徴を生かし，明暗情報と立体情報を融合した顔の向きと大きさの補正手法を考案し，これで規格化した顔の法線ベクトルを著名な顔貌認識アルゴリズムである固有顔法とフィッシャー顔法に適用した。その際，法線ベクトルが1画素2自由度を有する問題を，上記手法を複素画像および複素固有解析へ拡張することにより解決するという独自の方法を提案している。さらにこの方法を自由な姿勢の顔に適用して認証実験を行い，10人以下という少数データベースながら，常に正しい認証が行われ，明暗のみの顔画像に対して識別力が向上していることを分布間距離により確認している。

続く第6章は「ヘテロダイン検出による実時間エリプソメトリックイメージャ」と題し，干渉光学計測で幅広い応用をもつヘテロダイン検出技術を時間相関イメージセンサと結合する方法論について一般的に論じ，その具体例としてエリプソメトリの実時間2次元イメージング化を実現した結果について報告している。

第7章は「実時間振動分布計測法」と題し，同じくヘテロダイン検出技術を機械振動の振幅・位相分布の実時間2次元イメージング化に適用した結果について報告している。

第8章は結論であり，以上の成果を総括し将来の発展方向を論じている。

以上，要するに，本論文は，対象の情報を時間軸方向に展開し，これを時間相関イメージセンサにより復調して実時間2次元的に検出する新しいパターン計測の方法論の確立とその具体的な応用の開発を目指したもので，本研究で展開された方法論は今後のセンシング技術の発展に大きな波及効果が期待でき，その技術的ポテンシャルの高さからも計測工学上の貢献が十分にあると判断される。よって，本論文は博士(情報理工学)の学位請求論文として合格と認められる。