人間の眼球の固視微動にヒントを得て、後述の時間相関型イメージセンサの像に能動的に微小振動を与え、振動に同期する電気信号との時間相関をとることにより画像処理を実現する。像の振動によって空間パターンが時間軸方向に展開される性質を利用し、空間のパターンマッチングを時間軸上で行うところに特色がある。具体例として焦点距離と回転方向に振動を与え、振動周波数の正弦波およびその高調波との時間相関をとることにより、複素対数座標系に関する画像特徴を抽出する方法を示す。センサ出力として得られる走査信号のフーリエ展開係数については、これらがどのような画像特徴に対応しているのかを考察する。また像に振動を与えるための走査鏡を製作し、実時間の特徴抽出やテンプレートマッチングを試みる。

　汎用のCCDイメージセンサを用いつつ三次元計測を高い空間分解能で実現するための方法を提案する。照明の垂直走査による時間軸方向への変調と対象の微小変位を組み合わせ微分積和型演算を施すことにより、対象表面の凹凸・反射率の空間勾配をそれぞれ分離して高精度に抽出するというところに特色がある。

　同じく汎用のCCDイメージセンサを用いつつ速度場計測を高い時間分解能で実現するための方法を提案する。三色のストロボ照明の順次発光とRGBイメージセンサによる1フレーム撮像の組み合わせにより各ストロボ発光時刻の画像の濃淡値がRGB画素値ベクトルの空間に写像されることを利用し、逆行列演算によって各濃淡値すなわち各時刻の画像が容易に分離できるところに特色がある。高速運動の対象についても、発光間隔の調整により時系列画像間の変位量を小さくすることができる。

　可変コンダクタンス差動増幅器型の画素回路を面積効率よく実現するため、共通ソースをフォトダイオード、ドレインをキャパシタとして用いる拡大ソース・拡大ドレイン構造を提案した。この構造を75m角の画素セルとして設計し、2.3mm角チップ内部に8×8画素のセンサアレイを試作した。画素単体のテスト回路について、外部電気信号の大きさに応じてキャパシタの蓄積電荷の差成分に変化が現れることを確認し、また100kHzのLED変調光および外部電気信号の位相差に対する出力の変化から時間相関の理想値に近い出力結果を得た。これらの結果により時間相関型イメージセンサの集積化の見通しが得られた。

　前回の試作を踏まえて対称性の改善、遮光の徹底を図るとともに、回路動作の安定化のため、前回とは逆に相関器本体を基板より導電率の高いnウェル内にPMOSで構成し、各回路要素を電源電位の拡散層ガードリングで分離する構造を採用した。また画素数の増加に対応するため初めてデコーダ、マルチプレクサを内蔵した。前回よりも小さい60m角の画素セルを用いて試作を行い、NTTエレクトロニクスのプロセスでは2.3mm角チップ内部に16×16個、モトローラのプロセスでは7.3mm角チップ内部に64×64個のセンサアレイを集積化した。LED変調光を用いて実験を行い、数十kHzまでの帯域において外部電気信号の位相差に対し蓄積電荷の差成分が正負に変化する様子、すなわち時間相関に類似の動作を確認した。

　まず基本理論として、空間相関がイメージセンサ像の振動と時間相関の組み合わせによって実現できることを定式化した。続いて、時間相関型イメージセンサの焦点距離・回転振動とその振動周波数・倍周波数の正弦波信号との時間相関を組み合わせることにより、複素対数座標系で表現される画像特徴が抽出されることを理論とシミュレーションにより示し、従来の画像処理アルゴリズムを用いた場合に比べて勾配の抽出精度が改善されることを実験により示した。最後に像に振動を与えるための振動走査鏡を試作し、個別素子の時間相関型イメージセンサとともに用いて実時間の特徴抽出、テンプレートマッチングを実現した。

　固視微動型特徴抽出センサの出力である円形走査経路の走査波形のフーリエ展開係数が画像のどのような局所特徴を記述しているかを考察するため、まず各次数のフーリエ係数が走査半径が0の極限で同じ次数の明暗微係数の荷重和に等しくなることを解析的に示した。続いて各次数のフーリエ基底関数の表す明暗形状分布が、走査経路内部の表現の仕方により回転対称なパターン、あるいは一方向のみに変動するパターンとして表現されることを示した。これらの性質により、フーリエ展開係数が何らかの画像記述力を有していることを確認した。

　対象の微小変位の前後で照明を対象に垂直に走査させつつ連続撮像することにより、表面の凹凸勾配と対数反射率勾配が変位前後の時系列画像差成分に直交変調されることを定式化し、これらが微分積和型演算により分離して抽出できることを示した。実験により、汎用のCCDイメージセンサを用いつつも、対象表面の深さ数十m程度の微小なきずを表面の汚れなどと分離して検出するのに成功した。

　まず三色のストロボ照明を1フレーム間に順次1回ずつ発光させRGBイメージセンサで撮像することにより、各発光時刻の濃淡値がRGB画素値の空間に線形写像されること、および逆行列演算によってRGB画素値から各時刻の濃淡値が容易に分離できることを定式化により示した。また分離された時系列画像から時空間勾配法を用いて速度場ベクトルを求める手続きを示した。実験により、1フレーム1/30s間に180°回転する高速な対象について、汎用RGBイメージセンサのフレーム画像から回転変位量約1°の時系列画像を精度良く分離し、速度場ベクトルを抽出した。