将来のインテリジェント画像処理システムにおいては，生体の網膜が画像入力部における初期処理を行っているのと同様に、撮像素子と後段のプロセッサによって効果的に処理機能を分担していくことが重要になって来ると考えられる。そのキーデバイスとなるのが、撮像面上での処理機能を持つ画像センサである。これまでにも画素の中に処理機能を入れたセンサとして、抵抗回路網を用いた方式や、アナログ回路、デジタル回路を画素の中に入れ込んだ方式等々が報告されてきた。しかし、画素内に余りに高い機能を入れ込もうとすると構造が複雑になり、面積の増大や開口率の低下を招く。従っていかに単純な構造で多機能性を実現していくかということが重要なポイントとなる。

このような要求を満たすものとしてまず、図1に示すようなVector-Matrix演算チップを開発した。これに伴い画素として、正負両極性の感度を設定出来る（画素制御信号で出力電流の向きを変えることにより実現）感度可変受光素子回路を開発した。ここから出力される電流を信号線上で加減算することにより、単純な画素構造でありながら、任意パターンの一次元フィルタリングが実行できるようになっている。図2は、作製された256×256画素のVector-Matrix演算チップから出力される、ビデオモードとエッジ抽出モードの画像例である。更にこのVector-Matrix演算チップの機能を活用することで、光点追跡システムの開発を行った。このシステムではまず、ペンライトの入力画像にマッチする大きさの感度パターンを設定してパターンマッチング出力を行い、16並列で画像データを出力して閾値処理を加える。これを16ビットマイコンのデジタルポートに並列入力して演算を行うと、ペンライトが写っているウインドウが0／1で判別できる。この結果を元に、ウインドウ出力機能によりペンライトが写っているウインドウのみを8ビット精度で読み出す。最後にこの8ビットデータから補完演算をすることで、正確なペンライトの位置を高速に判定出来る。トータルの処理時間は約10msであり、既存のPosition Sensitive DeviceやCCDを用いたシステムでは達成できない精細度と速度を実現することが出来た。

上記の例では、センサからのデータ量を減らすためには二値化及びウインドウの切り出しを行っていたが、射影演算を用いると、画像の大まかな情報を保ったままデータ量を減らすことが出来る。そこで、32×32画素の射影演算チップを開発して図3のような構成を取ることにより、後段が8ビットの低パワーマイコンという通常画像を扱う用途には考えられないような安価な構成で、高速な動き検出システムを構築することに成功した。チップ内の射影演算は図4（b） のように、各画素に設けた容量に一旦PDのデータをバッファを介してため、それを図4（c） のように平均化することで実現する。ここで画素内の容量に一旦ためるという手順を省き、行毎にアクセスを行うと通常の二次元画像出力になる。特筆すべきは、二次元画像と射影のデータが原理的に、同じレンジで同じ線形性となることである。射影演算チップの中には、射影演算を行ったデータに対し、更に時間微分・空間微分を取って出力する回路を組み込んでおり、これを用いると射影データについてのオプティカルフローの計算が8ビットマイコンでも実現できるようになる。回転している扇風機の羽につけた反射板の動きを追う実験の結果を図5に示す。（b）、（c） に示された生データにおいて、時間微分の値が空間微分に比べて大きい程速度が速いことになる。演算結果を矢印で示す。このような計算によって得られた回転速度は、800〜1500rpmの範囲で7％以下の誤差であった。作製した動き検出システムでは、最小200μsの時間間隔に相当する高速動作の検出を50 reports/sec以上の出力レートで行うことが出来る。

以上のような一連の研究により、画素アレイ内で並列に実行されるアナログの前処理とデジタルによる後処理を有効に組み合わせた処理アーキテクチャを用いることで、低コストで高速、低消費電力な画像処理システムを構築できることが実証された。

図1．Vector-Matrix演算チップの模式図

図2．Vector-Matrix演算チップからの出力画像例

図3．低コスト動き検出システム

図4．射影演算の原理と動作イメージ

図5．扇風機画像の動き検出実験

本論文は「画素間アナログ演算方式によるオンセンサプロセッシングに関する研究」と題し，7章からなる．オンセンサプロセッシングを行うインテリジェントイメージセンサでは，センサに処理機能の一部を持たせることにより，全体として高速で効率のよい画像処理システムの実現が期待できる．本論文では，センサという限られた資源にて効果的な処理を行うために，Vector-Matrix演算に基づくアナログ処理方式を提案し，その実現を行っている．なお，実現したセンサは，監視用センサやゲーム用インタフェースセンサとして実用に供されている．

第1章は，「序論」であり，本論文の背景と目的，構成について述べている．

第2章は，「撮像面上画像処理のアプローチ概説」と題し，イメージセンサ上での画像処理の様々な実現例を挙げて概説を行っている．センサ上処理について，イメージセンサ処理形態，センサの画素内素子数，センサの出力モードの観点から分類を行い，提案方式の位置づけを行っている．

第3章は，「GaAsプロセスによるVector-Matrix演算チップ」と題する．GaAsのプロセスの下で感度可変受光素子（VSPD）をアレイ状に並べた構造のセンサを提案し，感度制御を行うVectorを用いてMatrixとして与えられる画像に演算を施し電流加算を行うVector−Matrix演算回路によるアナログ処理方式を提案している．簡単な構造ながら，アナログ演算により，エッジ検出，平滑化，ランダムアクセス等々の機能を実現できる．128x128画素からなるプロトタイプを実現し，性能の検証実験を行っている．

第4章は，「シリコン回路によるVector-Matrix演算チップ」と題し，シリコンLSI技術によりVector-Matrix演算を行うセンサを実現している．機能を限定することによりシリコン技術の下で感度可変受光素子回路を構成し，3章とほぼ同一のアーキテクチャによるアレイ演算回路を実現している．駆動回路を含めたLSI化が可能となり，感度特性も大幅に改善した．640ｘ480画素のVector-Matrix演算チップを実現し，エッジ抽出，パターンマッチング，ウインドウ切り出し処理を実証している．さらに，その機能を応用し，光点追跡システムを構築している．

第5章は，「画素間電流演算による2次元フィルタリング」と題する．Vector-Matrix演算はそのままでは1次元のフィルタしか実現できない．これに対し，2次元のフィルタリングを可能とするアーキテクチャを提案し，点順次アクセス方式と行並列アクセス方式の2方式を提案している．後者の方式では，自由度の高い5ｘ5の重み付け演算が可能となり，352ｘ288画素のプロトタイプによる実現，検証を行っている．

第6章は，「射影演算チップと高速動き検出」と題し，画像データ削減のための射影演算機能の実現について論じている．画素データの平均化を行う回路構成により，高精度な射影演算を実現できることを示し，32ｘ32画素のプロトタイプで検証している．さらに，水平，垂直の射影データを用いた動き検出について論じ，高速回転する物体の動きが検出できることを示している．

第7章は，「結論と展望」と題し，本論文の成果をまとめると共に，今後の課題を整理している．

以上これを要するに，本論文では，センサ面上で処理を行うインテリジェントイメージセンサに向けて，Vector-Matrix演算に基づくアナログ処理を提案し，それを実現するための画素回路やアーキテクチャを開発し，画像処理システムとしての応用を進めたものであり，画像工学上の貢献は少なくない．よって本論文は博士（工学）の学位論文として合格と認められる．