本論文では小範囲高速度のブロックマッチングに基づいたイメージセンサ撮像面上での動きベクトル検出を提案し幾つかの専用回路とプロトタイプチップを設計、試作、評価した。プロトタイプビジョンチップのサイズは6.5mmx8.2mmで、二層メタル、一層ポリシリコンのCMOSのプロセスで試作された。プロトタイプビジョンチップは16x16の画素配列、水平と垂直のエッジ情報を検出し2値化するエッジ検出処理、2値エッジ情報のメモリ、ブロックマッチング用のデジタル論理演算回路を有している。一つの画素の中に一つのフォトダイオード(PD)と一つのエッジ検出器(水平と垂直のエッジ)と4-bitsの即時メモリを含んでいる。全画素に対し、4つのブロックマッチング回路を有し、サーチエリアの中では並列に、対象ブロックに対しては列並列にに処理を行う。

　第1プロトタイプチップではPD回路、エッジ検出器回路、即時メモリ回路を試作、評価した。第2プロトタイプチップでは、PD回路、エッジ検出器回路、ブロックマッチング回路と動きベクトル検出回路の試作、評価を行った。第3のプロトタイプチップでは、16x16画素アレーでの高速度での撮像実験を行った。

1 はじめに

　一般的に、デジタル画像処理システムの動きベクトル検出部には高度的な複雑演算と大量CPU時間が必要である。高速度で撮像するとした場合、例えば、100-1000フレームレートで高速撮像された運動物体は、隣接フレームにおいてほとんど変化がない。この特徴を利用すれば(+/-1,+/-1)の最小の探索範囲にてブロックマッチングを撮像面上で実現することができる。

　まず、PDにて撮像された画像の2値のエッジを検出し、水平と垂直の2値エッジをディジタルメモリの中に保存する。タイミングによって出力してからブロックマッチングをする。候補ベクトル検出用の論理回路を用いることにより動きクトルを出力する。図1には本研究の概要を三つの部分で分かりやすく表示した。

図1、動きベクトル検出イメージセンサ:センサ、エッジ検出、動きベクトル検出画素、エッジ検出、メモリ アレー

　撮像の機能を持つ上、画素ごとに水平・垂直のエッジ検出の機能も含む。4-bitsのメモリの中、現在と前のフレームの水平・垂直のエッジ情報を保存しておく。PD、エッジ検出器と4-bitsメモリ共に並列で一つの画素の中に設計される。

ブロックマッチング

　現フレームの中2x2の対象ブロックに対し、前フレームの(±1,±1)の探索範囲のブロックをブロックマッチングする。それぞれの対象ブロックのブロックマッチングは、列並列のアーキテクチャーで行い高速化を図る。

出力

　優先権判断回路を経由して、{0,1,2,3,……,8}の9候補の中、最適と判断された一つの動きベクトルのインデックスを出力する。

2時間分割エッジ検出図2:TMED時間分割エッジ検出(step＝1)

　本論文では、エッジ検出回路は時間分割のアーキテクチャー(Time Multiplexed-Edge Detector,i.e.TMED)を使った。一つのエッジ検出器で水平エッジと垂直エッジをそれぞれ異なる時間t1とt2で取得する。現フレームの2-bitsの水平エッジ及び垂直エッジと前フレームの2-bitsの水平エッジ及び垂直エッジを4-bitsのメモリの中に保存し、ブロックマッチングの機能回路へ入力する。

3 ブロックマッチングための4-bitsメモリ図3:4-bitsメモリと呼び出しツリー

　トランスミッションゲート容量を利用して、4-bitsの即時メモリを作り、一つの画素の中にこれらを並列にレイアウトする。木構造のスイッチ回路によって、必要な1-bitのエッジ情報の出力が容易に行える。このメモリにはCMOSのトランスミッションゲートとパストランジスタ回路を使用するので、低消費電力でもある。水平と垂直のエッジに対応して設計してある。図3に示すように{Pre_1^st_h_i,Pre_2nd_h_i,Pre_3rd_h_i,Pre_4th_h_i}は前フレームのエッジ、{Cur_1^st_h_j,Cur_2^nd_h_j}は現フレームのエッジを表わす。これらの信号がブロックマッチング処理回路に入力される。

4 ローカル画素並列でグローバルブロックマッチング列並列処理する動きベクトル検出アーキテクチャー

　ブロックマッチングの基準については絶対値最小差分値(MAD)を用いた。即ち以下の関数を評価に用いる。

　

　TとSが2値画像の場合、Dx,yはハミング距離である。Dx,yはTとSの類似を現す。(-mim;-njn)は位置(x,y)のところの画素の中心としてのブロックマッチングする捜索範囲である。

　前エッジメモリと現エッジメモリの中に保存されたバイナリエッジ情報をブロックマッチング回路に入力しながら演算を行う。探索範囲中の9候補に対して並列に処理が行われ、9つのACCの中の演算結果が評価され、動きベクトルの決定が行われる。

　撮像面上の資源は限られているため、特別のアーキテクチャー設計が必要であり、本提案では、図4に示すように、ローカルに並列のPD・エッジ検出器・4-bitsメモリを有し、1対象ブロックへのブロックマッチング処理も並列に行なわれる。異なる対象ブロックに対しては、グローバルに列並列で処理が行われる。これをLocal Parallel Global Column Parallel(LPGCP)と称している。

図4、ローカル並列のPD・エッジ検出器・4-bitsメモリとグローバル列並列ブロックマッチングする動きベクトル検出アーキテクチャー

　LPGCPのアーキテクチャーでは、対象とする2x2画素とその探索範囲の4x4画素範囲の水平エッジ及び垂直エッジ各々を用いて候補動きベクトルに対応する9ブロックの2x2画素から9個のマッチング結果を並列に得る。これらの中、最小値を持つ動きベクトルを判断する。なお、複数の最小値が出る場合に対して、擾先権判断回路を用いる。

5 チップ設計表1:プロトタイプチップの概要

　ES2の二層メタル、一層ポリシリコンのCMOSのプロセスを使用して、プロトタイプチップを設計、試作した。設計に関するパラメーター等表1に示し、設計のレイアウトと試作したチップを図5に示す。

図5:設計のレイアウトと試作したチップ

　動きベクトル処理回路が大きく資源を節約するために、試作したチップには四つのLPGCP-ALUを使って全撮像面上の動きベクトル検出ができるように、ウインドウ制御機能を追加した。外からの3-bits信号によって、動きベクトル処理回路では、4つまでの列を並列に処理することとした。

6 テスト、評価と結論

　本論文では、撮像面上で小範囲高速度のブロックマッチングを利用した動きベクトル検出を提案、設計、試作した。以下には幾つかの評価結果を説明する。

画素:PD・エッジ検出器・4-Bitsメモリ

　画素にはPD(センサ)、エッジ検出器、4-bitsメモリ三つの部分で構成されている。この三つの部分の回路テストは全て良好に機能した。特にメモリは100-1000フレーム/秒の情報を保存することを確認した。

高速撮像

　試作したプロトタイプビジョンチップの画素数は少なく16x16であるが、図6に示すようにこの高速撮像面上で画像の獲取と出力が確認された。

図6:撮像された文字’T’を撮像面上で上、下に移動する。動きベクトル検出回路のテスト・評価・分析

　図7のようなパタンを入力として評価を行う。このパタンに対応する信号を作ってプロトタイプチップを評価した。図8に示すように、理論的な分析とチップ評価が両方一致し、動きベクトル検出回路が良好に機能していることを確認した。

図7:動きベクトル検出のための入力パターンと結果図8:プロトタイプで動きベクトル評価の例{Y4,Y3…}

　本論文は,「Focal Plane Processing for Very Fast Detection of Motion Vectors(撮像面上での即時動きベクトル検出に関する研究)」と題し、イメージセンサと信号処理を統合したコンピュテーショナルイメージセンサ(ビジョンチップ)という新しい画像処理のパラダイムの下,動きベクトル検出を撮像面上にて高速処理する新しいビジョンチップを提案している。提案手法は、エッジ情報に基づくブロックマッチングを利用した方式であり、イメージセンサ上でアナログ処理としてのエッジ検出とデジタル処理としてのブロックマッチングの双方を並列に実行するワンチップVLSIとして設計、試作を行い、検証を行っている。なお、論文は英文で記されている。

　第1章は,「Introduction」であり,論文の背景,目的,および構成が述べられている.

　第2章は,「Vision and Computational Vision Chip」と題し,人の視覚とイメージセンサの対比の下、ビジョンチップの基本的な概念の整理を行っている。

　第3章は、「Focal Plane Processing for Motion Detection」と題し、動き検出を行うビジョンチップの研究についてまとめ、本研究での提案を位置づけている。これまで提案されてきた幾つかの方式について言及し、アナログ処理により実現されてきた既存の動き検出イメージセンサに対し、本論文で提案する方式を対比させている。本提案方式は、ブロックマッチングに基づいている。通常の画像処理にて行われるブロックマッチングは極めて計算量が多く複雑であるのに対し、本ビジョンチップの提案では、高速フレームレートで動作させることによりマッチングのための探索範囲を水平、垂直方向とも(±1、±1)と最小化し、さらに、2値化したエッジ情報をマッチングに用いることで処理の複雑さを大幅に低減させている。

　第4章は、「Edge detection and block matching analysis」と題し、エッジ検出とエッジ情報を用いたブロックマッチングの方式について論じている。エッジ検出に関しては、隣接画素の差分をとることによる水平、垂直エッジを検出する簡易な手法を紹介し、高速撮像された画像に対する計算機実験を紹介している。また、ブロックマッチングに関しては、計算量、複雑さを最小にとどめる方式として、ブロックサイズ、探索範囲をそれぞれ、2x2、(±1、±1)に設定する方式を説明している。なお、高速フレームレートでの撮像を行うことにより、探索範囲を小さくすることが可能となっている。

　第5章は、「Circuit design of the edge detection,memory and motion vector detection on focal plane」と題し、提案する即時動き検出イメージセンサに必要な回路を提案している。まず、エッジ検出については、絶対値差分のための複数の回路の評価をしている。エッジ検出回路、メモリは各画素内に組み込まれ、画素並列で作動する。水平、垂直の2種類の差分に関しては、同一の回路を用いて時分割で実行することにより、1つのエッジ検出回路を画素内で共有して用いる。画素内のメモリ回路は、現時点、前時点の水平、垂直エッジのために、4ビットが必要であり、ゲート容量に保持する方式を採用している。ブロックマッチングに関しては、注目ブロックに対して、探索範囲中の9つの候補ブロックへのマッチング評価値が並列に算出され、その最適値を算出する。最適値の算出に際して、複数の最適値候補がある場合には、事前に設定している優先度に従って最適ベクトルの決定を行う。この処理は、複数の注目ブロックに対して、列並列に同時に行われる。以上の処理において、エッジ検出が画面内で画素並列に行われ、ブロックマッチングが列並列に行われるため、全体の処理アーキテクチャをLocal Pixel Parallel and Global Column Parallelと称している。さらに、実際のVLSIでの実装のためには、ブロックマッチング部で多くの面積が必要となるため、ブロックマッチング部の数は列の数より少なくし、時分割で共用する方式を提案している。

　第6章は、「Prototype Implementation and Specification」と題し、提案する動き検出イメージセンサのプロトタイプについて述べている。大きく2つのプロトタイプを作成しており、一方は、動き検出とメモリの統合された4x4画素アレイであり、アナログ処理の評価に用いる。もう一方が、提案全体の実装であり、動き検出とメモリのある16x16画素アレイに4つのブロックマッチング部が統合されている。両者とも1層ポリシリコン2層メタルの0.7m CMOSプロセスにて試作され、後者のチップの大きさは8.2x6.5mmである。

　第7章は、「Evaluation and Experiment」と題し、試作したプロトタイプを用いた検証を行っている。4x4画素アレイの試作チップを用いて、アナログ処理部であるフォトダイオードとエッジ検出が良好に作動していることを確認している。さらに、16x16画素アレイの試作チップにて撮像が良好に行われていることを確認した。また、ブロックマッチング部単独の実装回路を用い、ブロックマッチング処理回路が正確に作動していることを検証した。

　第8章は、「Conclusion」であり、論文を総括している。

　以上、本論文は、動きベクトル検出を撮像面上にて高速処理する新しいビジョンチップを提案し、イメージセンサ上でアナログ処理としてのエッジ検出とデジタル処理としてのブロックマッチングの双方を並列に実行するワンチップVLSIとして設計、試作を行い、検証を行っており、電子情報工学上貢献するところが少なくない。

　よって本論文は博士(工学)の学位論文として合格と認められる。