Real-time object recognition is becoming increasingly important in various applications such as security systems as well as in establishing more robust and flexible human-computer interfaces. In image recognition, a target image is firstly converted to a reduced format called a feature vector, then being recognized using some sorts of classifiers. Feature extraction from an image involves a series of filtering operations, which, in general, are repeated pixel by pixel to scan the entire image. Therefore, it is computationally very expensive. In order to achieve a real-time performance in image recognition, software processing running on general-purpose processors is not sufficient in terms of speed and power dissipation. Therefore, for the purpose of real-time image recognition with high power efficiency, developing dedicated processors is quite essential.

　Being inspired by the biological principle, a directional edge-based feature vector representation algorithm was proposed and has been successfully applied to medical radiograph analysis as well as to handwritten pattern recognition. Other representations also developed based on the directional edge information have been proven very robust in face detection and face identification. However, the directional edge detection costs a lot for computation. This is because the processing needs be repeated pixel by pixel to cover the entire area of the "recognition window", the sectioned image defined for partial image recognition. Furthermore, in the object search in a scene the recognition window itself must scan a large search area also pixel by pixel in the scene, making real-time processing unrealistic.

　In order to realize the high-speed image recognition, seamless feature vector generation coherent to the continuous scanning movement of the recognition window is quite essential in carrying out objects search and recognition in a large scenery image. In this work, an arrayed-shift-register architecture has been employed in conjunction with a pipelined directional-edge-filtering circuitry. Four-directional edge information is detected from a 5x5-pixel block input image in coherent with the threshold determination for edge filtering. The detected edge flags are temporarily stored in a 64x64 two-dimensional array of shift registers directly linked to summation units to construct feature vectors. With this architecture, it has become possible to scan an image, pixel by pixel, with a 64x64-pixel recognition window and generate a 64-dimensional feature vector in every 64 clock cycles.

　In the edge-based image vector generation, determining the threshold value for edge detection adaptive to local luminance variances is of paramount importance to perform robust image recognition. In our system, all 40 absolute-value differences between two neighboring pixels are calculated in both vertical and horizontal directions in a 5x5 filtering kernel and the median value is employed as the threshold.

　Median filter is known as a very powerful rank-order filter but computationally very expensive, making the threshold determination the bottleneck of our system. This is because it requires in principle the sorting of a large number of numerical data. In order to expedite the processing, small-latency VLSI median filters have been developed using both digital and analog circuit technologies. In the digital approach the circuit is configured as a sorting network composed of a number of comparators, thus consuming a lot of chip area. In addition, power dissipation due to the long interconnects with repeaters and buffer circuitries also presents a problem. In the mixed-signal approach, on the other hand, the median filter is implemented based on binary search algorithm. The circuit is composed of majority voting circuits and simple logic circuits. In order to establish high-speed and low-power median search, high-performance majority voting circuits have been developed employing the floating-gate MOS technology.

　My dissertation research has resulted in feature-extraction and vector-generation VLSI circuits for real-time image recognition. By employing arrayed-shift-register architecture, seamless scanning of the recognition window has been achieved. In order to determine the threshold for edge-filtering operation adaptive to local luminance variances, a binary median search algorithm has been implemented using high-precision majority voting circuits working in the mixed-signal principle. The prototype chip was fabricated in a 0.18-um CMOS technology. A high-speed feature vector generation in less than 9.7 ns/vector has been experimentally demonstrated using the fabricated chip. It has become possible to scan an entire VGA-size image using the 64x64-pixel recognition window at a rate of 5 frames/sec., thus generating as many as 1.5 million feature vectors in a second for recognition. This is more than 10,000 times faster than software processing running on a 3-GHz general-purpose processor.

　本論文は、Image Processing VLSI Circuits for Real-Time Recognition Systems(和訳:実時間認識システムのための画像処理VLSI回路技術)と題し、柔軟な画像認識処理を実時間で実行することを目的に、入力画像より認識に必須の特徴量を抽出するとともにその画像を表現する特徴ベクトルを高速に生成できるVLSIアークテクチャと、これを実現するための新たな回路技術に関する研究成果を纏めたもので、全文6章よりなり、英文で記述されている。

　第1章は、序論であり、本研究の背景について議論するとともに、本論文の構成について述べている。

　第2章は、"Image Recognition Algorithm(画像認識アルゴリズム)"と題し、本研究で対象とする画像認識システムの全体像を記述するとともに、画像から方向性エッジを抽出しこれを用いて特徴ベクトルを生成するアルゴリズムの詳細について述べている。さらに、こうして得られた特徴ベクトル表現が、柔軟な画像認識に有用であることを実例を挙げて述べている。

　第3章は、"A Real-Time VLSI Median Filter Employing Two-Dimensional Bit-Propagating Architecture (二次元ビット伝播方式による実時間VLSIメディアンフィルタ)"と題し、入力画像からノイズを有効に除去するためのメディアンフィルタ演算を高速に実行するVLSI回路の構成について述べている。大量の入力データに対し、Permutation比較演算でメディアン値探索を行う方式を採用しているが、比較演算に際し1ビット毎の比較結果をすぐ次段に伝播させる二次元ビット伝播方式の回路構成を導入することで、高速演算を実現している。

　第4章は、"High-Speed VLSI Median Filters Employing Majority Voting Circuits(多数決回路を用いた高速VLSIメディアンフィルタ)"と題し、アナログ・デジタル混載の回路技術で、高速・省電力・小面積のVLSIメディアンフィルタ回路を構成する研究について述べている。入力データに対し、最上位ビットより並列比較を繰り返すバイナリ探索アルゴリズムを採用し、この比較器には新たに開発したアナログ多数決回路を導入した。これにより、チップ面積、動作速度、消費電力のいずれにおいても第3章で得たメディアンフィルタを凌駕できることを、実際にVLSIチップを設計・試作することを示した。この回路は、次章で述べられる特徴ベクトル生成回路においても、高速演算実現のキーコンポーネントの一つとして用いられている。

　第5章は、"A Real-Time Image-Feature-Extraction and Vector-Generation VLSI Employing Arrayed Shift-Register Architecture(アレー状配置シフトレジスタを用いた実時間画像特徴抽出・特徴ベクトル生成VLSI)"と題し、入力画像より方向性エッジ情報を抽出し、これを用いてその画像特徴ベクトルを高速に生成するVLSIプロセッサの構成法について述べている。画像の形状的特徴を表すエッジ情報を、照明条件等の影響を受けずに確実に抽出するためには、各部分画像のローカルな輝度値変化を考慮してエッジ検出の閾値を決定する必要があるが、これがこれまで高速演算のボトルネックとなっていた。ここでは、第4章で開発したメディアン回路を導入することでこの問題を解決するとともに、2次元のアレー状に配置したシフトレジスタ群を4096入力の加算器に直結するという新たな回路構成を提案し、これにより64クロック毎に一つの画像特徴ベクトルを生成できるVLSIチップを実現した。0.18μm CMOSプロセスを用いてテスト回路を設計・試作し、100MHz の動作で、3GHzの汎用プロセッサ上のソフトウェア処理に比べ、4桁以上の高速化が実現できることを実証した。これは、実時間画像認識システム構築を可能にする重要な成果である。

　第6章は結論である。

　以上要するに本論文は、実時間画像認識システム構築に重要な画像の特徴ベクトル生成に関し、特に柔軟な認識に重要な役割をする方向性エッジ情報を用いたベクトル生成を高速で実行できる新たなVLSIチップのアーキテクチャを提案し、これを実現するための新たな回路技術を開発し、VLSIチップを設計・試作・評価することによりその有効性を実証したもので、半導体電子工学の発展に寄与するところが少なくない。

　よって本論文は博士(工学)の学位請求論文として合格と認められる。