近年、マルチメディア技術や情報通信技術の発展に伴い、実時間での画像処理への需要が非常に高まっている。しかし、画像認識システムやロボットの自動制御、セキュリティ監視カメラなどの分野では高度な処理アルゴリズムが導入されるため、個々の画素における画像処理タスクの負荷は非常に高い。そのため、ソフトウェア処理では最新の汎用プロセッサを利用した場合でも実時間で結果を得ることは非常に困難である。本研究では、そうした高度な画像処理アルゴリズムを実時間で実行するための、高速かつ低消費電力な並列画像処理VLSIを開発することを目的とする。

　一般的な画像処理システムは、イメージセンサ、フレームバッファメモリ、画像処理プロセッサから構成される。そうしたシステムにおける最大のボトルネックは、各々のチップ間でのデータ転送である。この問題を解決する有力な手法として、個々のチップの機能を一つのVLSI上に融合させる方法がある。その中で、演算回路をフレームバッファメモリと融合させたlogic-in-memory構造と、撮像素子それぞれに回路素子を組み込み、二次元超並列演算を可能としたスマートイメージセンサ構造は広く研究されている。logic-in-memory構造では、メモリ読み出し回路の直近に演算回路を置くことで、メモリ本来が持つ並列性を最大限に活用したシステムを実現する。しかし、一般的な画像処理では2次元の画素配列に対し「演算方向」という軸を加えた3次元構造が必要であるのに対し、VLSIでは本質的に二次元方向にしか回路素子を配列できない。そのため、フィルタ演算など複数の画素領域に渡った演算を実現しようとした場合、非常に回路構造が複雑になり処理時間の増加を伴う。つまり、演算回路の構造がシステムのボトルネックを決定する。一方、スマートイメージセンサは撮像素子と演算回路を1画素内に集積し、撮像平面での超並列演算を実現する。しかし、個々の画素回路の面積とチップに集積できる画像解像度はトレードオフの関係にある。従って、より小面積で高機能な演算回路の実現が要求される。アナログ回路を用いた場合、コンパクトで低消費電力な構成を実現できるメリットはあるが、一度回路を作り込んでしまうと容易に機能を変更できないという欠点がある。一方、デジタル回路構成は高い汎用性と柔軟性を実現できる反面、一般的に回路が大規模となってしまう。従って、スマートイメージセンサの回路設計においてアナログ回路構造とデジタル回路構造の境界を何処に設けるか、その選択が非常に重要である。本研究では、logic-in-memory構造、スマートイメージセンサ構造について、それぞれの回路構造のボトルネックを解決し、高度画像処理に適した新たな回路技術の提案を行う。

　特に、本研究では画像のフィルタリング処理について重点をおく。フィルタリング演算は、様々な画像情報処理において最も基本的な処理であり重要な役割を担っている。空間的なフィルタリング演算はノイズ除去や特徴抽出など、初期画像処理では必要不可欠な機能である。また、時間軸方向のフィルタリング演算は、各フレームにおける画素値の相関演算に相当し、動画像関連のアルゴリズムにおいて非常に重要な演算である。しかし、画像フィルタリング演算は、一つ一つの演算は数学的には単純だが、その演算を画像内の全ての画素に対して行わなければならないため、非常に演算コストが高い。そこで、本研究では並列VLSI技術を用いて、この画像フィルタリング演算を高速に行うアーキテクチャを開発した。

　まず、logic-in-memory構造を採用し、様々なカーネルによる線形畳み込み演算を1クロックサイクルで実行する画像フィルタ演算プロセッサの開発を行った。プロセッサ内部には4つの並列に動作するProcessing Element(PE)が配置される。そして、画像データを4×4ピクセルのブロックに分割して、隣り合うブロックが異なるPEによって処理されるようにメモリマッピングを行うQuaternary Tile Mapping法を開発した。Quaternary Tile Mapping法により、ピクセルデータを読み出す際に必要であった複雑なアドレス計算を単純なカーネルのシフト演算に置き換える。更に、読み出したデータをレジスタに蓄えることで冗長なメモリアクセスの問題も解決した。その結果、高速・低消費電力な画像フィルタリング処理を実現した。0.18μm5層メタルCMOSプロセスにてプロトタイププロセッサを設計し、電源電圧1.8V・クロック周波数50MHzにおいて、消費電力180mW で動作することを確認した。試作プロセッサを用いて典型的な4種類のカーネルについての画像フィルタ演算の結果を示し、2.2GHzで動作する汎用プロセッサと比較して約1/20の消費電力で同速度の画像フィルタ処理を実現できることを示した。

　次に、スマートイメージセンサ構造を採用し、撮像画像に対しチップ上でフィルタリング処理を実現する、ブロック並列読み出し可能なDigital Pixel Sensor (DPS)の開発を行った。Digital Pixel Sensorとは、画素それぞれにA/D変換器を内蔵することで、全画素同時にA/D変換を行うイメージセンサである。しかし、従来のDPSは画素データを一行毎に読み出す形式を採用していた。そのため、画像処理プロセッサを直接接続するためには、結局フレームバッファが必要であった。そこで、本研究ではI/Oラインを効率的に利用することで、任意の矩形領域をビットシリアル方式で読み出すことが可能な新たなDPS回路構造を開発した。これにより、画素アレイ内のいかなる領域に対しても5×5ピクセル以下のカーネルによる画像フィルタリング演算を実現できる。また、画像処理プロセッサの一例として、複数のデータから任意の順位(Rank)にあるデータを選び出すRank-Order Filterを高速に実行するプロセッサを開発し、提案するDPSコアと直接接続した画像処理プロセッサの開発を行った。0.35μm CMOSプロセスを用いて64×48ピクセルの画素を集積したテストチップを試作し、回路の基本コンセプトを測定によって実証した。

　Digital Pixel SensorにおいてA/D変換を行う際、各画素の輝度情報は一度パルス信号、つまり時間領域に変換される。そこで、このA/D変換の処理中に時間領域演算論理を加えることで、コンパクトかつ処理の柔軟性が高いスマートイメージセンサを実現できる。これを利用し、動き認識処理への応用を目的とした画素毎の空間微分・時間微分を高速で求めるアーキテクチャを開発した。画素の光強度を時間領域の信号に変換し、排他的論理和を応用したコンパクトな回路で画素毎のそれぞれの微分値を演算する。時間領域信号は、バイナリカウンタを用いてチップ内でデジタル値に変換される。従って、より高位な処理を必要とする場合は汎用デジタルプロセッサシステムに直接接続することが可能である。また、画素値のサンプリング回路を1つのフォトダイオードに対し4つ並列に接続することにより、あるサンプリング回路が露光している間に、他の回路を用いて並行して演算処理を行い、高速な演算を実現した。0.35μm CMOSプロセスを用いて31×31ピクセルの画素アレイを集積したテストチップを作成し、電源電圧3.3V下で約400フレーム/秒を越える高速な画素微分の演算を実証した。

　時間領域信号は、1ビットのデジタル論理回路を用いて様々な演算が可能である。またプロセス技術の進歩により、1画素毎にバイナリカウンタを実装することも非現実的ではない。そこで、1画素内にフォトダイオード、アナログ-時間領域変換回路、8ビットバイナリカウンタを集積し、任意の時間領域・空間領域の線形畳み込み演算を画素超並列で実行する多機能ヴィジョンチップを開発した。素子間の信号通信は1本の配線を通して時間領域信号によって行われるため、コンパクトな配線構造が実現可能である。0.18μm CMOSプロセスを使用して、31×31ピクセルの画素を集積したテストチップを作成し、電源電圧1.0Vにおいて、1秒間に78000回を越える畳み込み演算ができることを実証した。

　本論文では、logic-in-memory構造およびスマートイメージセンサ構造を用いて、空間的・時間的な画像フィルタリング演算を高速に行う新たな回路構造を開発した。今後、開発したVLSIは、実時間での画像認識回路や、動き認識回路などの高度画像処理に、広く応用が期待される。logic-in-memory構造を用いたる画像フィルタ演算プロセッサは、メモリ上に蓄えられた一つの画像から様々なコンボリューション演算を必要とする場合に有用であり、高度画像認識に必要な特徴抽出演算などを高速に実行できる。また、スマートイメージセンサ構造をもつVLSIは、画素平面で逐次演算が可能なため動きを伴うアルゴリズムに最適な構造を持つ。このように開発したVLSIを通して、実時間での画像認識や、動き認識などの高度画像処理アルゴリムへ応用できるVLSIアーキテクチャについての方向性を示した。

　本論文は、Parallel-Processing VLSI Architecture for Intelligent Image Processing(和訳：高度画像処理のための並列処理VLSIアーキテクチャ)と題し、大量の画像情報を効率よく演算処理するための並列処理VLSIアークテクチャと、それを実現するための回路技術に関する研究成果を纏めたもので、全文6章よりなり、英文で書かれている。

　第1章は、序論であり、本研究の背景について議論するとともに、本論文の構成について述べている。

　第2章は、様々なカーネルサイズのコンボリューション演算が、単一クロックで演算・実行可能なFlash-Convolution方式イメージフィルタプロセッサについて述べている。この方式では、取得した画像情報をQuaternary Tile Mappingと呼ぶ新たな配列方式に従ってキャッシュメモリ内に格納することにより、たった一度のメモリアクセスで必要なデータが全て演算回路に転送でき、これにより所定の領域内におけるピクセル毎のConvolution演算が全て実行可能となった。無駄なメモリアクセスを排除することで、効率の良いフィルタ演算を可能にした。0.18μm CMOSプロセスでチップを設計・試作し、2.2GHzで動作する汎用プロセッサと比較して、約1/20の消費電力で同等以上の速度でフィルタ演算の実現できることを実証した。

　第3章では、Digital Pixel Sensor方式に基づき、コンボルーション演算を効率よく実行するための新たなアーキテクチャについて述べている。Digital Pixel Sensor方式では、チップ上に二次元配置されたフォトダイオードから得られる画素情報を、各画素位置ですべてデジタル値に変換し、デジタルメモリにその値を保持する。このデジタルデータの読み出しにおいて、コンボルーション演算に適合するブロック読み出し方式を新たに提案した。その有用性を実証するために、ランクオーダフィルタを実装したテストチップを0.35μm CMOSプロセスで設計・試作し、実測によって基本コンセプトを実証した。

　第4章では、Digital Pixel Sensor方式の考え方に、時間領域演算を融合するという独自のアイデアを発展させ、これにより新たな画像処理プロセッサアーキテクチャを開発した研究について述べている。この方式では、画素の光強度を時間領域信号、即ちパルス幅に変換し、排他的論理和回路を用いて差分演算をおこなう。二次元に配置した演算ユニットにより、画素値の空間微分、時間微分を求め、これらの結果をデジタル値として得る回路方式を開発した。0.35μm CMOSプロセスを用いて31×31ピクセルの画素アレイを集積したテスト回路を設計・試作、400フレーム/秒という高速でオプティカル・フロー演算の実行できることを示した。

　第5章では、前章の考えをさらに発展させ、一画素ごとにフォトダイオード、アナログ電圧・時間領域信号変換回路、バイナリカウンタを集積し、任意の時間領域・空間領域のコンボルーション演算を全画素並列実行可能な多機能画像処理プロセッサを実現した研究について述べている。信号はパルス幅表現であるため単一配線で各画素間の情報伝達が可能になり、非常に簡単な配線構造で並列演算を実現した。0.18μm CMOSプロセスを用いてテストチップを試作し、その有効性を実証した。これは、CMOSスマートイメージセンサの新たな回路方式の提案として重要な成果である。

　第6章は結論である。

　以上要するに本論文は、大量の画像情報を効率よく演算処理するための並列処理VLSIアーキテクチャに関し、画素情報の読み出し方式、並びに画素並列演算方式のそれぞれについて独自の方式を提案するとともに、これらを実現するための新たな回路技術を開発し、実際にVLSIチップを設計・試作・評価することにより提案方式の有効性を実証したもので、情報学の基盤に寄与するところが少なくない。

　よって本論文は博士(科学)の学位請求論文として合格と認められる。