集積回路技術の進歩によって、画像センサ上に単なる撮像以上の機能を集積することが可能となり、脊椎動物の網膜の構造を模した人工網膜(Silicon Retina)などが広く研究されて来た。一方、近年のマルチメディアの普及に代表されるような画像技術の進歩により、取り扱われる画像情報量は増加の一方にあり、従来のCCD型の撮像素子では転送速度や消費電力の点で問題が顕在化することが懸念される。本論文ではこのような背景をふまえ、画像信号を階層ツリー構造で取り扱うことで走査時に一種の即時的な符号化を行なう画像センサに関する研究についてまとめる。

　まず画像センサの低消費電力化の手法を考える。CCD型撮像センサの動作を考えると、転送クロック信号は常時全ての転送ゲートに加えられ、また転送ゲートの大きさも転送効率を確保するためにあまり縮小できない。これらの理由によりCCD型撮像センサは本質的に消費電力が低減しにくいことになる。これに対し、メモリ素子に似た構成を持ち、画素を順次選択して画素情報を読み出す、いわゆるCMOS型の撮像センサでは動作電圧が低減しやすく、また周辺の選択回路は通常の論理回路であるので従来いろいろな点から研究されている低消費電力化の手法が適用できる。本論文では、組合せ論理回路および順序回路について消費電力の期待値を確率的なモデルに基づいてもとめる手法を提案し、回路の対称性を考慮して機能を変化させずに消費電力を低減できる手法を提案している。具体的には組合せ論理回路の論理的に対称な入力端子への入力信号の割当を最適化することで最大30%の、また順序回路の各状態への状態符号の割当を最適化することで10%程度の低消費電力化が可能であることを示した。

　次に、本題の画像信号の階層構造を考える。CCD型撮像素子に代表される通常の画像走査では、常にすべての画素が走査される。これは特に画素情報が空間的に偏って分布していて大きなまとまった領域がある場合には無駄な手順が多くなることになる。われわれの視覚では、注目している部分のみからは詳しい情報を得るがそれ以外の領域からは輝度程度の情報しか得ないという機能を実現する際にも無駄が多くなることになる。そこで二次元平面を小領域に分割し、各小領域を更に小さな領域に分割した階層構造を考える。各領域にはノードを対応させ、その中の各小領域のノードと接続することでツリー構造ができあがる。各画素の値を二値とし、各ノードの値を下位ノードの値の論理和とすれば、上位から順に走査する過程でノードの値が0であった場合は、そこから下位はすべて0であることになり、このノード以下の領域については走査は必要ない。このような手順により、一種の即時的な符号化を行なうことができることになる。確率的なモデルによれば、ツリー構造の分岐数が4の場合に最も符号長の期待値が小さくなるため、1:4ツリー構造と呼ぶ分岐数が4のツリー構造について考えることにする。

　1:4ツリー構造による走査をファクシミリ標準画像や動画像のフレーム間差分といった白(0)の画素が多い、1:4ツリー構造が有用な画像に対して行なったところ、ラスタースキャンの10分の1程度の符号長で走査が完了することが示され、また二値画像の圧縮で用いられるランレングス符号化よりも符号長が短くなる場合が多いことが示された。

　この1:4ツリー構造による符号を元の二次元画像に復号する手順を考えると、符号の各ビットに対応する画素平面の小領域を大きさを変えて順次選択し、選択された領域の画素全てに符号ビットを書き込むことで実現できることを示した。この選択線で選択される画素平面の構成はDRAMのような通常のメモリ素子に似ているが、複数の画素が同時に選択されることがある点が異なる。

　次に1:4ツリー構造の応用例について考える。1:4ツリー構造では、走査の手順が上位から下位のノードに進むにしたがってより細かい小領域を対象としていることになり、空間的な解像度が高くなっていることになる。そこでこの走査の手順を対象領域に対しては高い解像度まで、また非対象領域では低い解像度の段階で中断するような走査手順により、各領域に対して任意に解像度を設定できることになる。その解像度の設定基準の例として各領域の輝度の均一性を考え、輝度が均一な領域に対しては低い解像度、輝度が不均一な領域に対しては高い解像度で走査することで、画像の品質を保ったまま情報量の圧縮ができる可能性を示した。

　別の応用として、光電流がフォトダイオードの接合容量を充電する時間は輝度が高いほど短くなることを利用して画像の輝度情報を走査することもできる。隣接画素の輝度差が小さいことから、ある時間に充電が完了している画素は一定領域に固まっていると考えられ、この情報は1:4ツリー構造で効率的に走査が可能である。

　動画像圧縮への応用としてはフレーム間差分と動き補償をとりあげ、それらが画素内あるいは隣接画素間の情報のみで実現できることを示した。フレーム間に差分が生じたという情報や動き補償における予測とのずれは1:4ツリー構造を用いて走査が可能である。更に別の応用としてビジュアルトラッキングをとりあげ、1:4ツリー構造で得られた符号を用いて対象領域のみをマスクするアルゴリズムを考案し、それによって単純な動き検出によるビジュアルトラッキングの例を示した。

　次に1:4ツリー構造を構成するノードオートマトンの回路として、クロック信号を走査している信号路にのみ供給することで低消費電力化に有効である回路を設計した。またそれらの二次元平面上の配置として、上位ノードほど大きな領域を占めることで信号遅延の低減にも有効な方法を示した。ツリー構造を直接ノードオートマトンと画素を配置して実現する構成では、本質的に画素の面積比が小さくなることは避けられない。そこで画素の選択回路とその制御回路を画素平面の外部に置き、大幅に平面利用効率が向上する構成についても示した。この構成では、画素をメモリ素子におきかえるだけで復号のためのメモリ素子平面も実現できることを示した。また単なる光電変換以上の機能をもつ画素の回路について検討し、動画像圧縮のためのフレーム間差分をとる画素および前述の充電時間による輝度情報走査のための画素を考案した。

　最後にこれらの1:4ツリー構造を持つ画像センサの設計と試作を行なった。まず使用するCMOS1.5mプロセス(東京大学大規模集積システム設計教育研究センターを通し、日本モトローラ(株)、大日本印刷(株)および京セラ(株)の協力で行なわれた)でフォトダイオードを試作し、ほぼ輝度と面積に比例した光電流が流れることを確認した。

　次にFPGAを用いて1:4ツリー構造を持つ画像センサおよびその復号回路を試作し、その動作評価を行なった。またCMOS1.5mプロセスを用いて1:4ツリー構造を持つ画像センサを試作し、7.2mm角のチップで32×32画素を集積できた。また画素選択回路を外部に持つ構成による設計では、同じ7.2mm角で16倍の128×128画素を、4.8mm角で64×64画素を集積でき、高い平面利用効率が得られることを示した。

　本論文は"A Study on High Speed and Low Power Image Sensors with Variable Resolution Scan using Tree Structure of Images"(和訳:画像信号のツリー構造を用いた可変解像度走査機能を持つ高速低消費電力画像センサーに関する研究)と題し、センサーチップ上で情報の圧縮機能と可変解像度読みだし機能を有する高速・低消費電力画像センサーの方式を提案・検討したもので、7章からなり英文で書かれている。

　第1章は序論(Introduction)であり本研究の背景と目的を述べている。集積回路の技術進歩で画像センサー上への情報処理機能の集積が可能となったこと、人工網膜等の研究動向、またマルチメディアの普及で処理すべき画像情報が急増していることを述べ、従来型CCD撮像素子の転送速度限界、消費電力問題が顕在化しており、新しい画像センサーが期待されていることを述べている。そして画像信号を階層ツリー構造で取り扱うことで走査時に即時的な符号化を行なう画像センサーの可能性検討した本研究の位置づけを明らかにしている。

　第2章は画像センサーとCMOS回路の低消費電力化(Power Reduction Methodologies for Image Sensors and CMOS Circuits)について検討している。画像センサーではCCD型撮像センサーの動作をモデル化し、全域的転送クロック信号の非効率性、転送ゲートの大きさと転送効率のトレードオフ関係等の理由によりCCD型撮像センサーは本質的に消費電力が低減しにくいことを示している。これに対しメモリ素子に似た構成で画素を随時選択して読み出すCMOS型の撮像センサーでは、動作電圧の低減が容易であること、周辺回路が通常の論理回路であり従来の低消費電力回路手法の適用が容易であること等の優位性があることを述べている。また組合せ論理回路および順序回路について消費電力の期待値を確率的なモデルに基づいてもとめる手法と論理の対称性を利用した消費電力低減手法を提案し、組合せ論理回路で最大30%、順序回路の状態符号割当最適化で10%程度の低消費電力化が可能であることを示している。

　第3章は画像信号のツリー構造(Tree Structure of Image Signals for Image Sensors)について検討している。従来のCCD型撮像素子では常に全画素が走査されるため、画素情報が空間的に偏って分布している場合には、注目している部分からだけ詳しい情報を得る動物の視覚に比べ無駄な走査が多くなることを述べ、画像平面を再帰的・階層的に小領域に分割し各領域をノードとするツリー構造で走査する方式を提案している。そこでは各画素の値を二値とし各ノードの値を下位ノード値の論理和で階層的に定義することで、ノードの値が0のときはその下位ノードがすべて0である性質を持つことを利用して必要のない領域の走査を省略する即時符号化法が可能となることを述べている。またツリー分岐数が4の場合(1:4ツリー構造)に最も符号長の期待値が小さくなることを示し、ファクシミリ標準画像や動画像のフレーム間差分に適用し、CCDの場合(ラスタースキャン)の約10分の1の符号長で走査が完了すること、ランレングス符号化よりも符号長が短くなる場合が多いことを示している。また1:4ツリー構造による符号の復号手順についても検討し、選択領域の全ビットにデータを同時に書き込む機能を有するメモリ素子型復号チップのアーキテクチャを提案している。

　第4章は1:4ツリー構造センサーの画像処理への応用(Applications of 1:4 Tree Sensor in Image Processing)について述べている。この構造では走査手順にしたがい順次より細かい小領域をアクセスすることから空間解像度を階層的に制御できる機能があり、有意対象領域では高解像度とし非有意対象領域では低解像度とする可変解像度走査が可能であることを述べている。有意性基準の例として領域輝度の不均一性と輝度の時間変化をもちいる方式を提案し、画像品質を維持してデータ圧縮が可能であることを示している。また動画像圧縮ではフレーム間差分と動き補償を1:4ツリー構造で実現する手法を提案し、有意領域に走査を限定することでビジュアルトラッキングを効率的に実現するアルゴリズムを考案している。

　第5章は1:4ツリー構造画像センサーの実現(Implementation of Image Sensors with 1:4 Tree Structure)について述べている。ツリー構造のノードにオートマトンを配しクロック信号の選択的駆動で消費電力を低減した設計を示している。また多少消費電力の点で不利であるが高解像度センサーに有利な方式として、画素選択回路を画素配列の周辺に置いた構成についても設計している。またこの構成の画素をメモリ素子に置き換えて復号回路が実現できることも示している。画素回路については動画像圧縮用フレーム間差分回路と不均一輝度情報走査用回路を提案設計している。

　第6章は1:4ツリー構造センサーの設計と評価(Design and Evaluation of 1:4 Tree Sensors)を述べている。CMOS1.5mプロセスによる1:4ツリー構造画像センサーの設計・試作の詳細を述べ、FPGAを用いた1:4ツリー構造画像センサーと復号回路の試作評価結果について述べている。ツリーオートマトン構造では7.2mm角のチップで32×32画素を集積できること、また周辺画素選択回路構成では7.2mm角に128×128画素を集積でき高いチップ面積利用効率が得られることを実証している。

　第7章は結論(Conclusions)であり本論文の研究成果をまとめている。

　以上要するに、本論文はツリーアクセス構造をもつ低消費電力・可変解像度CMOS型画像センサーを提案し、即時符号化・画像圧縮機能を実現できることを解析的かつ計算例により示すとともに、具体的に実現例をCMOSプロセス用に設計・試作することで集積回路への適合性を実証したもの、電子工学の発展に寄与する点が少なくない。

　よって本論文は博士(工学)の学位請求論文として合格したものと認められる。