近年、イメージセンサはディジタルスチルカメラや、ビデオカムコーダ、携帯電話など、数多くの民生用機器に用いられており、一般の人々にとって身近な存在となっている。もともとイメージセンサはテレビジョン放送や製品検査をはじめとする産業用途などの限られた分野で用いられていたが、イメージセンサの低コスト化、高画質化に伴い、その用途は拡大を続けている。

イメージセンサの発展の方向には、素子自体の特性を向上させる高性能化と素子に何らかの機能を付加する高機能化の2つの方向が考えられる。本論文では、後者に焦点を当てた研究を行った。受光素子と並列処理機構とを撮像面上に統合し、イメージセンサ内部において、固有の処理を行うスマートイメージセンサの研究が過去20年近くにわたって行われている。通常のイメージセンサと異なり、スマートイメージセンサ上では画像本来の2次元性を有効に利用した並列処理を行うことにより、処理速度、システムとしての統合性などの面で、従来システムに無い優れた性能を実現している。反面、スマートセンサでは限られたスペースに処理アルゴリズムを作りこむことが必要であり、画素数やS/N、各画素の開口率などの基本性能を犠牲とすることや、処理の精度、汎用性などの課題があった。

一方、近年の汎用プロセッサの発達も著しく、数年前までは特殊なハードウェアを使用しなけば実現不可能であった、VGAサイズでビデオレートの動画像に対し、単純な処理であれば家庭用の汎用PCの能力で処理できるレベルに到達している。汎用プロセッサを用いたディジタル処理は、その精度とアルゴリズムの柔軟性の点で優位であり、しかも、年々その能力が向上する。ただし、その構成は柔軟性に欠け、全画素読出しを行うイメージセンサと汎用プロセッサを使用する従来方式の画像処理システムにおいて、両者をつなぐビデオ信号の伝送系はセンサから処理部への一方通行である。イメージセンサチップ自身はプロセッサでの処理内容に応じて変化することは無く、単なる情報の送出器に過ぎない。外部からイメージセンサ自体に与えることができるパラメータは電子シャッターの設定時間程度に限られ、それはイメージセンサの画素アレイ全体に対して均一に与えられるいわば大局的なパラメータのみである。

ここで、プロセッサからイメージセンサチップ自体へフィードバックバックできる情報をもう少し増やすと画像処理システム全体のパフォーマンスが大きく向上すると考えられる。例えば画素アレイの特定エリアごとに解像度や感度を変化させて読み出すことで、イメージセンサからプロセッサへ送られるデータ量を抑えたり、システム全体のダイナミックレンジを向上させたりする効果が期待される。

本論文ではイメージセンサの撮像面上に局所的な制御機構を統合することにより、画像処理システム全体の性能向上を図る2つの高機能イメージセンサを検討し、その有効性を確認することを目的としている。具体的には、多眼動画像処理システムおよび広ダイナミックレンジ撮像システムにおいて、システム全体として性能向上を図る。共に、イメージセンサ外部の処理部から小規模な制御情報をイメージセンサにフィードバックする構成で、センサ側は、その制御情報に基づいて、画素アレイ内の領域毎に解像度や感度を局所的に変更する機能を持つ。イメージセンサに設ける追加の制御機構はセンサ自体の物理的性能を極力犠牲としない構成とし、イメージセンサ上でなければ成立しない機能、後段の処理では事実上困難な機能に限定した。

ランダムアクセスイメージセンサは、現代の高速汎用プロセッサでも、そのデータ量ゆえに実時間処理が難しい多眼動画像処理に使用し、効率の良い処理を行うことを目的としたセンサである。局所的な読出しと局所的な解像度制御の機能を持つ。

可変感度イメージセンサは、イメージセンサの各画素の感度を外部からアクティブに変化させることで、リニア応答蓄積型イメージセンサにおいて情報が失われる原因である画素の飽和現象を予防し、結果的に広ダイナミックレンジシーンの撮像を可能とする機能を持つセンサである。

本論文では提案する2つの高機能イメージセンサのプロトタイプを実際に設計、試作し、その特性を検証した。さらに、これらのプロトタイプチップを用いることで、従来型画像処理システムでは取得が困難であったシーンの取得を行う為のプロトタイプシステムをそれぞれ設計、試作してその有効性の確認を行った。

ランダムアクセスイメージセンサ

コンピュータグラフィックスの分野で注目されているLFRシステムは、大規模な多視点画像を使用することで写実性の高い任意視点画像を合成できる。このLFRシステムを動きのあるシーンに適用する際には入力部のデータ量が膨大であり実時間処理が難しい状況にあった。このようなLFRシステムにランダムアクセスイメージセンサを用いることで、入力部のボトルネックを解消でき実時間LFRシステムへとつながる。このような多眼動画像処理システムに使用するために、イメージセンサ側に必要な機能は、画素独立なランダムアクセス読出し、全画素同時リセット、高速な読出し応答速度、十分なセンサ物理特性の4つに集約される。CMOS構成によるランダムアクセスイメージセンサのプロトタイプチップでは想定される読み出しレートである毎秒60フィールドの速度に対して十分に余裕のある回路設計を行った。さらに回路を元にしたCMOS0.8μmプロセスでのレイアウト設計を行い、画素サイズ30μm×30μmで128×128画素からなるプロトタイプチップを試作した。二層メタルのプロセスで、開口率は約21％となった。

試作したプロトタイプチップでは、シリアル選択方式およびパラレル選択方式双方による画像検証において、毎秒60フレームでの切り出し出力が可能であることを確認した。さらに、高速ランダムアクセスに適しているシリアル選択方式を用いた検証により毎秒330フレームでの選択出力動作が可能であることを確認した。また、画素回路を使用したテストにより、サンプル＆ホールド回路において多眼動画像処理システムにおいて想定される1フィールド期間である16.7msの適切なホールド動作を確認した。

ランダムアクセスイメージセンサを用いた第1のアプリケーションとしてセンサを16個用いた、4×4眼実時間LFRシステムのプロトタイプを試作した。イメージセンサのアドレスを制御するためのコントロール回路は単一のFPGAへ実装した。また、実時間LFRシステムにおける視点入力部はLinux上のXウィンドウシステムを用いるグラフィカルユーザインターフェースを作成した。このシステムによる実空間物体の任意視点画像合成実験では仮想視点位置の入力から、レンダリング結果の提示までの全てのプロセスを毎秒60フレームにおいて実時間処理可能であることを確認した。ランダムアクセスイメージセンサを使用して画素を局所的に読み出す方式では、プロセッサ負荷を軽減して、高速な処理が可能である優位性を確認した。

ランダムアクセスイメージセンサを用いた第2のシステムとして、複数動物体の同時追跡システムを実装した。広いエリアをモニタリングする際、従来のモータ制御によるパン-チルト-ズームカメラを使用した場合、視点の切り替えに要する時間が長く一度の一つのオブジェクトしか追跡することができなかったが、このシステムではスタティックなカメラアレイによる高速な視点切り替えにより複数物体の同時追跡可能になる。カメラアレイが持つ幾何的、光学的歪の補正のため、予め被写体平面近くで撮影したキャリブレーションボードの歪測定から変換行列を求め、以後の処理でこの補正値を使用した。背景差分を基本とする動物体追跡のアルゴリズムでは、連続領域の大きいものから順に優先度をつけてユーザに提示する構成とした。実験により、被写体平面上で反対方向に動く2つのオブジェクトを同時追跡させて毎秒約5フレームの速度が得られることを確認した。

容量選択型可変感度イメージセンサ

今日のリニア応答型イメージセンサを用いたシステムでは、不足するダイナミックレンジを補うために、フレーム毎に均一な感度制御をおこなうが、同一フレーム中に高輝度、低輝度混載のシーンでは、適切な露光条件を設定できない場合がある。同一フレーム内に複数の感度を持つ画素を混載させる可変感度イメージセンサでは、画素毎に感度の異なるフィルタを配置した場合と同様な、時間方向の処理を行わない広ダイナミックレンジ化が達成できる。単純かつロバストな感度の変更方式として、画素内キャパシタの選択によりフォトダイオードの等価容量を増減させる方式を採用した。さらに設計した回路をもとにCMOS0.6μmプロセスでレイアウト設計を行い、200×200画素からなるプロトタイプを試作した。三層メタルのプロセスで、画素ピッチは20μm、開口率は約24％となった。

容量選択型可変感度イメージセンサの直線応答領域において、低感度側が高感度側に比べ電圧値で-6dBの感度であることを実験により確認した。さらに、PC上のソフトウェアによるオフライン処理により、プロトタイプイメージセンサの各行の感度をアクティブに制御し、従来型のフレーム内均一制御では適切な露出設定ができない広ダイナミックレンジシーンにおいて、明領域、暗領域双方に適した露出で撮像が可能であることを確認し、本センサの優位性を示した。

画像処理システムにおいて、露光時間という大局的なコントロールしか受け付けなかった従来のイメージセンサに対し、局所的な感度制御機能または局所的な読み出し制御機能を付加する事で画像処理システム全体のパフォーマンス向上が可能であることを明らかにしたことが、本論文の主たる成果である。

本論文は、「高機能イメージセンサによる多眼動画像処理とダイナミックレンジ拡大に関する研究」と題し、15章よりなる。イメージセンサは、画像情報処理システムの入り口であり、センサに付加的な信号処理回路を加えた高機能化を図ることにより、画像情報処理システム全体の機能、性能を大きく向上させることができる。本論文では、イメージセンサに局所的な制御構造を導入することによる高機能化を行うとともに、そのセンサを用いたシステム構築を行った。まず、高速に読み出しのためのアクセス制御を行うランダムアクセスイメージセンサを設計、試作した。そのセンサを用いた多眼動画像処理システムを構築し、実時間でのイメージベースレンダリング（IBR）や広角視と詳細視を両立できるサーベイランス用カメラシステムを構築し、検証している。さらに、ダイナミックレンジの拡大のために、画素内キャパシタンスの局所制御により、画素ごとに感度の切り替えが可能な容量選択型可変感度イメージセンサを試作し、その評価を行っている。

第1章は「序論」であり、本論文の目的、論文の構成について述べている。背景となるイメージセンサへの様々な要請についても論じている。

第2章は「高機能イメージセンサ」と題し、イメージセンサに画像処理機能を統合する高機能イメージセンサに関して、その概要を紹介するとともに、研究動向について述べている。一般的な画像処理システムと対比することで、撮像面上での処理の意義を論じている。

第3章は、「ランダムアクセスイメージセンサによる実時間LFRシステム」と題する。IBRの一つであるライトフィールドレンダリング（LFR）は、多数の取得画像から任意視点の画像を合成するための手法である。多くの画像を必要とするため、実時間処理のためには、カメラの台数に比例した入力のための帯域が必要となるため、実時間処理が困難とされてきた。これに対して、読み出しの局所制御を有するランダムアクセスセンサを導入することで、レンダリングに必要な画素のみ効率的に取得することで実時間可能なシステムの構築が可能であることを提案し、そのためのシステムの設計指針について論じている。

第4章は、「ランダムアクセスイメージセンサの設計と試作」と題し、ランダムアクセス制御を行うイメージセンサの設計と試作について述べている。設計したセンサは、制御方法として、パラレル選択とシリアル選択を有している。汎用のCMOSプロセスにて試作した128ｘ128画素のプロトタイプセンサの設計、動作について述べ、回路の詳細を紹介している。　

第5章は、「ランダムアクセスイメージセンサの評価」と題し、試作したセンサの評価を行い、特性を明らかにしている。毎秒60フィールドというTVレートに対し、十分に高速なランダムアクセスが行えることを確認している。

第6章は、「実時間LFRシステムの設計と試作」と題し、ランダムアクセスイメージセンサとして試作したプロトタイプによる4ｘ4のカメラアレイの設計、試作の詳細について述べている。FPGAにより構築したセンサアレイのための制御回路、PCとのインタフェース、視点変更のためのユーザインタフェースについても述べている。

第7章は、「実時間LFRシステムの評価」と題し、試作システムによる実時間にての任意視点画像の取得、合成の評価を行っている。視点位置の入力から合成画像の出力までを十分にTVレートで行えることを示した。すべての画像を取り込み計算機内で画素を選択合成する従来手法に比して、提案手法は、センサ面上での選択読み出しを行うことで、極めて効率的に実時間処理に対応できることを実証した。

第8章は、「ランダムアクセスイメージセンサによる複数動物体の同時追跡システム」と題する。先に、試作したセンサアレイを用いて、広角視と詳細視を同時に可能とする物体追跡を行うサーベイランスシステムが実現できることを提案し、従来のサーベイランスシステムとの対比を行っている。

第9章は、「複数動物体の同時追跡システムの設計と試作」と題し、センサアレイを物体追跡に用いるためのキャリブレーション、広角視画像と詳細視画像の生成のためのカメラアレイの制御、動き検出について論じている。

第10章は、「複数動物体の同時追跡システムの評価」と題し、平面的な対象に限定しての実験を行い、間引いた広角視画像での表示、背景差分による動きの検出、動物体の詳細表示とLFRによる滑らかな追跡ができることを実証した。

第11章は、「可変感度イメージセンサによるダイナミックレンジ拡大」と題する。まず、従来からのダイナミックレンジ拡大のための方策について論じる。そして、センサの画素の感度を局所的に制御する手法を提案し、その特徴を従来の方策と比較している。

第12章は、「容量選択型可変感度イメージセンサの設計と試作」と題する。可変感度イメージセンサを実現するために、画素内に付加的なキャパシタンスを持たせ，局所的にそれを増減させることで画素の感度を制御する方式を考案した。感度の切り替え情報を保持するメモリをセンサ面上に併せて有する200x200画素のプロトタイプを設計し、試作した。

第13章は、「容量選択型可変感度イメージセンサの評価」と題し、提案する可変感度センサに関して画素部分回路の検証とセンサの検証実験を行い、設計どおりにダイナミックレンジが拡大していることを確認した。

第14章は、「広ダイナミックレンジ撮像システムの実装と評価」と題する。容量選択型可変感度イメージセンサに周辺回路を用意し画素値からその制御信号を生成しセンサへフィードバックすることで、適切な感度での撮像を行うことができることを検証した。

第15章は、「結論」であり、論文での成果をまとめ、残された課題を提示している。

以上これを要するに、本論文では、局所制御を行う2つの高機能イメージセンサを提案しそのシステム化を行った。高速に読み出し位置制御を行うイメージセンサを考案し、それを用いて多眼動画像処理システムを構築し、従来困難であった実時間IBRや動物体の効率的な追跡を行うサーベイランスが行えることを示した。また、感度の局所制御を行う容量選択型可変感度イメージセンサを考案し、撮像のダイナミックレンジ拡大が行えることを示した。本論文で論じた高機能センサとそのシステムは、将来の画像工学の発展へ寄与することが期待され、基盤情報学への貢献が少なくない。

従って、博士（科学）の学位を授与できると認める。