イメージセンサは、画像処理システム全体の品質や性能を左右する重要な役割を担っている。従来の、画像処理システムでは、撮像、伝送、処理部に完全に分離しており、2次元情報である画像信号は1次元に走査・伝送後、1次元あるいは2次元処理される。このため、撮像素子の高解像度・高速度化に伴い、瞬時処理の要請に対し、従来のシステム形態では充分対応することはできない。

　撮像面上に直接処理機能を統合する高機能イメージセンサが、上記要請への実現の一手法と考えられる。処理機能の統合により、撮像面上における画像情報の2次元性を利用した高速並列処理を行なうことができる。撮像面上での並列処理を行い、後段で必要とされる情報のみを出力することにより、データ転送量を削減し、後段プロセッサの負担の著しい軽減が可能である。

　本論文では、単に撮像面上での画像処理の実現ではなく、イメージセンサそのものの撮像性能の向上を目的とした、2つのコンピュテーショナルセンサについて論じる。動画像圧縮センサは、撮像面上に画像圧縮回路を統合することにより、高精細あるいは高フレームレート撮像を可能にするセンサである。一方、動き適応センサは動きに適応して画素毎に蓄積時間を制御することにより、高画質および広ダイナミックレンジ化を可能にするセンサである。本論文では、提案する2つのイメージセンサの処理原理を述べると共に、その評価をシミュレーションにより行なった。また、実際にそれぞれのプロトタイプを試作することにより、動画像圧縮センサおよび動き適応センサの有効性とその性能を確認した。

　提案する2つのセンサのプロトタイプの設計に際しては、列並列処理構成を用いた。列並列処理構成は、チップをセンサ部、メモリ部、処理部に分離して配置し、処理部を列毎に共有する構成法である。このような構成をとることにより、処理速度をわずかに犠牲にするものの、イメージセンサに画像処理回路を付加したことによる、開口率の低下や消費電力の大幅な増加を回避できる。すなわち、イメージセンサの撮像性能を通常のCMOSイメージセンサと同等に保つことが可能である。また、総トランジスタ数が大幅に削減されることから、多画素化の実現も期待できる構成法である。以下、動画像圧縮センサと動き適応センサの概要と主たる成果を述べる。

動画像圧縮イメージセンサ

　従来のイメージセンサは、一定間隔で光電変換し蓄積された全ての画素情報を、決められたタイミングにて順に出力する。しかし、イメージセンサの高精細、高速度化に伴い、実質的な画素情報の読み出し速度が増加するにつれ、読み出し・伝送部においてボトルネックが生じ、従来の全ての画素情報を順に出力するという読み出し形態では、充分対応できなくなっている。動画像圧縮センサは、既存のイメージセンサとは異なり、出力する画素情報をセンサ上で直接圧縮することにより、高レート化に伴う読み出し・伝送部のボトルネックの解消を目指した、新たなコンピュテーショナルセンサである。

　動画像圧縮センサの実現に当たっては、図1に示す条件付き画素補充方式を採用した。具体的には、メモリ内の画素値とフォトダイオード内の現画素値を比較し、その差が閾値以上の時のみその画素値とアドレス情報を出力し、メモリ値を現画素値で更新する。条件付き画素補充方式は、画素毎に完全な並列処理が可能であり、隣接画素の情報を必要としないため、小規模なアナログ回路で高速動作が可能である。

　高速撮像により取得された動画像を用いてシミュレーションを行ない、以下の結果を得た。

　・可変レート符号および定レート符号化が実現し、容易に再構成できる。

　・出力画素数を、動きが一部の画像では約1〜2%、動きが全体にわたる画像でも約20%とすることで、35dB程度の画質を得ることが出来る。

　・フレームレートが高くなるにつれ、動き量そのものが減少し、圧縮効率が大幅に改善される。

　列並列処理構成の動画像圧縮センサの回路設計を行ない、プロトタイプを試作した。試作には、CMPの1.0mCMOSプロセスを利用した。表1に、設計したプロトタイプの仕様を示す。センサ部のトランジスタ数は3個で、開口率は38.5%となり、比較的大きなアナログ処理回路を必要とするにもかかわらず、従来のCMOSイメージセンサと同等の性能を確保できた。また、消費電力も50mWに抑えられ、多画素集積化が可能であることが確認できた。

　さらに、プロトタイプの実験システムを作成後その性能を評価し、以下の結果を得た。

　・毎秒450フレームでの撮像下で完全に動作し、高品質な画像再生が可能である。

　・一画素からなる試験回路の実験により、毎秒10000フレームでの高速撮像の能力を有する。

　・一行の処理は、2秒にて完了する。

図1:Description of coding algorithm in each pixel by conditional replenishment

動き適応イメージセンサ

　情報入力部であるイメージセンサは、画像処理システム全体の画像品質を大きく左右する。センサ部における画質劣化を、後段の画像処理により大きく回復することは本質的に困難である。通常、イメージセンサは毎秒30フレームといった、定フレームレートで動作しており、高速に移動している物体に対する動きぼけや、一部が非常に明るい物体に対する飽和等の原因となっている。このような劣化は、画像符号化等で重要となる動き量の評価を困難にし、色情報を破壊することになり、画像処理によりその劣化を回復することは極めて困難である。本論文で提案する動き適応センサは、撮像面上に直接画像処理回路を統合することにより、画像の高品質化を目指す新たな試みである。動き適応センサでは、単に高速フレームレートで撮像を行うだけではなく、画素毎に開口蓄積時間を直接制御する事により、画像の強調と広ダイナミックレンジ化を図ることができる。

　図2に動き適応センサの処理を示す。動き適応センサは、画素内に動き検出および飽和検出機能を有しており、動きボケかつ飽和の無いという条件下で、画素毎に最適な蓄積時間により撮像を行う。より具体的には、動き領域では最小蓄積間隔で画素信号を出力し、静止領域ではフォトダイオード上の信号電荷が飽和閾値を超えるまで蓄積した後、その信号を出力する。背景などの静止領域においては、時間的な平滑化処理を撮像面上で行った事になり、高フレームレート化に伴うショット雑音等のランダム性雑音が平滑化され、大幅に画質が改善する。また、単に高フレームレート撮像と比較すると、静止領域における平滑化により副次的ではあるが圧縮効果を有する事になる。動き適応センサでは各画素毎に蓄積時間が異なる上、その最小蓄積時間は非常に小さいので、出力画素値をその蓄積時間で正規化することによって、広いダイナミックレンジを持つ画像を得ることができる。

　雑音を重畳した画像により動き適応センサの原理の評価を行ない、以下の結果を得た。

　・蓄積時間を制御することにより、約6dBから7dBの画質改善が得られる。

　・単なる高速撮像センサと比較し、20%程度の画素情報を出力すれば良い。

　・通常のイメージセンサの40倍以上のダイナミックレンジを実現できる。

図2:Description of processing in each pixel of the motion adaptive sensor表1:Outline of the prototypes of two proposals

　動き適応蓄積時間に基づく、提案センサの回路設計とプロトタイプの試作を行なった。動き適応センサのプロトタイプの実現に際しても、列並列処理構成を用いた。CMOS1mルールで設計したプロトタイプの仕様を、表1に合わせて示す。動画像圧縮センサと比較し多少ピクセルピッチが大きくなったものの、撮像素子として充分な開口率と低消費電力を実現できることが分かった。また、各行の処理に2秒必要とすることから、512×512画素のセンサを設計したとすると最小蓄積時間を1m秒に出来ることを確認した。

　本論文では、以下の事を確認した。

　・動画像圧縮イメージセンサは高速、高解像度撮像を可能にする。

　・動き適応イメージセンサは高画質化、広ダイナミックレンジ化に大きく寄与する。

　よって、2つの提案センサがイメージセンサの高機能化に極めて有効であることが明らかとなった。

　本論文は,「撮像面上での圧縮・強調を行う高機能イメージセンサに関する研究」と題し,イメージセンサと信号処理を統合したコンピュテーショナルセンサという新しい画像処理の枠組みに対し,撮像機能の拡張という観点からイメージセンサの高機能化を論じている.高速ピクセルレートの撮像及び高ダイナミックレンジの撮像を可能とする動画像圧縮センサ,適応センサを提案し,その設計,試作,検証を行っている。

　第1章は,「序論」であり,論文の背景,目的,および構成が述べられている.

　第2章は,「コンピュテーショナルイメージセンサ」と題し,コンピュテーショナルセンサの基本的な概念を整理し,画像のセンシングと処理を統合する様々なアプローチの研究動向がまとめられている.

　第3章は「動画像圧縮イメージセンサ」と題し,センサ上での画像圧縮方式として用いる条件付き画素補充方式について論じている.時間方向への冗長性を利用する本方式により,イメージセンサとの統合が効果的に行えることを説明し、その特徴をまとめている.また,実際に高速撮像された動画像を用いたシミュレーションにより、可変レート出力および定レート出力時の符号化特性の評価を行ない,高速であるほど効果的であることを示している。

　第4章は「列並列処理構成による動画像圧縮イメージセンサの設計および試作」と題し,動画像圧縮センサの構成法を画素並列/列並列処理の観点から論じるとともに,列並列処理構成による動画像圧縮センサの新しいアーキテクチャを提案し,その回路設計,プロトタイプを示している.まず,回路設計について1画素分の処理回路およびセンサアレイの構造の詳細を論じている.また、圧縮出力のために必要とされる読み飛ばし機能付き水平シフトレジスタとアドレス情報の詳細についても論じている.さらに,再構成に必要とされる周辺回路についての説明も加えている.そして,プロトタイプチップの試作を示し、そのレイアウト設計について受光部、メモリ部、処理部に分けて論じている.列並列構成をとることで,受光面のFill Factorを高く保ち,消費電力を低く抑えることが可能となることを示している.

　第5章は「動画像圧縮イメージセンサの評価」と題し,まず、試作したプロトタイプチップの評価を論じている.プロトタイプチップの動作を確認し,圧縮出力動作の実験.画像再構成実験を示している.また、部分回路による評価実験も行い,フォトダイオードの光電変換特性や、処理回路の演算精度、周辺回路の高速動作、メモリ部の特性について述べている.さらに、1画素回路より、センサアレイ相当で毎秒10000フレームの動作を検証し試作チップの限界速度を明らかにしている。

　第6章は「動き適応イメージセンサ」と題し,センサ面上の局所適応処理により,時間解像度とダイナミックレンジを拡張する適応イメージセンサの提案を行っている.まず,画素ごとに独立に蓄積時間を適応させる処理原理を示し,動き領域では時間解像度を高く、静止領域では飽和限界までの蓄積を行うことにより時間解像度/ダイナミックレンジの拡張を行うことを論じる.シミュレーション実験により、この原理の確認を行っている.

　第7章は「列並列構成による動き適応イメージセンサの設計および試作」と題し,動き適応センサの列並列処理アーキテクチャによる実現を1画素分の処理回路とセンサ全体の設計構成について示し、その処理動作を詳細に論じている.また、動き適応イメージセンサの画像の再構成手法として即時処理と遅延処理の2つの方法を示している.受光部、メモリ部、処理部のレイアウト設計を論じ,試作プロトタイプチップの詳細を示している.

　第8章は「動き適応イメージセンサの評価」と題し,試作した動き適応センサのプロトタイプチップの評価を行っている。まず、プロトタイプチップを用いた評価実験により、低照度撮像時における飽和検出と動き検出の検証を行っている。次に,出力信号やフラグ情報を利用した画像の再構成を行ない、動き検出機能による時間解像度の拡張効果を確認している.また、高速撮像時において,蓄積時間の適応化による広ダイナミックレンジ化の評価を行っている.さらに,部分回路を用いた評価実験では、処理回路の演算精度や1画素回路の撮像性能、動き検出および飽和検出の動作、処理回路の動作速度限界に関する実験と考察を行っている.

　第9章は「結論」であり,本論文で得られた研究成果をまとめ、課題として残された問題点や今後の研究の方向性について述べている.

　以上要するに,本論文は,イメージセンサ上へ信号処理機能を統合することにより,高ピクセルレート撮像を可能とする圧縮イメージセンサ,時間解像度/ダイナミックレンジの拡張を可能とする適応イメージセンサを提案し,その列並列処理アーキテクチャによる実現を行い,試作プロトタイプチップによりその有効性を検証している.これらの成果は,撮像機能を拡張する新しいセンサ上での信号処理を実現するものであり、画像情報工学上貢献することが少なくない。

　よって,本論文は,博士(工学)の論文審査に合格と認められる.