センサネットワークにより,人間の生活を支援する研究はさまざまな形で行われているが,イメージセンサは直観的な情報取得が可能であるという点で,もっとも重要な情報取得手段の1つとして挙げられる.その反面イメージセンサは,センサネットワークによく使われている1次元のセンサと異なり,情報量が多く,同期を含む高度なコントロールが要求されることや,センサの数が増えるにつれて情報量が増加し,それに伴うデータ転送や処理の問題がネットワーク部を含むシステム全体に影響を与えることが予測されるため,多数のイメージセンサで大規模のネットワークを構築するのは,容易でないと考えられる.しかし,大規模な画像センシングは,多数のイメージセンサを用いることで,1つもしくは少数のセンサでは得られない広い範囲に渡ってのデータ収集が可能になり,より効果的に正確な情報分析が行えると考えられるため,活発に研究が行われている.

　近年注目を浴びているスマートセンサは,撮像面上における画像情報の2次元性を直接利用することで,高速並列処理及びセンサレベルでの情報量の削減が可能であり,ネットワークとシステムの資源を同時に節約できるため,大規模な画像センシングにおける有効な対策の1つと考えられる.そこで本論文では,多数のイメージセンサを用いてネットワーク画像センシングを行うとき,サンプリング可変スマートイメージセンサを用い,センサ群に対し選択的な動的サンプリングコントロールを行い,伝送効率を上げるとともに2次元情報である画像信号を1次元に走査・伝送する従来のシステムの形態では充分に対応できない高解像度および高速撮像のイメージセンサを用いる場合にも対応出来るようなシステム作りを目指している.主な研究の成果は次のようである.

(1)　センサからの伝送についての提案

　センサとしては,CMOSタイプの撮像素子にサンプリング位置や空間解像度の制御機能を加えた,空間可変サンプリングスマートイメージセンサを採用している.プロトタイプセンサの解像度は128x128グレースケールで,サンプリングポジショニング用のメモリを動的に書き換えることで,選択された画素だけを読出すことができるような機能を持っているので,次のようなシステムも可能となり,その現実的な利用を検討している.センサからのデータを削減するために本システムで使われている主な伝送形態は次の2つである.

・　空間解像度制御:興味のある部分(例えば,動きのある部分)を検出し,その部分には高い解像度を,その周辺には低解像度を与え動的に空間解像度を制御することができる.解像度の値はセンサからの画像データをもとに動的に変えられる.

・　時間解像度制御:選択した部分は常に出力し,周辺は定められたフレーム毎に画素を選択して出力するなどして動的に空間解像度を制御することも可能である.

(2)　ネットワーク画像センシングのためのプラットフォームの試作

　本システムに使われているセンサの出力は,アナログ信号であり,ネットワーク対応のインタフェースを作るためには,AD変換をはじめサンプリング制御信号発生装置,動的なサンプリング制御用プログラムを組込むためのメモリなどが必要となるため,ネットワークインタフェースを含むプロトタイプセンサノードを試作した.OSとしては,Flash Memory(32M)に組込まれているNetBSDでユーザー登録などのセンサノードのリモート管理を行っている.CPUはSH4 RISCチップ(167Mhz)を使い,ノード全般の制御や簡単な画像処理を行っている.スマートセンサコントロールのための信号パターンを作るプログラムは,ノードが起動するたびFPGAにロードされるので,プログラムを書き換えれば別のスマートセンサにも対応できる.すべてのセンサノードはIPアドレスで管理され,どこでも必要なセンサがアクセスできる.そして,IPアドレスを与えるだけで簡単にセンサを増加することができる.本システムは柔軟なスケーラビリティを持っているため,多数のイメージセンサにより広い視野が得られるため,さまざまな分野で応用できる.

(3)　ネットワーク画像センシングシステムの試作

　センサノードとホスト間の通信は,クライアント/サーバーモデルに基づいたネットワークプログラミングがベースになっている.センサノードはホストからの要求に応じて,センサからの画像データに選択された部分の空間情報やサブサンプリングレートに関する補助情報をヘッダーとして付けてホストに送るようにプログラミングされている.(1)で述べた時間解像度制御もセンサノードで行われている.ホストはセンサノードで時間的・空間的に制御された画像データを受信し,ヘッダーに基づき再構成する.複数のセンサからの画像ストリームはマルチスレッドとして扱われている.センサからのデータは同時モニタリングが可能であり,そのデータは第二次貯蔵媒体(例えば,ハードディスク)に貯蔵され,必要なとき興味のあるオブジェクトの空間的・時間的分析が行われる.

(4)　空間的・時間的イベント検出への応用

　画像データから興味のあるオブジェクトを探し出し照合する従来の方法は,多数のセンサからの多量のデータをそのまま扱うため,システムの効率の面から見ると望ましくないと考えられる.本システムは伝送・貯蔵のときともに,選択されたオブジェクトの部分だけを主に扱うため,ヒストグラム照合などの分析に効率的な手段を提供している.レファレンス及テンプレート画像を入力することで,貯蔵されている画像データから適切な画像だけを探し,ある時間の間で発生したイベント(例えば,ある人物の動いた軌跡)の観察ができ,あらかじめ用意されたマップの上に簡単なサイトモデリングも可能である.すべての操作はGUIによって行われる.

　ブロードバンド時代に向けて,超高速通信のための情報インフラの構築が着々に進んでいるが,ネットワーク資源の効率的な利用は,情報量の爆発が問題になっている今はもちろん,ネットワーク資源が無限に使えるものではない限り,この先でも重要な課題の1つであると予測される.本研究はまだ始まったばかりの研究で,実用的に使えるシステムとしては,ハードウェア−・ソフトウェアーともに補完すべき点もたくさんあるが,本研究の続きとして1つずつ解決しなければならない.

本論文は「A Study on Networked Image Sensing Using Smart Image Sensors(スマートイメージセンサを用いたネットワーク画像センシングに関する研究)」と題し、英文でかかれており、7章よりなる。イメージセンサは画像情報という直感的な情報の取得手段として最も重要な役割を果たしてきた。今後、ネットワーク化の進む社会において、イメージセンサを大量にネットワークに繋ぎ広範囲な画像情報を取得し、効果的に正確な解析を行う大規模な画像センシングも行われることになろう。本論文では、多数のイメージセンサからネットワークを介してリアルタイムで情報取得を行うための提案として、スマートイメージセンサを用いた効率的な通信と処理を実現する方策を論じている。

第1章は、「Introduction」であり、本研究の目的について述べ、ネットワーク化イメージセンサにとっての重要な課題を明示するとともに、本論文の構成について述べている。

第2章は、「Background and Related Work」と題する。複数のカメラからの情報を利用する画像処理技術の応用について述べるとともに、関連研究としてネットワーク越しに複数のカメラからのデータを取得するシステムとして研究されている事例について紹介している。

第3章は、「Networked Image Sensing by SVS Sensors」と題する。多数のイメージセンサを用いた大規模な画像センシングを実現するための課題として、センサと処理システム間の伝送のボトルネックが重要な問題であることを述べている。センサからの画像情報を効率的に削減する手段として、高機能センサを用いることを提案している。高機能センサとして、画素の選択的な読み出しを行う空間可変サンプリングイメージセンサ(SVSセンサ)を紹介している。そのSVSセンサを用い、センサ面上で解像度を空間的、時間的に動的に変化させ情報の削減を行う手法を論じている。さらに、センサ側で動領域を検出し、伝送情報を大幅に削減する手法も論じている。センサ面上での読み出し制御という簡単な手法ながら、実写画像を用いたシミュレーション実験にて、効果的に伝送情報量を制御できることを示している。

第4章は、「Development of Sensing Platform」と題する。イメージセンサのネットワーク化を行うにあたり、スマートセンサを制御し、センサとネットワークのインタフェースとなるプラットホームの試作について述べている。センサの制御はFPGAで行い、読み出した必要なデータはAD変換をへて所望のホストへとインターネットを介して送信される。プラットホームは低コストなCPU(SH-4)も有しており、簡単な動領域の検出もセンサ側で行うことができる。FPGAによるセンサの制御は、FPGAのプログラムを変えることである程度汎用に利用することができる。

第5章は、「Prototype System for Networked Image Sensing」と題する。4章で論じたプラットホームをセンサノードとして用い、その複数からTCP/IPネットワークの下でホストコンピュータへ画像データの送信を行う実験システムの構築について論じている。現在の実験系では建物の廊下に配置した10程度のセンサノードからの画像取得を行っている。ホストコンピュータとの間のデータ送信について詳述し、また、ホストにて画像を表示する仕組みも実現している。

第6章は、「Spatial/Temporal Event Detection」と題し、大規模センシングにより取得した画像情報を利用した処理について論じている。時間的、空間的に広い範囲から得られる画像を集約して利用することにより、ある場所での特定の時間のイベントを空間的に追いかけるといった新しい応用について論じ、ヒストグラムマッチングを用いる基礎的な検討を行っている。

第7章は、「Conclusion」であり、本論文の成果についてまとめている。

以上これを要するに、本論文では、分散配置した多数のイメージセンサから広範囲な画像情報を取得するという大規模な画像センシングの問題を論じ、その有効な提案として、スマートイメージセンサを用いた効率的な通信と処理を実現する方策を論じている。空間可変サンプリングを行うイメージセンサを用い、ネットワーク化のためのプラットホームを試作し、複数のイメージセンサからの情報の効率的な伝達の実験システムを構築した。また、複数のイメージセンサからの情報をもとに時間空間的に異なる同一イベントの検出についても論じている。本論文で論じた新しい大規模センシングの手法は、将来の映像の高度利用に寄与することが期待され、電子情報工学上貢献するところが少なくない。よって本論文は博士(工学)の学位論文として合格と認められる。