画像は多くの内容を含むメディアであるが、一方構造化されていない生の形のままでは情報検索の対象として扱いにくいメディアでもある。しかし大量の画像を蓄積した画像データベースをより有効に活用するための強力な画像検索手法として、画像内容に基づいた検索(Content-based Image Retrieval)が注目されるている。この検索手法は画像内容を検索キーとして指定することにより、そのキーが含む内容をもつ画像を検索する手法である。このような手法を実現する一つの方法は、個々の画像内容を記号的に抽象化された内部表現-コンピュータにとって扱いやすい-に前もって変換しデータベースに蓄積しておく方法である。本論文ではこのようなアプローチに基づき、画像内容の抽象表現としてグラフ構造という抽象的な画像表現モデルを用いて個々の画像を記述する。さらにグラフ間の類似測度にユーザの検索意図を反映させることにより、「ユーザの検索目的からみて」内容が類似した画像を検索できる、柔軟な類似画像検索システムを構築する。ここで本論文が扱う画像内容とは、グラフ構造として表すことができる画像中の領域の特徴または領域関係の特徴を指すものとし、これは数値的な情報と記号的な情報の両方を含む。

　従来の画像データベースでは、画像に前もって付与されたテキスト情報が画像内容を表現する検索キーとして用いられてきた。しかしこの方法の最大の欠点は、キーワードの付与処理に人手の介在を必要とするという点にある。つまり大量の画像を一括して処理し蓄積するような場合には適さない。また定量的情報の表現にもキーワードは弱いという欠点もある。そこで本研究では人手を介さない自動的な処理によって、画像内容を画像表現モデルに抽象化することを基本的な方針とする。この過程は何段階もの処理から構成される複雑な構成となるため、その階層的な処理の方法論として6層からなる階層モデルを提案する。この階層的なモデルによって類似検索問題の構造がより明確となり、さまざまな問題領域への類似画像検索システムの応用がより簡単になる。以下に本論文が土台としている図1の階層モデルに沿って、本論文の構成を説明する。

表1:本論文で用いる、画像検索システムの階層的モデル。

　観測レイヤ このレイヤはセンサを通して物理世界を観測し、画素値配列としての画像を取得する段階を指す。本論文では画像の取得の問題については触れず、すでに得られた画像をいかに画像データベースに蓄積するかという点に問題を絞る。

　画素レイヤ 画像を注目領域と非注目領域に分割したり、複数のまとまりのある領域に分割したりすることで、どの画素がおおよそどの分類クラスに属するかを決定することが目的である。この処理は基本的に画素単位であり、画素の濃度値を情報として用いる。本論文では、リモートセンシング画像のように物理世界の性質がある程度既知の場合には、その統計的性質を用いた画素単位の分類手法を提案し、一方統計的性質が複雑なその他の一般の自然画像に対しては、濃度ヒストグラムの形状を利用した領域分割手法を応用する。特にリモートセンシング画像の場合としてミクセルを考慮した統計的分類法を提案し、従来の研究では考慮されなかったミクセル分布の存在を仮定することによって新しい考え方の分類手法を提案する。

　領域レイヤ 下層の「画素レイヤ」でおおよそ分割された画素集合、すなわち領域に対して、その構造や特徴量を計測することが目的である。パターン認識手法で用いられる形状特徴量などが最も単純な出力表現であるが、領域の構造を捉えたい場合にはさらに複雑な処理、例えば形状分解(領域に基づいた方法)や多角形近似(輪郭線に基づいた手法)などの手法を適用する必要がある。本論文では基本的に形状分解の手法を用い、領域の構造を出力表現とする。この方法は従来のようなシルエット画像の他に、濃淡画像に対しても直接に形状分解を適用することを可能とした。またエネルギ関数や関数形の変更によって柔軟な形状分解が可能となるところに大きな利点がある。

表2:本研究で用いた手法と階層的モデルとの対応関係。

　関係レイヤ 下位レイヤで得られた種々の画像特徴を1つの画像表現モデルに統合し、画像全体をこのモデルで統一的に記述することが目的である。このとき、下位レイヤで得られたプリミティブ間の関係を、どのようにモデル化し計算するかが課題である。もし領域間やプリミティブ間に隣接関係が定義できればそれが最も単純な関係となるが、必ずしも隣接していないプリミティブ間にも、何らかの遠隔作用をモデル化した関係を定義することができる。本論文では物理的なアナロジーに基づいたモデルと隣接関係を主として用いる。またその出力表現としては、モデリング能力に優れたグラフ構造を用いる。このレイヤに至って、画像全体は階層化属性つき関係グラフという一つの画像表現モデルで統一的に記述できる。

　認識レイヤ 得られた画像表現モデルを用いて画像間の類似度を計算することが目的である。この画像間類似度は画像表現モデルに依存の類似測度となるが、本論文で画像表現モデルとして用いるグラフ構造の類似度はグラフマッチングコストとして計算できる。このグラフマッチングは計算量が大きい問題であることから、その高速化はこのレイヤの重要な課題である。最大許容コストやヒューリスティック関数の導入などという種々の試みにより、このマッチングを高速化することができる。

　理解レイヤ ユーザの検索目的を類似度に反映させることで柔軟な類似画像検索を実現することがこのレイヤの目的である。ユーザの検索目的を柔軟に反映させるための方法として、本論文では教師付き学習をおこなう。すなわち人間が類似画像として与えた教師データを類似検索結果が最適に反映するように、検索パラメータを最適化させる問題を解く。この最適化問題の解法として、人為選択法を応用した遺伝的アルゴリズムを用いた。この手法で検索パラメータを最適化した結果、人間が前もって選んでおいた(主観的)類似画像を上位に類似検索することができる。

　以上に説明した階層モデルによって類似検索問題の構造を明確化し、問題領域に応じた画像検索システムの構成を統一的に扱う。本研究では以下の3種類の画像データベース-NOAA衛星雲画像データベース(二値画像)・GMS衛星雲画像データベース(濃淡画像)・自然画像データベース(カラー画像)-を対象とし、それぞれの問題領域に応じた類似画像検索システムを構築した。各類似検索問題で具体的に用いた手法を、階層モデルに基づいて整理した表を表2に示す。下層レイヤでは問題領域に応じた手法を用いるが、関係レイヤの出力表現である階層化属性つき関係グラフに至ってどの対象画像も共通の表現に変換される。

図1:NOAA衛星雲画像の類似検索結果。(a)例示画、(b)163枚の画像の中から上位に検索された画像。

　ここではNOAA衛星雲画像を対象とした場合の類似画像検索結果のみを示す。類似画像検索は図1(a)の画像を例示画としてシステムに提示し、システムがこの例示画に類似した画像を検索するという方式でおこなった。この場合の検索パラメータは13個である。最適化したパラメータを用いた類似検索結果を図1(b)に示す。次にこの類似検索結果を評価する。検索精度の面からは、図1に検索された上位6枚の画像は、いずれも人間(被験者10人)が前もって選んだ類似画像(29枚)に含まれていた。特に3番目の画像は最も似ていると判断された画像である。このように検索パラメータの自動的な最適化によって、システムは例示画に類似した画像を検索することができた。

　最後に本論文をまとめる。本論文は画像内容に基づいた柔軟な類似画像検索システムの構築を主題とし、問題領域を異にする画像データベースを統一的に扱う方法論として階層モデルを提案した。そして3種類の画像データベースを構築し類似画像検索をおこなったところ、人間が前もって選んでおいた(主観的)類似画像を、類似画像として検索することができた。このことは、本論文が用いた画像表現モデルおよびさまざまな手法が有効であったことを示唆している。本論文が扱った主題は今後のマルチメディア社会において画像情報を有効活用するための重要な技術である。また本論文が構築した柔軟なデータベースは、人間により密着した技術としての感性情報処理の発展にも結び付くプロトタイプであると考えている。

　本論文は,「領域・空間情報を表現するグラフ構造を用いた類似画像検索」と題し,例示画に類似した画像を検索できるような高度な画像データベースを構築することを目的として行った一連の研究を纏めたもので,11章よりなっている。

　第1章は「序論」で,本研究の背景について述べ,本研究の目的を明らかにすると共に,本論文の構成について述べている。

　第2章「本研究の対象画像および本研究が用いるモデル」では,本研究で画像データベースとする対象画像について簡単に述べ,画像データベース構築の方法論として用いる6層の階層モデルを紹介し,各階層について,それぞれの処理の目的とその内容について纏めている。

　第3章「L型やJ型・U型の形状をもつミクセルの面積占有率密度」では,1画素の中に複数の分類クラスを含むミクセルにつき,ミクセルの内部で各分類クラスが占める面積占有率密度を計算する手法を述べ,必ずしも一様分布とはならないことを示している。

　第4章「期待値に基づいたミクセルの面積占有率の推定」では,ミクセルを確率的なモデルとして捉え,ミクセルの面積占有率を期待値に基づいて計算する手法を提案している。

　第5章「ミクセル密度を含めた混合密度推定と統計的な画像分類への応用」では,前の2章で提案した手法を応用しながら,ミクセル集合が形成するミクセル密度という新しい密度を提案し,この密度を含む混合密度推定によってミクセルを含む画像を画素単位で分類する手法について述べている。

　第6章「領域に基づいた変形モデルを用いた形状分解」では,画素単位で分類した結果を同一の分類クラスに属する領域単位へと拡大し,領域単位で特徴量を抽出するため,2値画像と濃淡画像のいずれに対しても適用できる形状分解手法を提案している。

　第7章「引力モデルを用いた群化と階層化属性付き関係グラフの構築」では,それまでに抽出された領域を階層化属性付き関係グラフ構造に構造化する手法を提案し,画像はグラフ構造に変換され,そのグラフ構造は領域・空間情報を表現したものとなることを述べている。

　第8章「A^*アルゴリズムを用いたグラフマッチングによる画像検索」では,類似画像検索において検索キー画像と蓄積画像との類似度を計算するためには,階層化属性付き関係グラフのマッチングを高速化する必要があることを述べ,その手法を提案している。

　第9章「人為選択法に適した遺伝的アルゴリズムを用いた類似検索規準の学習」では,柔軟な類似検索システムを構築するために,ユーザにより異なる検索目的を類似検索に反映させる機構として,遺伝的アルゴリズムを用いたユーザの類似検索基準を学習するシステムを提案している。

　第10章「類似画像検索」では,NOAA衛星雲画像データベース(2値画像),GMS衛星雲画像データベース(濃淡画像),自然画像データベース(カラー画像)の3種類の画像データベースを対象とし,類似画像検索システムを構築して,類似検索の実験を行い,階層モデルは画像データベースを様々な問題領域に適用する際に問題の構造を明らかにする方法論となり得ること,又,グラフ構造を用いた類似画像検索により形状・空間情報を活用した類似画像検索が可能であるという結果を得ている。

　第11章は,「結論」であって本研究の成果を纏めている。

　以上これを要するに,本論文は画像内容に基いた柔軟な類似画像検索システムを構築するために,階層モデルに基き,その要素技術を画素レベルから抽象レベル迄検討し,混合密度推定問題,階層化属性付き関係グラフのマッチングの高速化等の提案を行い,類似画像検索システムを構築し,実験を行ってその有効性を確認する等,画像処理技術の進展に寄与するところが多大であり,電気・電子工学に貢献するところが少なくない。

　よって本論文は博士(工学)の学位請求論文として合格と認められる。