インターネットの爆発的な拡がり,ブロードバンド化の進展により,社会活動のあらゆる局面で大量かつ多種多様な情報が創出,蓄積されている.これに伴い,大量かつ多種多様な情報の中から必要な情報を効率的に検索したり,それらの情報を解析したり,あるいは,その中に埋もれている有用な知識を発見するといった情報を活用するための基盤となる次世代検索・解析技術が注目を集めている.近年,特に,計算機処理能力の飛躍的な向上も相俟って,画像,音声,テキストなど多様なメディアが混在するマルチメディア・コンテンツの創出,蓄積も爆発的に増加しており,マルチメディア・コンテンツの検索・解析技術への期待が益々高まっている.

一般に,マルチメディア・コンテンツは,画像,音声,テキストなどのメディアが相互に関連性を持って混在する複合メディアの形態をとる.このようなマルチメディア・コンテンツの検索には,従来から,マルチメディア・コンテンツを構成する各メディアに人手でメタデータを付与し,あるいは,コンテンツ内のテキストをメタデータとして取り扱い,そのメタデータを対象としたキーワード検索により,所望のコンテンツを検索する手法が採られてきた,近年では,マルチメディア・コンテンツを構成する各メディアの内容に関する特徴を自動的に抽出し,その特徴に基づいて検索する手法(Content-Based Multimedia Information Retrieval),例えば,画像の色や形状などの画像特徴を用いる"内容に基づく画像検索手法(Content-Based Image Retrieval,CBIR)"の適用も進められている.

しかしながら,これらの検索手法は,ある特定の観点に基づいて付与あるいは抽出したメタデータを利用し,マルチメディア・コンテンツを検索するものであり,メタデータが画像の色や形状などの低次画像特徴である場合には,システムが抽出できる低次画像特徴と人間の検索意図である高次の意味概念との間のいわゆるSemantic Gapの問題が生じる.

本論文では,このSemantic Gapの解消を目指し,人間を積極的に検索および解析ループの中に取り込むことにより,人間とシステムとのインタラクションを通じて,互いの優れた能力を提供し,支援し合えるインタラクティブなマルチメディア・コンテンツの検索および解析手法を提案する.

具体的には,主に画像とテキストから構成されるマルチメディア・コンテンツを対象として,まず初めに,人間の視覚認識能力を最大限活用するためにシステムが何を支援すべきかを検討し,1) クロスメディア検索,2) 検索結果および検索過程の仮想三次元空間による視覚化,を特徴とするパノラミック検索手法を提案する.提案手法は,マルチメディア・コンテンツを構成する各メディアの特性および各メディア間の関連性を有効に活用し,コンテンツが画像とテキストで構成される場合には,画像による視覚的な検索とテキストによる意味的な検索とを兼ね備えた情報検索手段を提供する.また,検索結果としてのコンテンツ集合やインタラクティブな検索過程を仮想三次元空間上で人間に分かりやすく視覚化することによって,人間の視覚認識能力を活用した効率的な検索が実現できる.

次に,パノラミック検索手法の枠組みを,大量のマルチメディア・コンテンツからの知識発見を支援する解析手法の枠組みへと拡張し,画像群からの知識発見を支援するビジュアル解析手法として,パノラミック解析手法を提案する.画像群からの知識発見では,無数に定義できる視覚的特徴がある中で,有用な知識に関与する視覚的特徴を発見することが本質的な課題である.提案手法は,人間の視覚認識能力を有効に活用し,人間による知識発見を支援する立場をとることにより,インタラクティブに有用な知識に関与する視覚的特徴を見出すことが可能となり,応用の幅を拡げることができる.

さらに,人間とシステムとのインタラクションの一つとして,適合フィードバックを導入し,能動学習に基づく適合フィードバックの新たな手法を提案する.提案手法は,適合フィードバックの反復が少ない段階においても,人間の検索意図を反映した検索を効率的に実現できる.

本論文の主要な貢献は,マルチメディア・コンテンツの検索および解析に人間とシステムとのインタラクションを活用する三つの手法を提案したことである.具体的には,1) インタラクティブなマルチメディア・コンテンツの検索手法であるパノラミック検索手法,2) パノラミック検索手法を拡張した画像群からの知識発見を支援するパノラミック解析手法,3) 人間の検索意図に効率的に適合する能動学習に基づく適合フィードバック手法,を提案し,評価実験により,提案手法の有効性を確認した.また,これらの提案手法を適用した実システムを開発し,設計・製造,企業内情報共有の分野などの実応用においても提案手法の有効性を確認できた.

本論文は,「パノラミック検索モデルに基づくインタラクティブなマルチメディア検索および解析手法とその応用」と題し,全五章で構成され,大量かつ多種多様な情報の中から必要な情報を効率的に検索したり,それらの情報を解析したり,あるいは,その中に埋もれている有用な知識を発見するといったマルチメディア検索および解析技術とその応用に関する研究をまとめたものである.

第一章は,「序論」と題し,本論文の背景と目的を述べると共に本論文の構成が示されている.

第二章は,「パノラミック検索モデルに基づくインタラクティブなマルチメディア検索手法」と題し,主に画像とテキストから構成されるマルチメディア・コンテンツを対象として,人間の視覚認識能力を最大限活用するためにシステムが何を支援すべきかを検討し,1)クロスメディア検索,2)検索結果および検索過程の仮想三次元空間による視覚化,を特徴とするパノラミック検索手法を提案している.提案手法は,マルチメディア・コンテンツを構成する各メディアの特性と各メディア間の関連性を有効に活用し,コンテンツが画像とテキストで構成される場合には,画像による視覚的な検索とテキストによる意味的な検索とを兼ね備えた情報検索手段を提供する.また,検索結果としてのコンテンツ集合やインタラクティブな検索過程を仮想三次元空間上で人間に分かりやすく視覚化することによって,人間の視覚認識能力を活用した効率的な検索が実現できる.また,その適用例として,Web検索,映像検索,画像検索,デジタル文書検索,図面検索,3D-CADモデル検索システムを開発し,実応用面でも貢献している.

第三章は,「検索手法から解析手法への拡張」と題し,パノラミック検索手法の枠組みを,大量のマルチメディア・コンテンツからの知識発見を支援する解析手法の枠組みへと拡張し,画像群からの知識発見を支援するビジュアル解析手法として,パノラミック解析手法を提案している.画像群からの知識発見では,無数に定義できる視覚的特徴がある中で,有用な知識に関与する視覚的特徴を発見することが本質的な課題である.提案手法は,人間の視覚認識能力を活用し,人間による知識発見を支援する立場をとることにより,インタラクティブに有用な知識に関与する視覚的特徴さらには有用な知識を発見できる.また,提案手法を実装したパノラミック解析システムを開発し,発見学習などの教育分野や設計・製造分野での評価実験により,その分野の専門家でなくとも有用な知識の発見が可能であることを検証し,提案手法の有効性を確認している.

第四章は,「適合フィードバックの導入」と題し,人間とシステムとのインタラクションの一つとして,適合フィードバックを検討し,1)人間に適合/非適合の評価を求める事例を決定するためのRepresentative基準,2)Co-Trainingの枠組みの下でのラベルなし事例の活用法と,それらを実装したSVM(Support Vector Machine)の能動学習に基づく適合フィードバック手法提案している.提案手法は,適合フィードバックの反復が少ない段階においても,人間の検索意図を反映した検索を効率的に実現でき,CBIR(Content-Based Image Retrieval)に適用した評価実験により,その有効性を確認すると共に,図面検索システムに適用することによって,実応用面でも貢献している.

第五章は、「結論」と題し,本論文の成果を要約すると共に今後の課題が示されている.

以上これを要するに,本論文は,マルチメディア・コンテンツの検索および解析に人間とシステムとのインタラクションを活用する手法として,1)インタラクティブなマルチメディア検索手法であるパノラミック検索手法,2)パノラミック検索手法を拡張した画像群からの知識発見を支援するパノラミック解析手法,3)人間の検索意図に効率的に適合する能動学習に基づく適合フィードバック手法,を提案し,評価実験により提案手法の有効性を確認しており,提案された手法は,社会性・実益性の観点からも現在大量に創出,蓄積されているマルチメディア・コンテンツの活用基盤技術として役立つことが期待され,電子情報学上貢献するところが少なくない.

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.