近年、CATV網、衛星放送網、デジタル放送の進展や、インターネットの普及に伴い、利用可能なマルチメディアコンテンツの量は急激に増大している。しかしながら、個人が多種多様の情報に触れることができるようになるという利点がある反面、マルチメディアコンテンツの氾濫によって、個人が自分にとって有用な情報、必要な情報に対して、効率的にアクセスすることが困難な状況も生じてきている。このような状況のもとでは、マルチメディアコンテンツを提供する側とそれを利用する者の間に立ち、供給される情報を媒介し、その利用価値を高めるための媒介機構が必要となってくる。

　特に、マルチメディアデータベースの今後の展開を考えた場合、映像と他のメディアをどうリンクし、利用するかは重要な問題であるが、その実現のためには、キーワード、番組のカテゴリ、タイトル、出演者などの参照情報の付与が不可欠である。しかしながら、多量に作成され、放送され、蓄積されていく映像に対してすべて手作業でキーワードなどの付加情報を付けていくことは、コストがかかり、現実的ではない。また、映像情報の自動認識に基づくキーワード作成の自動化に関しては様々な試みが行われているが、現状では、映像情報の自動認識技術はキーワード抽出に関して十分とは言えず、必ずしも満足行く結果が得られていないのが実情である。

　このため、本研究では、そういった不完全な抽象度が異なる付与情報をも利用しながら、映像とそれに関連するテキスト、画像、映像など種々のメディア間でのリンクの実現を行い、利用するための手法について検討を行うとともに、メディア間のリンクにより、ユーザが自由に効率的に利用できるような映像利用空間の構築を目指している。図1.にはシステム構成を示している。

　本研究では、モデルがない場合とある場合二つに分けて映像とメディアのリンク手法について検討を行う。ここで、モデルとは、ある程度の精度を保ちながら自動リンクする際に利用できる情報である。

　具体的には、まず、モデルがない場合について検討を行う。大量に放送されてきたストリーム映像がこれに属している。この場合、リンク元とリンク先の視覚情報を用いて、これらの情報の類似度によりリンクを張っていく。ここでは、基本概念及びオブジェクトシソーラスを構築し、部分画像検索手法を用いることにより、オブジェクトレベルでの“画像、映像→画像、映像”、“概念→画像、映像”のリンク生成手法の提案を行った。これは、画像を、3人映っている映像では画面の両端から1/3のところに人がいる可能性が高いといった「対象を考えた分割」と「quad-treeによる自動的再帰的な分割---マージ」の2つの手法で分割し、分割できた各領域のカラー、形、テクスチャなどの特徴量および配置関係を用いて、部分画像の類似度によりリンクを張っていく手法である。更に、これをベースにして、query algebraを提案した。提案したquery algebraにおける空間と時間演算を用いることにより、多数のオブジェクトの組み合わせ(配置)および動きによる高次な検索ができるようになり、リンクを張ることが可能となった。

　以上の手法では、リンク効果が画像領域分割結果に影響されているので、すべての映像に適用とは言えない。特に、建物の映像には弱い。しかしながら、近年モバイル環境が一般的なものになるにつれて、現実の街の風景とデジタル地図とをリンクし、利用することへの二ーズが高まりつつある。本研究では、デジタル地図はリンクする際に利用できると考え、モデルとして扱い、車載カメラにより得られたドライビングショット映像とデジタル地図の自動リンク付け手法についても検討を行った。提案手法においては、まず、デジタル地図の道路情報を重みつき有向図で表し、映像の進行情報を用いて有向図をサーチすることにより車の進行経路を絞り込む。次に映像とモデル(デジタル地図)の絞り込んだ進行経路から同じ種類のパターン(縦境界線パターン、高さパターン、交差点パターンなど)を抽出し、開放端DPマッチング手法により映像とディジタル地図の対応関係を見つけ、リンク付けを行う。

　また、これらの手法によって得られたリンク情報を更に高次的に利用するため、その次にリンクの活用、管理について、検討を行った。リンクの活用の例としては、間接リンクがある。リンクが伝えるごとに、関連度が下がると考えられる。得られたリンクがリンクベースで管理し、関連度、利用頻度により取り扱う。ユーザがリンクを行おうとするとき、まずリンクベースでほしいリンクを探す、なければ、以上で提案した自動リンク手法を動かす。本論文では、マルチメディアデータ管理利用フレームワークVSDLの一部として、リンク情報の管理フレームワークの実現を行った。VDSLでは、映像や音声、文書情報、デジタル地図といったメディアを同一のVSDLクラスで記述管理を行い、VSDLクラスは属性(メディアの内容記述)と演算からなる。得られた各種のリンクはVSDLクラスの属性あるいは演算として扱う。

　最後に、提案手法を用いたシステムのプロトタイプの構築について述べる。

　以上これを要するに、本研究では映像の抽象度が異なる不完全な付与情報をも利用しながら、映像とそれに関連するテキスト、画像、映像など種々のメディア間でのリンク手法を提案するとともに、リンクを管理、利用するための手法についても検討を行った。これにより、放送のデジタル化、多チャンネル化によってもたされたマルチメディアコンテンツの高次利用、ユーザが自由に効率的に利用できるような映像利用空間の構築が可能となると期待される。

図1.システム構成

　本論文は、「Study on Content-Based Video Linking Method in Multimedia Database」(「マルチメディアデータベースにおける映像リンク手法に関する研究」)と題し、情報処理の高度化に向けて重要性を増している、映像とそれに関連する他のメディア間でのリンク方式についての一連の研究をまとめたものであり、英文6章から構成されている。

　第1章は、「Introduction(序論)」であり、本研究の背景と目的、本論文の構成について述べている。

　第2章「Related Works(関連研究)」では、本研究に関係する従来の研究について概説し、本研究の位置づけを行っている。

　第3章は、「Content-Based Linking Method without Specialized Model(モデルを必要としない内容に基づくリンク手法)」と題し、対象映像の内容を限定できない一般的なケースについて、部分画像の類似度によりリンクを張る手法を提案している。即ち、まず新しい部分画像検索手法を提案し、この手法を用いたオブジェクトレベルでの“画像、映像”→“画像、映像”間のリンク手法の提案を行い、有効性を実証している。また、基本概念及びオブジェクトのシソーラスを構築し、提案した部分画像検索手法を用いて、“概念”→“画像、映像”のリンク生成手法の提案を行っている。更に、オブジェクト検索(部分画像検索)をベースとする検索リンクのための演算(object query algebra)を提案している。このobject query algebraの空間と時間演算を組み合わせて、多数のオブジェクトの組み合わせ(配置)および動きによる高次な検索を実現し、多様なリンクを張ることが可能となることを示している。

　第4章は、「Content-Based Linking Method with Specialized Model(特化したモデルを用いる内容に基づくリンク手法)」と題し、モバイル情報通信環境の進展により二一ズを増している特定の実世界応用をとり上げ、この応用で有効なリンク方式を提案している。即ち、デジタル地図をモデルとし、市街地の風景を車中から撮影したドライビングショット映像とデジタル地図とのリンク手法について複数パターンのDPマッチングをベースとする具体的方式提案を行っている。評価実験により非常に高いリンクが実現できることを示している。

　第5章は、「Framework of Content Management System for Video Data(映像内容管理フレームワーク)」と題し、論文提出者を含めたより大きい研究グループで提案している一般的なマルチメディアデータ管理利用フレームワークVSDLを紹介したうえ、本研究をVSDLの演算の一部として体系化している。また、これらの手法の利用例として、応用システムプロトタイプシステムIMLUSについて述べている。

　第6章は「Conclusions and Future Work(結論と今後の課題)」であり、本論文のまとめを行っていると共に、今後の課題を明らかにしている。

　以上、これを要するに、本論文は、放送のデジタル化の流れの中で重要なマルチメディアコンテンツの高次利用を可能とする映像と種々のメディア間でのリンク手法を、部分画像検索の組み合わせ等により実現する方式を提案し、評価実験によりその有効性を明らかにしたもので、電子情報工学上貢献するところが少なくない。

　よって、本論文は博士(工学)の学位請求論文として合格と認められる。