デジタルビデオ技術の進展とコンピュータの性能向上に伴って,コンピュータで映像を扱う環境が急速に整備されつつある.しかし,扱う映像の量が増加すればするほど,その中から本当に必要な情報を見つけ出すのが困難になる.現状では,映像の中から見たい場面を探し出すには映像を早送りしたり巻き戻ししながら見るしか手段がなく,多くの時間と手間がかかるという問題がある.

　本研究では,映像のブラウジング(ざっと目を通すこと)を効率化するために,時間的に展開する映像を"空間的に"表現した映像要約一覧を自動生成するシステムを開発する.この映像要約一覧は映像制作者の意図表現のツールである絵コンテに相当するもので,本研究は絵コンテを映像から再構築しようとする試みとみなすことができる.絵コンテは映像制作者が映像の要点を静止画表現した映像要約の一つの理想形であり,絵コンテが映像から再構築できれば映像表現ツールとして広く活用できるはずである.本研究で提供する映像要約一覧は映像アーカイブシステム,ノンリニア映像編集システムなどの映像アプリケーションに幅広く応用できる.

　本研究の主要な成果はパノラマ混在型映像要約一覧Panorama Excerptsを考案し,それを自動生成するシステムを実現したことにある.図1にPanorama Excerptsの例を示す.パノラマ混在型映像一覧Panorama Excerptsは2種類のアイコン-パノラマアイコンと代表フレームアイコン-を表示した映像要約一覧である.パノラマアイコンはカメラ操作としてパン,チルト,またはズームを含む区間から画像列を合成することによって生成される.代表フレームアイコンはカット,ディゾルブ等のショット切換えを検出することによって各ショット毎に1枚ずつ選び出される.Panorama Excerptsの特徴は,代表フレームだけでは表現しきれなかった広がりのあるシーンをパノラマ画像により直感的に表現できる点にある.広がりのあるシーンをカメラマンが映像表現する場合,パンやチルトといったカメラワークの技法を用いる.この技法を逆用して,Panorama Excerptsではカメラワークを含むシーンから合成したパノラマ画像で広がりのあるシーンを"空間的に"表現するようにした.

　本論文は,パノラマ混在型映像一覧Panorama Excerptsを自動生成するために必要となる基盤的な映像解析手法から,映像一覧を応用したシステムまでを総合的に検討した結果についてまとめたものである.映像解析手法として,ショット切換え検出法,カメラ操作検出法を開発した.実験をとおして,これらの手法が実用的な精度と処理速度を持つことを示す.さらにこれらの手法を応用して,テレビ放送の効率的なアクセスを可能にするTV Ramシステム,映像インデクシングシステムScene Cabinetを構成する.

図1.パノラマ混在型映像要約一覧Panorama Excerpts.

　ビデオ技術の急速な発展と普及に伴って,日々,多くの映像データが作られるようになっており,今や,過去に作られ蓄積された膨大な映像データの中から再利用したいものを的確に探し出すことができないという深刻な問題が生じている.本論文は,この問題の深刻さに着目し,人の視覚の瞬間的な静止画把握能力と,コンピュータの動画処理能力を組み合わせる解決法を提案したもので,「映像要約一覧の自動生成法と応用に関する研究」と題し,6章から成る.

　第1章「序論」では,蓄積された膨大な映像データから望みのものを検索する問題の深刻さとその背景を論じたあと,本論文のアプローチの基本的な考え方を述べている.それは,ビデオデータという時間変化を伴う情報を,紙面に静止画を配置した映像一覧という空間的な情報に変換することによって,静止画を瞬間的に把握できる人の視覚能力が生かせる環境を整えるというものである.次にこのアプローチと過去の関連研究との関係を論じ,最後に本論文の構成について述べている.

　本論文の主要部分は2部から構成されている.第1部「映像一覧の自動生成法」には,第2章と第3章が当てられ,ビデオデータからリアルタイムで映像一覧を自動生成する方法が提案されている.

　第2章「ショット切換え検出法」では,一台のカメラで連続的に撮影された映像区間をショットと名付け,これを時間的に変化する映像の最小単位とみなす.そして,一つのショットから次のショットへ変わるショット切換えの位置を検出する方法を提案している.基本的には,映像が急激に変化した時刻がショットの切換え時刻であるとみなすことが原則であるが,すべてのショット切換えをこの原則でとらえることはできない.たとえば,フラッシがたかれた瞬間に映像は急激な変化を生じるが,これはショット切換えとみなすべきではなく,逆に,一つのシーンがゆっくりフェイドアウトし,それと重なるようにもう一つのシーンがゆっくりとフェードインするところは,瞬間的な変化は大きくないにもかかわらずショットの切換えとみなさなければならない.この問題を解決するために本論文では,二つの静止画像の違いを表す非類似度という量を定義し,複数の時間スケールで求められた非類似度の時系列を解析することによってショット切換えを検出する方法を提案している.そして,ニュースと映画の映像に対して,この手法の有効性を実験的に確認している.

　第3章は「Panorama Excerpts:パノラマ混在型映像一覧」と題し,パン,チルト,ズームなどのゆっくりしたカメラ操作による映像の時間変化の全体を,静止した一つの合成画像によって表す方法を提案している.この方法では,時間的に隣り合う画像の間の変化を拡大・縮小,水平方向への平行移動,垂直方向への平行移動の三つの動きに分解し,そのそれぞれをズーム,パン,チルトというカメラ操作に対応づける.そして,ゆっくりしたカメラ操作から生じる一連の映像データから一つの合成画像を構成し,それにカメラの動きを表す矢印などの補助的記号を書き加える.このようにして得られる合成画像をパノラマアイコンと名付けている.パノラマアイコンは,形も大きさもカメラの動きに応じてさまざまに変わるが,カメラ操作によって時間的にゆっくり変化するショットの内容全体を,一つの静止画として表現したものになる.これは,映像の時間変化を,映像の空間的広がりとして表す一種の「言語」の提案とみなすことができる.さらに,形が不定のパノラマアイコンを効果的に紙面に配置する方法も構成している.そして,第2章,第3章の技術を統合して,ビデオデータから実時間で映像一覧を自動作成するシステムPanorama Excerptsを開発し,その有効性を実際のビデオデータで確認している.

　第2部「映像一覧の応用」には,第4章と第5章が当てられ,第1部で提案した映像一覧の自動生成法を組み込んだ三つの実用的システムを構築して,その有用性を評価している.

　第4章は「代表フレームー覧を用いた映像アクセスインタフェース」と題し,ショット切換え検出法を用いて構成される代表フレームー覧を2種類の映像アクセスインタフェースに応用している.

　その第一は,Paper Videoと名付けられたシステムで,ショットの切換えを検出した後,各ショットをそれぞれ1枚の代表画像で表して並べることによって一覧をユーザに提供するものである.一方,その第二は,TVRamと名付けられたシステムで,テレビ放送された24時間分の映像データに対象を特化した映像アクセスインタフェースである.これによれば,たとえばテレビで放送される一つのチャンネルの一日分の映像を,CM部分を自動的に取り除いた上で1枚の一覧データにまとめたり,逆に,CM部分のみを集めて1枚の一覧データにまとめたりすることができる.さらに,この一覧は階層的な構造をもっており,注目したいところをユーザが指定すれば,その部分のみに対する詳しい映像一覧を表示することができる.

　第5章「Scene Cabinet:映像インデクシングシステムの実装と評価」では,5種類の映像解析技術-ショット切換え検出,カメラワーク検出,テロップ検出,音楽検出,音声検出-を統合した映像インデクシングシステムを設計・実装している.このシステムでは,基本的には,各種のインデックスは自動編集されるが,その精度は百パーセントではないため,自動編集されたインデクスをユーザが効率的に修正したり,関連情報をユーザが簡単に編集するためのユーザインタフェースも備えている.このシステムの評価実験の結果,手作業の場合と比べておよそ半分の作業時間でインデックスが編集できることが確かめられた.

　第6章「結論」では,以上の成果をまとめるとともに,今後に残された課題について述べている.

　以上を要するに,本論文は,膨大で時間変化を伴うために検索が難しい映像データを,パノラマアイコンを含む空間的一覧の形でユーザに提供することによって,ユーザの検索作業を軽減するための新しい映像表現言語とそれを実現するインタフェースシステムを提案したもので,数理工学の発展に大きく貢献するものである.

　よって本論文は,博士(工学)の学位請求論文として合格と認められる.