The continuously growing amount of worldwide accessible multimedia archives causes an increasing complexity concerning the location of relevant content. The quick access to the desired information from a large volume of database enhances in analyzing the content and exploits the full potential use of digital video archives. Although the temporal sequence of camera operations can help to infer the higher-level semantic content and query information in video retrieval, the efficient methodology for annotating the visual information of camera operations is still inapplicable.

The advanced camera work analysis is proposed to automatically derive the information concerning the camera operations efficiently. The camera motions of panning, tilting, zooming, and the combination of these basic types of motions are determined based on the pattern analysis of motion trajectories of image features.

In the camera motion analysis, the process first detects the corners and interesting points of an image and then tracks those feature points along an image sequence. The global motion is classified based on position, tracking time and number of feature points. The effective feature detection region is applied to minimize the effect of object motions with the most efficient computational time. The calculation in determining camera motion is extremely decreased in the proposed method because only the best feature points are analyzed, not the whole pixel in every frame like in the motion vector analysis. The method is computationally simple associated with the spatial difference and linear regression of the motion trajectories. The spatial-temporal characteristic of the trajectories is a key significance in determining the type of camera operations. The camera motion based video retrieval system is implemented. The system serves about six times faster to access a target document than the keyword based retrieval system.

The speed information is calculated by analyzing the slope of trajectories and converted into the human perception level. The temporal segmentation of image sequences into several camera motion subunits with the speed information expeditiously facilitates the motion annotation and content description particularly in the applications of video retrieval, indexing and scene analysis. The shot retrieval system for the long video sequence is implemented based on the camera motion and its speed in the term of human perception level. From the experimental results, the system serves about sixteen times faster than the manual search to access a target shot.

By applying the proposed camera work analysis, the high efficient shot retrieval system is developed. The system is designed to facilitate and fast access the content of the video sequence. The camera motion helps in an assist with the clustering process while the speed information helps in optimizing the ranking of search results. In addition to the retrieval task, the proposed camera work detection is expected to facilitate the researches related to the content analysis of moving picture such as learning of autonomous robot to respond its surrounding environment, cataloging and comparative studies for museums and archaeology, etc. The utilizing of camera work analysis to research on the high-level semantic content will greatly facilitate the potential applications of scene analysis and content description.

本論文は「A study on the advanced camera work analysis for high efficient shot retrieval system(高効率ショット検索システムのための高度カメラワーク分析に関する研究)」と題し、映像検索においてカメラモーション分析を用いた新しい検索技術について提案している。

　マルチメディアアーカイブの世界規模での絶え間ない増加に伴い、探したいコンテンツがどこにあるのかを探すことがますます難しくなっている。大規模なデータベースから欲しい情報にすばやくアクセスできるようになれば、アーカイブの利用促進も大いに期待できるようになる。映像検索において、カメラ操作の時間的推移は、コンテンツの高レベルセマンティック情報やクエリー情報を推定するのに役立つが、カメラ操作のビジュアル情報を注釈として付与する方法はまだ確立されていない。

　そこで本論文では、高度カメラワーク分析技術を提案している。このカメラワーク分析は、効率的にカメラ操作に関連する情報を自動抽出するものであり、パン、チルト、ズーム等のカメラモーション、また、パンとチルトの組み合わせなどは撮影画像の特徴点の軌跡をパターン認識することによって決定することができる。また、カメラモーション速度も軌跡の変化の仕方によって決定することができる。これらのカメラワーク情報は人間の記憶に残りやすいものであり、検索には極めて有益である。事実、実証実験の結果、ターゲットショットにアクセスするために人間が手動で行う場合と比較しておおよそ16倍の高速化を行えることが判明している。

　本論文では、以上のような概要のもと、下記の章によって構成されている。

　まず第1章は、「Introduction」として研究の背景と本論文の構成について述べている。続く第2章は、既存研究として、カメラモーション検出、カメラモーション速度の既存研究について整理するとともに、CBVR(Content-based Video Retrieval)に関する既存技術について記述している。

　第3章は、「Advanced Camera Work Analysis」と題し、第4章以降で提案する各手法とそれら全体をまとめた検索システムについて概観している。

　第4章は、「Camera Motion Detection」と題し、画像内の特徴点の軌跡からカメラモーションを推定する手法を提案し、実験により、提案手法が既存手法と比較して優れていることを示している。

　第5章は、「Speed Analysis」と題し、画像内特徴点の軌跡の速度からカメラモーション速度を推定する手法を提案し、また、人間がどのようにカメラモーション速度を知覚するのかについての評価実験の結果を論じている。

　第6章は、「Shot Retrieval System」と題し、第4,5章で提案した手法を融合した映像検索システムについて評価実験を行い、その有効性を示している。

　第7章は、「Applications」と題し、本論文で提案している高度カメラモーション分析が実アプリケーションとしてどのように役立つのかについて論じている。

　第8章は、「Conclusions and Future Works」と題し、結論と今後の課題について言及している。

　以上のように、本論文では、これまであまり注目されてこなったカメラモーション分析に焦点を合わせて、画像検索効率を著しく高めたことを加え、映像の構造化やそれに基づくアプリケーション(映像要約の自動生成など)への応用も期待できることから、その成果は実世界への応用を含め画像処理工学分野に寄与するところ大である。

　よって本論文は博士(工学)の学位請求論文として合格と認められる。