学位論文要旨



No 119109
著者(漢字) 宮崎,誠也
著者(英字)
著者(カナ) ミヤザキ,セイヤ
標題(和) 映像製作効率化のためのシナリオ入力型CG動画生成システムに関する研究
標題(洋)
報告番号 119109
報告番号 甲19109
学位授与日 2004.03.25
学位種別 課程博士
学位種類 博士(工学)
学位記番号 博工第5841号
研究科 工学系研究科
専攻 先端学際工学専攻
論文審査委員 主査: 東京大学 教授 安田,浩
 東京大学 教授 廣瀬,通孝
 東京大学 教授 堀,浩一
 東京大学 教授 西田,豊明
 東京大学 助教授 広田,光一
 東京大学 講師 青木,輝勝
内容要旨 要旨を表示する

現在デジタルコンテンツサービス市場は全世界で飛躍的な伸び率で成長しており、日米欧の市場規模は2005年には2000年比420%増の21.98億ドルになるとの推計がある。とくにCG(Computer Graphics)を活用した動画コンテンツは近年ますますクオリティが向上し、また安価な端末でもリアルタイムにレンダリング(再生)することができるようになってきたため、今後はCGによる動画コンテンツがデジタルコンテンツサービス市場においてより一層重要な位置づけになると予想されている。

しかし、CGコンテンツサービスビジネスの市場は、他分野に比べてまだ規模が小さい。その原因は魅力的なCGコンテンツを制作することが難しいからであると考えられる。すなわち、一般的にCG動画コンテンツは制作に高度な技術が必要であり、制作時間はもとより、クリエータの育成そのものにも時間がかかる。この非効率的な制作作業が、魅力的なコンテンツを数多く生み出すことができない要因であり、ひいては、ビジネスとして発展しない最大の原因であるといえる。

他の分野では、プレゼンテーション制作ソフトウェアのPowerPointやウェブサイト制作ツールのBlogなど、制作のノウハウや専門知識や技術がない素人でも、簡単にコンテンツを制作することを可能にするツールが登場することで、その市場が爆発的に拡大してきた。今後はCG動画コンテンツの分野においても、いかにして初心者でも簡単に扱える効率的なツールを開発するかということが重要な課題だと考えられる。

そこで本論文では、誰でも容易にかつ短時間で映像コンテンツを制作できることを目的にしたCG動画生成システムとして、DMP(Digital Movie Producer)を提案した。このシステムの要求条件として次の3つを挙げ、それらを全て解決することを目的とする。

1.誰でも簡単に扱える制作方法を提供すること 2.コンテンツを再利用しやすい仕組みを提供し、低コストで制作できること 3.映像制作のノウハウや知識を持たなくても制作できること

本論文ではこの要求条件を満たすために、提案するDMPのアーキテクチャは一般的なCG動画制作ソフトウェアのそれとは大きく異なる発想で設計した。具体的には、1を実現するために、ユーザからの入力はテキスト入力によるシナリオ文章のみとし、2を実現するために、映像で登場する人物や背景などのコンテンツをインターネット上から検索、再利用し、自動的に配置・演技させるようにし、3を実現するためにカメラワーク等の演出を自動的に付与することにした。この手法により、ユーザは詳細な演技や演出などの設定にわずらわされることなく、会話やストーリー制作のみに集中できるため、映像制作のノウハウをまったく持たない素人でもアイディアを即座に映像化できる。

本論文では、このアーキテクチャを実現するため、以下の3つの技術的な重要検討課題を中心に議論し、具体的に解決案を示した。

1. ユーザから入力されるシナリオ文章をシステムはどのように処理すればよいか? 2. 複数の素材コンテンツをインターネット上から取り込み、それらを適切に配置・演技させるにはどのように処理すればよいか? 3. ユーザに代わってカメラワーク等の映像演出をシステムが自動的に付与し、効果的な映像を生成するにはどのように処理すればよいか?

第1章は、「序論」であり、本研究の目標および目的、DMPの提案と研究課題について述べ、本論文の構成を示している。

第2章は、「研究の背景と関連研究」と題し、まずアニメーション制作技術の現状と問題点について述べ、スクリプト言語による静止画・動画の生成に関する研究、CGカメラワークの自動生成に関する研究、キャラクタアニメーションに関する研究、自然言語処理に関する研究についての現状と問題点についてサーベイを行っている。

第3章は、「シナリオ文章・映像表現のフォーマットとシナリオ文章処理方法の提案」と題し、1のシナリオ文章処理に関する問題を解決するために、タイトルや場面設定・動作・会話文など定型的な構造を利用してシナリオ文章を解析し、形態素解析を経てコンピュータで扱いやすいXML(eXtensible Markup Language)の形式に変換する手法を提案している。現時点においてこのシナリオ文章のXML表現形式は共通仕様化されたものが存在しないため、本論文でシナリオ文章ならびに映像表現をXML化したDMPML(DMP Markup Language)を提案する。DMPMLの特徴はシナリオ文章を表現するのに必要充分な情報量を持ち、かつコンピュータが最も処理しやすい表現形式であることである。またシステムが映像生成する段階で致命的なエラーが生じないように、必要な情報がシナリオに正しく記述されているか否かを確かめる、意味内容のバリデーション(判定)手法を提案している。最後にシナリオ文章処理の動作検証実験を通し、上記提案手法の実用性を確認した。

第4章は、「素材コンテンツ利用のためのメタデータと構図・アニメーションの決定手法の提案」と題し、2の素材コンテンツの取り込みと配置・演技手法に関する問題を解決するために、コンテンツ毎に付与する検索と利用のための情報を保持するメタデータを定義し、上述のDMPMLの情報を用いてコンテンツを属性で検索し取得する手法を提案している。この方式の特徴は、コンテンツのデータ形式に依存しないオープンな環境を実現するのに最適な枠組みを提供できることである。また、コンテンツ間で相互作用を要する演技(キャラクタが椅子に座る、キャラクタがドアを開ける、等)を実現するための配置制約情報を利用してバーチャルキャラクタが適切な演技を行えるようにするための、アノテーションベースのキャラクタアニメーション手法の提案を行っている。

第5章は、「映像演出知識ベースの構築と演出生成手法の提案」と題し、映像演出の自動付与を実現するために、演出に関する知識ベースを用いシナリオ文章に応じて適切なカメラワークやライティング等の演出を施すための手法を提案している。この知識ベースは映画の歴史を経て確立された分野である映像制作技法と実写映像の映像分析を通して構築されており、その構築手法をあわせて提案する。また、実写映像の映像分析は大きな手間がかかるため、ニューラルネットワークを用いた半自動的な分析手法や、多くの知識を用いると知識間での競合が問題になるため、映像分析の結果を利用した優先度づけの手法も合わせて提案している。最後に各手法による実装と評価実験を行い、自動付与された演出の効果について議論している。

第6章は、「シナリオ入力型CG動画制作システムの構築と利用実験」と題し、先述した3つの技術的な重要検討課題を、各章で述べたシナリオ入力・処理方式、コンテンツ検索・利用方式、演出自動生成方式によりそれぞれ解決し、これらの提案手法を統合したシナリオ入力型動画生成システムのシステム構成と処理戦略について言及し、システムの実装と評価実験を通してその有効性や実用性を示した。

第7章は、「将来への展望」と題し、今後の研究テーマとして、新しいマルチメディアコンテンツモデルMCOMとの融合と著作権保護、群集合アルゴリズムによる背景・エキストラの描写、実写映像とCGの合成、シナリオと構図入力による映像制作システムのビジョン、対話型映像編集・修正方法、視聴側のパーソナライゼーションの実現について紹介し、最後に携帯端末でのアプリケーション事例などを紹介して将来の研究の方向性について述べている。

第8章は、「結論と今後の課題」である。

本論文で提案したDMPシステムは、個人用途として気軽に日記や旅行記などの映像作成ツールとして用いられるだけでなく、初心者向けの映像制作教育ツールとしてや、映像メディアを駆使したe-ラーニングやストリーミング配信用商品広告など業務用途の映像を低コストで制作するツールとして用いることができるようになると考えられる。またCGを利用しているため、動画絵コンテや動画プロトタイプ・新しいジャンルの実験開拓などで威力を発揮すると予想される。長期的に見ると、社会的な効果として、DMPシステムは視聴者自身が映像文化を作り上げる社会を実現するとともに、映像コンテンツを大量に供給できることによるデジタルコンテンツサービス市場の活性化や、草の根クリエータに活躍の場を与えることによるクリエータ全体の質の向上に寄与するものと期待できる。

審査要旨 要旨を表示する

本論文は「映像制作効率化のためのシナリオ入力型CG動画生成システムに関する研究」と題し、映像制作のノウハウや専門知識を持たない素人でも簡単に演出豊かなCG(Computer Graphics)動画コンテンツを制作するための手法として、DMP(Digital Movie Producer)と呼ばれる動画像制作システムを提案している。

従来の制作手法では、CG動画コンテンツは制作に高度な技術が必要であり、制作時間はもとより、クリエータの育成そのものにも時間がかかる。そこで本論文では、1.手早く簡単に扱える制作手法の提供、2. 動きのあるCGコンテンツを再利用しやすい仕組みの提供、3. 映像制作のノウハウや知識を持たないユーザでも制作可能な手法の提供、の3つの要求条件を実現する手法を提案している。具体的には1. については、ユーザからの入力はテキスト入力によるシナリオ文章のみとすることにより解決し、2. については、映像で登場する人物や背景などのCGコンテンツをインターネット上から検索、再利用し、自動的に配置・演技させる設計にすることにより解決し、3. を実現するためにカメラワーク等の自動演出を付与することにより解決した。

第1章は、「序論」であり、本研究の目標および目的、DMPの提案と研究課題について述べ、本論文の構成を示した。

第2章は、「研究の背景と関連研究」と題し、まずアニメーション制作技術の現状と問題点について述べ、スクリプト言語による静止画・動画の生成に関する研究、CGカメラワークの自動生成に関する研究、キャラクタアニメーションに関する研究についての現状と問題点について整理を行った。

第3章は、「シナリオ文章・映像表現のフォーマットとシナリオ文章処理方法の提案」と題し、自然言語のシナリオ文章の定型的な構造を利用して、シナリオ文章ならびに映像表現のフォーマットであるDMPML(DMP Markup Language)に変換する手法を提案している。DMPMLの特徴はシナリオ文章や映像を表現するのに必要十分な情報量を持ち、かつコンピュータが最も処理しやすい表現形式であることである。またシナリオの意味内容の判定手法を提案している。最後にシナリオ文章処理の動作検証実験を通し、上記提案手法の実用性を確認した。

第4章は、「素材コンテンツの検索手法とアニメーション生成手法の提案」と題し、素材コンテンツの取り込みと配置・演技手法に関する問題を解決するために、コンテンツ毎に付与する検索と利用のための情報を保持するメタデータを定義し、DMPMLの情報を用いてコンテンツを属性で検索し取得する手法を提案している。この方式の特徴は、コンテンツのデータ形式に依存しないオープンな環境を実現するのに最適な枠組みを提供できることである。また、コンテンツ間で相互作用を要する演技(キャラクタが椅子に座る、等)を実現するため、配置制約情報を利用してキャラクタが適切な演技を行う、アノテーションベースのキャラクタアニメーション手法の提案を行い、実験を通してその手法の有効性を示している。

第5章は、「映像演出ルールベースの構築と演出生成手法の提案」と題し、映像演出の自動付与を実現するために、演出に関するルールベースを用いシナリオ文章に応じて適切なカメラワーク等の演出を施すための手法を提案した。このルールベースは映画の歴史を経て確立された分野である映像制作技法と実写映像の映像分析を通して構築されており、その構築手法をあわせて提案している。また、実写映像の映像分析は大きな手間がかかるため、ニューラルネットワークを用いた半自動的な分析手法や、多くの演出ルールを用いるとルール間での競合が問題になるため、映像分析の結果を利用した優先度づけの手法も合わせて提案している。最後に提案手法の実装と評価実験を行い、自動付与された演出の効果についても議論している。

第6章は、「シナリオ入力型CG動画生成システムの構築と利用実験」と題し、先述した3つの技術的な重要検討課題を、各章で述べたシナリオ入力・処理方式、コンテンツ検索・利用方式、演出自動生成方式によりそれぞれ解決し、これらの提案手法を統合したシナリオ入力型動画生成システムのシステム構成と処理戦略について言及し、システムの実装と評価実験を通してその有効性と実用性を示している。

第7章は、「将来への展望」と題し、今後の展望をまとめ、将来の研究の方向性について述べている。

第8章は、「結論と今後の課題」である。

以上のように本論文では、シナリオ文章から直接、演出まで含めた動画を生成するという画期的な手法により、映像制作の素人にとって従来困難だったCG動画制作を解決するシステムの開発に成功し、被験者実験などを通してその有効性を定量的・定性的両面から具体的に示したものである。特に初心者でもコンテンツ1秒あたり10秒前後という極めて少ない時間で動画制作を実現したことを被験者実験により示しており、また一般的なPC端末で50行のシナリオを1秒未満で処理可能なことを示している。このように本論分では映像生成分野において従来実現できなかった革新的な手法を研究開発しており本分野への寄与度は極めて大である。

よって著者は東京大学大学院工学系研究科における博士(工学)の学位論文審査に合格したものと認める。

UTokyo Repositoryリンク