本論文は" SYNTHESIS OF DANCE PERFORMANCE BASED ON ANALYSES OF HUMAN MOTION AND MUSIC (「人体動作と音楽の解析に基づく舞踊動作生成」)"と題し、モーションキャプチャデータおよび音楽から得られる情報を用いて舞踊動作を観察、解析し、その解析結果に基づいて新たな舞踊動作を生成する手法についてまとめたものであり、全五章で構成されている。

　一章では本研究の背景や目的について述べる。

　近年コンピュータグラフィクス(CG)やロボティクスの分野では、自然な人体動作を生成することの需要が高まってきている。モーションキャプチャシステムはその解決策の一つであるが、アニメータが本当に必要としている動きを得ることは依然難しく、得られたモーションキャプチャデータをさらに加工、編集しなければならないケースが多い。そのため既存の研究では一つの動きデータを加工する手法や、複数の動きデータを滑らかに連結する手法、力学的拘束を満たすための動作変形手法などが主に提案されてきている。

　しかし実際の人間の行動を観察すると、まず環境などの視覚情報や音声・音楽などの音響情報を知覚し、そしてその情報の中からから必要なもののみを抽出したり情報に対する感情が生まれ、その結果行動を起こす場面が多い。このような人間の情報抽出能力や感情などを考慮した人体動作の生成手法が求められてきているにもかかわらず、着手されているものは非常に少ない。

　そこで本研究では主に舞踊動作を対象とし、動作と音楽の双方から舞踊動作を観察・解析し、得られた知見を基に新たな舞踊動作を生成する手法について提案する。舞踊においては、演者が演奏されている楽曲からその拍、リズムの早さや曲調、盛り上がり、ジャンルなどの情報を抽出し、それらを基に動作を構成する。そのため舞踊動作は人間の認識能力とそれに基づく動作を解析・生成するのに最も適した研究題材の一つである。また本研究で扱う舞踊動作は日本の民俗舞踊とする。日本の民俗舞踊に関する過去の研究では、その動作が持つ意味について歴史的な背景などの観点から解析しているものがほとんどであり、身体性について論じられている研究はほとんどない。後継者不足によって日本の民俗舞踊が失われつつある今、それらをデジタル化して保存し、CGやヒューマノイドロボットなどを用いて披露するという需要が高まっており、本論文で述べられている身体性に関する研究は、舞踊動作のデジタルアーカイブ化に向けて非常に意義のあるものである。

　二章では、動きのリズムと音楽のリズムとの関係に関する解析手法を提案する。実際の舞踊を観察してみると、動きのリズムは「留め動作」、すなわち動きが静止している状態によって表されることが多く、演者は留め動作を音楽のリズムに合わせることで舞踊を披露している。本手法では、最初に実際の舞踊動作データから手、足、または重心がほぼ静止している時刻を求めて留め動作の候補点とし、また動作計測時に使われた楽曲データから「音がどのくらいの強さで発音されたか」を示す発音成分を抽出し、その周期性から音楽のリズムを推定する。そして双方の情報を考慮することで、舞踊動作のキーポーズを抽出する手法について述べる。また実験により動きの留め動作と音楽のリズムとの間に強い相関性があることだけでなく、本手法の結果が実際の舞踊演者の理解と近いことを示す。

　三章では、楽曲の速さに応じて生じる動きの変化のモデル化手法を提案する。ある型の決まった舞踊動作を通常の音楽再生スピードに合わせて演じた場合と通常より速い再生スピードに合わせて演じた場合とを比較してみると、大局的に見れば同じ舞踊動作をしていても、局所的に見るとわずかではあるが動きの違いが見られる。これは楽曲の速さに追従するために動作の細部を省略し、本質の部分のみを残そうとした結果であると考えられる。そこでこれらの動作列を周波数領域で解析した結果、(1)一つ目の研究で得られた留め動作が保存されること、(2)動きが速くなるにつれて高周波成分から省略されていくこと、の二つの知見が得られた。この観察結果を基に、実際にリズムの速さによって動きが変化する様子をモデル化する手法について提案する。具体的なモデル化の方法としては、まず入力の舞踊動作を、留め動作情報を保存したままBスプラインによる階層構造に分解する。そして与えられた運動学的拘束を満たすようにそれぞれの階層に重み付けをすることで、楽曲の速さに合った舞踊動作を新たに生成する。実験により、本手法を用いて生成された舞踊動作が実際の舞踊動作と似ていることを示す。

　四章では、楽曲の曲調が舞踊動作に与える影響について観察を行い、楽曲の曲調に合った舞踊動作を自動生成する手法を提案する。これはすなわち「人が楽曲に合わせて即興で舞踊を披露する」能力の模倣である。人は音楽を聞いている間、その楽曲の曲調や激しさなどからさまざまな感情を得る。例えばロックなどの激しい音楽を聴いている場合は感情が高揚することが多く、またバラードなどのゆったりとした音楽を聴いている場合はリラックスした気分になる。実際に創作舞踊を例として観察してみると、楽曲の盛り上がっている部分では舞踊が激しくなり、また落ち着いた曲調の部分では落ち着いた舞踊が披露されている場面が多いことが分かった。そこで、一つ目の研究で得られた音楽リズムと留め動作の相関性に加え、音楽の盛り上がりと動きの盛り上がりの間にも相関があると仮定し、入力した楽曲の特徴と合った舞踊動作を生成する手法を提案する。本手法では舞踊動作の激しさを示す指標として、Labanによって提案されたWeight Effortを定式化して用い、また楽曲の激しさを示す指標として、「高音ほど聞き取りやすい」という人間の聴覚特性を反映した音圧レベルを用いている。動作生成は、楽曲のリズムと盛り上がりと類似した動作セグメントをデータベースから抽出し、滑らかにつなぎ合わせることで行われる。この動作生成のステップでは、Motion Graphアルゴリズムを基にしたローカルな最適解探索方法と、音楽リズム特徴量によって動きをセグメントに分けるグローバルな最適解探索方法の二種類を用意し、目的に応じた使い分けを可能としている。

　五章では、本論文のまとめと寄与、今後の展望について述べる。本論文では、舞踊動作を研究対象とし、人間の認識・知覚能力を基にした舞踊動作の解析・生成に関する取り組みがなされており、舞踊動作の肝となる留め動作に関する解析手法、楽曲リズムの変化に伴う動きの変化のモデル化手法、楽曲の特徴に合った舞踊動作の自動生成法が提案されている。また本研究の成果はエンターテイメントシステムとして活かされるだけでなく、失われつつある無形文化財のアーカイブ化への応用なども期待される。

本論文は「SYNTHESIS OF DANCE PERFORMANCE BASED ON ANALYSES OF HUMAN MOTION AND MUSIC(人体動作と音楽の解析に基づく舞踊動作生成)」と題し,モーションキャプチャデータおよび音楽から得られる情報を用いて舞踊動作を観察,解析し,その解析結果に基づいて新たな舞踊動作を生成する手法についてまとめたものであり,全5章で構成され、英文で記述されている.

第1章は,"Introduction"と題し,本研究の背景や目的について述べている.コンピュータグラフィクス(CG)やロボティクスの分野では,リアルな人の動きを表現するために,モーションキャプチャデータの加工や連結を行う手法,力学的拘束を満たすための動作生成手法などが主に提案されてきている.しかし実際の人間の行動を観察すると,視覚情報や音声,音楽などの音響情報を知覚し,その知覚,感覚結果を元に行動を起こす場面が多い.このような人間の認識能力や感情などを考慮した人体動作の生成手法が求められてきているにもかかわらず,着手されているものは非常に少ない.そこで,本研究では主に舞踊動作を対象とし,音楽から得られる情報を基に舞踊動作を解析し,その解析結果を元に生成する手法について述べている.

第2章は,"Keypose Extraction for Dance Structure Analysis"と題し,動きのリズムと音楽のリズムとの関係に関する解析手法を提案している.実際の舞踊を観察してみると,動きのリズムは「留め動作」,すなわち動きが静止している状態によって表されることが多く,演者は留め動作を音楽のリズムに合わせることで舞踊を披露している.本手法では,最初に実際の舞踊動作データから手,足,または重心がほぼ静止している時刻を求めて留め動作の候補点とし,また動作計測時に使われた楽曲データから「音がどのくらいの強さで発音されたか」を示す発音成分を抽出し,その周期性から音楽のリズムを推定する.そして双方の情報を考慮することで,舞踊動作のキーポーズを抽出する手法について述べている.また実験により動きの留め動作と音楽のリズムとの間に強い相関性があることだけでなく,本手法の結果が実際の舞踊演者の理解と近いことを示している.

第3章は,"Synthesis of Upper Body Motion Based on Aspects of Human Motion"と題し,楽曲の速さに応じて生じる動きの変化のモデル化手法を提案している.ある型の決まった舞踊動作を1.0倍の音楽再生スピードに合わせて演じた場合と1.5倍の再生スピードに合わせて演じた場合とを比較してみると,大局的に見れば同じ舞踊動作をしていても,局所的に見るとわずかではあるが動きの違いが見られる.これは楽曲の速さに追従するために動作の細部を省略し,本質の部分のみを残そうとした結果であると考えられる.そこでこれらの動作列を周波数領域で解析した結果,一つ目の研究で得られた留め動作が保存されること,動きが速くなるにつれて高周波成分から省略されていくこと,の二つの知見が得られた.この観察結果を基に,実際にリズムの速さに基づく動きが変化する様子をモデル化し,実験によってその有効性を示している.またCGアニメーションやヒューマノイドロボットにおけるアプリケーション例も示している.

第4章は,"Dancing-to-Music Character Animation"と題し,楽曲の曲調が舞踊動作に与える影響について観察を行い,その観察結果を元に,入力した楽曲の曲調に合った舞踊動作を自動生成する手法を提案している.人は音楽を聞いている間,その楽曲の曲調や激しさなどからさまざまな感情を得る.例えばロックなどの激しい音楽を聴いている場合は感情が高揚することが多く,またバラードなどのゆったりとした音楽を聴いている場合はリラックスした気分になる.実際に創作舞踊を例として観察してみると,楽曲の盛り上がっている部分では舞踊が激しくなり,また落ち着いた曲調の部分では落ち着いた舞踊が披露されている場面が多いことが分かった.そこで,一つ目の研究で得られた音楽リズムと留め動作の相関性に加え,音楽の盛り上がりと動きの盛り上がりの間にも相関があると仮定し,入力した楽曲の特徴と合った舞踊動作を生成する手法を提案している.本研究では,動作生成にはローカルな最適解探索方法とグローバルな最適解探索方法の二種類を用意し,目的に応じた使い分けを可能としている.実験を通して,あたかもCGキャラクタが楽曲に合わせて表現豊かな舞踊動作を演じているかのような結果が得られている.

第5章は,"Conclusions"と題して,本論文のまとめと今後の課題について述べている.本研究は,CGやヒューマノイドロボットによるエンターテイメントシステムの発展に寄与するだけではなく,失われつつある無形文化財のデジタルアーカイブ化や,アーカイブ化されたデータの再利用などへの応用が可能であることを示している.

以上これを要するに,本論文は,人間の認識,知覚能力を基にした舞踊動作の解析並びに生成に関する取り組みがなされており,舞踊動作の肝となる留め動作に関する解析手法,楽曲リズムの変化に伴う動きの変化のモデル化手法,楽曲の特徴に合った舞踊動作の自動生成法といった3つの理論が提案されている.本研究の成果は、理論的な寄与のみならず、舞踊生成を通してのエンターテイメントシステムや失われつつある無形文化財のアーカイブ化といった応用面への寄与も期待され,電子情報学上貢献するところが大きい.

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.