The development of biped humanoid robots has recently been active. Those robots have a potential to perform human-like motions that make full use of their human-like body. If robots can learn such motions from humans, the use of those robots will greatly increase.

This thesis describes a method that enables a biped humanoid robot to learn and reproduce human dance motions using its whole body. We achieve this goal on the basis of the Learning from Observation （LFO） paradigm. In this study, a robot uses its own legs to support its body during a dance performance. To reproduce such performances from human motions is a novel attempt. This thesis especially focuses on how to reproduce leg motions.

LFO is a paradigm of teaching a certain task to a robot. It consists of three processes: observation, recognition, and execution. First, a human instructor demonstrates a task and a robot observes the demonstration. Then the robot recognizes what is done in the demonstration. After that, the robot can execute the task according to the recognition results. For teaching a dance, all humans have to do is just to demonstrate the dance with their body. This is a great advantage in dance reproduction because it can eliminate the work of editing complex motions by human operators. This also means that a reproduced performance directly reflects the original human motions.

In the observation process, motion captures can be used for obtaining motion trajectories of human body parts. However, captured motion trajectories cannot be directly executed by a robot because of various constraints caused by differences between the human body and the body of the robot.

Constraints of leg motions are especially severe because legs must maintain stable contact of the soles to the floor and maintain the dynamic body balance so that the body does not fall down. A robot must satisfy these conditions using its own body. The way of contacting the soles is severely constrained because the soles are not flexible like human soles. The weight distribution of the body is different from that of humans; this causes different dynamic balance. As well as these leg-specific factors, robots are under general constraints caused by its joint mechanism and body shape. Furthermore, dances require a robot to preserve essential characteristics in expression. These complex factors make reproducing leg motions a challenging problem.

Under these severe conditions, details of human motion trajectories must necessarily be modified on the robot. However, the modification itself is not a problem as long as the essence of the original motions is preserved. This consideration leads to the idea that the robot generates motions for its body by concentrating on achieving the original essence. Other factors are generated so that the motions satisfy the constraints of the robot. This approach is more reasonable than the approach in which the robot tries to modify the original motion trajectories for its body.

The recognition process of LFO plays a key role in the generative approach. In the recognition process, a robot obtains the essence of observed human motions. To be precise, the robot extracts elements of task models from the motions, so that human demonstrations are described by the task models. In the LFO paradigm, task models are provided by humans from the top down for a particular task domain. In this thesis, we define leg task models, which represent the essence of leg performances. Four basic leg motions are modeled as tasks by focusing on the state of contact between soles and the floor and the state of the waist. The essential characteristics of each task are described by its skill parameters. Leg motions in a performance are described as a sequence of a number of tasks that have their own values of the skill parameters. In the execution process of LFO, a robot generates leg motions for itself according to a recognized task sequence, considering its constraints and stability.

This thesis describes a series of methods that enables the reproduction of human motion on the basis of leg task models. For the recognition process, we developed a method for extracting a sequence of leg tasks from captured motion data. For the execution process, we developed a method for generating leg motions of a robot from a given sequence of leg tasks. This method can generate motion data that satisfy the constrained condition of the robot. The method also supports various kinds of biped humanoid robots. Upper body motions are processed independently of the leg task models. We also implemented a method for converting human motion trajectories of the upper body into that executable on a robot.

We carried out experiments of our method on an actual dance and robot, using a biped humanoid robot HRP-2, which has human-like size and weight. We attempted to reproduce a Japanese folk dance called "Aizu-Bandaisan," which uses a whole body and includes characteristic leg motions. Motion data of several dancers were obtained by using a motion capture. For these items of motion data, our methods automatically extracted correct sequences of leg tasks and generated motion data that was executable on HRP-2. The generated data was input into the robot, and the robot successfully performed the dance motions stably. This has been a novel achievement of biped humanoid robots.

Through the experiments, we proved the validity of our method. This also means that the LFO paradigm is valid for the problem of teaching whole body performances to biped humanoid robots.

This technology enables biped humanoid robots to be used as an impressive, effective "medium" for presenting human body motions. As one useful application, this technology can produce digital dance archives in which a wide audience can appreciate actual performances of valuable dances.

本論文は、ロボットが人間の動作を観察学習し、その動きを再現するための方法論についてまとめ、さらにその手法を舞踊動作の学習と再現として実現したものである。具体的には、日本の伝統舞踊の動きをモーションキャプチャによって計算機に取り込み、そのデータをあらかじめ設定されたモデルによって解析し、最後に解析された結果に基づいてロボットの動きを生成し、実世界において自立歩行ロボットにて実際に動作させている。本論文は、バランス保持が必要になる下半身の動きについて注目しモデル化と実際の動作生成手法を新たに提案している点、およびその手法によって実際に自立歩行ロボットでの舞踊動作再現を実現した点に、主たる貢献があると認められる。以下、各章について説明する。

第1章においては、ロボットに動きを教示する方法として観察に基づく学習と考え方を紹介し、その考え方のもとで歩行を含む全身動作を再現することを論文の目的として位置づけている。また、関連研究として、2足歩行ロボットの開発、2足歩行ロボットの動作制御手法、人体の動作の処理手法、人体の動作のモデル化手法、および人型ロボットにおける舞踊動作の再現について述べている。

第2章においては、観察に基づく学習に関して本質的となる論点について述べ、ロボットによる人間の動作の再現という枠組みの中での、本論文で取り扱う課題の位置づけを明らかにしている。まず、人間の動作の再現においては、人間が動作を行うときの意図を再現することが重要であり、そのためにはその動作の本質を表したタスクモデルを適切に設計することが必要であるとしている。さらに、タスクモデルの設計にあたっては、他の物体との相互作用の状態と、動作自体のもつ重要な特徴の両方を考慮する必要があると述べ、これらの観点から、さまざまな人間の動作をどのようにモデル化すべきかを広範に検討している。最後に、これらの議論を元に、本論文で扱う課題の位置づけを明らかにしている。

第3章においては、観察に基づく学習に関してもっとも重要な部分である、タスクモデルの設計について述べている。本論文で取り扱うのは、バランス保持の実現を含む下半身の動きであり、その基本的な動作として、左脚または右脚をある場所から別の場所に下ろす動き、腰の位置を上限させる動きをタスクとして定義している。また、それぞれの動きの詳細を規定するものとして、時間と位置を表すスキルパラメーターを定義している。

第4章においては、モーションキャプチャデータからのタスクモデルの抽出について述べている。足先および腰の動きの時系列データに対し、速度および位置に関する閾値処理を施すことによって、個々の動作を認識している。また、個々の動作におけるさまざまなスキルパラメーター（脚先の向きや、腰の上下移動の高さなど）の計算方法についても述べている。

第5章においては、得られたタスクモデルから、実際のロボットの動作を生成する部分についてのべている。動作生成システムは、それぞれのタスクに応じた足先の軌跡を計算するタスクプロセッサ、与えられた足先の動きと上半身の動きを元に、転倒を防ぐようなZMPの軌跡を実現しまた上半身の回転を防ぐような腰の動きを生成するダイナミック処理部、および脚同士の相互干渉を検出し解消する干渉解消部から構成されている。特に、足先の動きを計算するときに着地時の衝撃を和らげるような軌跡を生成する点や、タスクモデルを元に適切なZMPを計算で生成する点、およびルールベースの手法で干渉を解消する点などに、工夫がなされている。

第6章においては、合図磐梯山踊りを対象とした実験の結果について述べている。実験では、モーションキャプチャで取り込んだ踊りの師匠の動きを、自立2足歩行ロボットであるHRP-2によって再現することに成功している。このような、歩行動作を含む全身運動の、自立歩行ロボットによる再現は世界的に見てはじめて実現されたものであり、顕著な業績と認められる。

最後に、第7章において、本論文の内容のまとめが述べられている。すなわち、提案手法は動作の本質を表した脚タスクモデル、モーションキャプチャデータからタスクを認識する認識処理、得られたタスクからロボットの動作を生成する動作生成処理、の3点から構成されていることが述べられている。さらに、本論文のコントリビューションが、観察に基づく学習のパラダイムを2足歩行ロボットで実現した点、実際のロボットを用いて踊りの再現を実現した点、それらを具体的に実現する脚タスクモデル・認識手法・動作生成手法、および、人間型ロボットが人間の動作を伝えるためのメディアとして有効であることを示した点、にあると述べている。

以上、本研究は、バランス保持が必要となる自立移動ロボットにおいて、人間の舞踊動作を観察してモデル化し、実際のロボットの動作として再現する手法を示し、さらにそれを実際の自立歩行ロボットで実現しており、本論文にはその内容が適切にまとめられている。

よって本論文は博士（情報理工）の学位請求論文として合格と認められる。