Social plays are an early interaction before speech where an infant and a caregiver engage in simple interaction such as ball game, give and take, and gonna get you, also emergent interactions in each dyad such as a play where an infant chases a newspaper and a father flips it, and so on. This research proposes infant's cognitive model which works out continuous social play co-creation with a caregiver. The infant is always judging whether current interaction works or not through response prediction to balance two policies: continuing a stable interaction or trying a new interaction.

The thesis is organized in eight chapters as follows:

[Chapter 1. Introduction]

Social plays are significant as a foundation of social intelligence because they are manifestation of cognitive ability to understand that own action affects others and to find means of communication. Social plays don't finish at one play, but new ones are continuously co-created. However, existing interaction model research focuses on social plays' convergent feature toward stable interaction, or their divergent feature toward interaction modification at all of the time. It is not solved how these convergent and divergent features go together.

[Chapter 2. Social Plays]

An infant's behavioral stages in social play development are: (d1: observes passively), (d2: initiates and participates partially), (d3: follows the convention), (d4: generates modification). As a strong feature of social plays, we focus on interaction rules where a caregiver responds in a specific way to an infant's specific action. We interpret the four stages from a perspective of interaction rules, and we propose a phase cycle of interaction rule co-creation: (c1: making response prediction) the infant explores and makes prediction of responses by generating some actions, (c2: confirming response prediction) the infant confirms the response prediction by taking the corresponding action, (c3: quitting the play for next one) the infant marks the interaction rule as stable and quits the confirmation. As a result, continuing the cycle, the dyad is expected to travel among co-created social plays.

[Chapter 3. Interaction Rule Learning through Response Elicitation]

We propose (m0: elicitation of predicted responses) as the fundamental mechanism for interaction rule learning. Monitoring and making prediction of the caregiver's responses, the infant is motivated to generate actions to confirm the predicted responses from the caregiver. The interaction is reciprocated as a result. We conducted interaction experiments between an infant robot based on the proposed model and participants using a ball to investigate whether the infant can learn interaction rule or not. The result shows that the interaction is inclined to be one-directional. A reason is considered that a participant just waits for the infant or behaves one-directionally like requesting some actions from the infant without responding to the infant because s/he cannot understand the infant's actions. The infant's behavior is so consistent that a participant cannot be patient with the infant. Another reason is considered that participants' behavior is simply easy to change. They change the way of response even if they understand current interaction rule works. These are differences from robot-robot interaction.

[Chapter 4. Continuous Co-creation through Response Habituation]

Toward continuous social play co-creation, the infant model was too stable to meet caregivers. We now propose (m0: elicitation of predicted responses) and (m1: response habituation) as the fundamental mechanisms of the infant for the co-creation cycle. Monitoring and making prediction of the caregiver's responses, the infant is motivated to generate actions to confirm the predicted responses from the caregiver. The interaction is reciprocated as a result. After it is habituated to the responses, it inhibits the confirmation and generates other actions. This makes a chance for other rules. Put it simple, the mechanisms are represented as exploratory response elicitation. We conducted interaction experiments between an infant robot based on the proposed model and participants using a ball to investigate whether response habituation is needed or not to continuously co-create social plays. According to an analytic result of causality from the infant to a participant, the participants with a faster-habituated infant respond in 1.2-1.5 second delay to the infant's actions while the participants with a slower-habituated infant have difficulty in responding to the infant. Various patterns of interaction emerged between a participant and a faster-habituated infant, such as passing the ball back and forth, rolling and catching, feint passing, and role-reversal feint passing. The result shows the two mechanisms are fundamental for social play co-creation. We also propose a method that measures diversity in social plays to evaluate continuous social play co-creation. We define causality in a part of interactional sequence as "local causality" to capture short-term social play. We define causality in whole interactional sequence as "global causality" to determine the referential level of causality. Local causality is high and global causality is low if multiple interaction rules are included because the causality analysis assumes consistent interaction rules through one interactional sequence. So the ratio (local causality / global causality) measures diversity of interaction rules in one sequence. The result shows that diversity of interaction rules from the infant to participants has a peak in a middle response-habituation parameter, indicating proper response-habituation contributes to interaction rule diversity and continuous social play co-creation.

[Chapter 5. Searching for Communicative Actions within Imitation]

The minimal mechanism for generating some actions in (c1: making response prediction) is generating random actions. To accelerate (c1), we propose a mechanism (m2: imitating the caregiver's action) for imitative strategy: selecting actions from the caregiver's actions. This strategy expects that the caregiver's actions are not meaningless but social-play- relevant, and so imitating the actions leads to smooth search for a new social play. In experiment with the infant with the combination of (m0: elicitation of predicted responses) and (m2: imitating the caregiver's action), the infant successfully understands interaction rules and goes into social plays, adaptively combining the strategy of (m0) and (m1).

[Chapter 6. An Integrated Model for Continuous Co-creation]

We finally propose an integrated social play model with (m0) to (m2). This winds the social play co-creation cycle continuously. The result shows diversity of interaction rules from the infant to participants in the integrated model is higher than one in the response-habituation model, indicating that the infant's imitation contributes to finding communicative actions and interaction rule diversity. Diversity of interaction rules from participants to the infant in the integrated model is also higher than one in the response-habituation model, indicating that the finding communicative actions through imitation also increases the infant's chance to respond to the participants. Put it together, imitation contributes to continuous social play co-creation.

[Chapter 7. Discussion]

We simplified and abstracted interaction rules in the proposed cognitive model and the experimental settings to focus on fundamental principles of general social plays. In discussion, we point what we simplified and abstracted-----face-to-face setting, object recognition and localization, involved objects, interaction rule space, action timing and interaction rule chunk-----, discuss what we can/cannot capture, and suggest a vision toward complex and realistic social plays. We also discuss additional supporting elements for social plays: the infant's vocalization and infant-like appearance. We finally discuss the possibility to explain autistic children behavior and to apply to therapy from a viewpoint from developmental changes of exploratory response elicitation, and the roles of response habituation.

[Chapter 8. Conclusion]

As a conclusion, we proposed an infant cognitive model for continuous social play co-creation. The model is composed of the fundamental mechanisms (m0: elicitation of predicted responses) and (m1: response habituation) and the accelerating mechanisms (m2: imitating the caregiver's action). The model winds the social play co-creation cycle (c1: making response prediction), (c2: confirming response prediction), and (c3: quit- ting the play for next one) continuously. This leads to foundations of understanding of social intelligence that produces diversity, understanding and therapy of autistic children with limited diversity of interaction, and application to social robots that keep us interested.

本論文は「A Model of Continuous Social Play Co-creation through Exploratory Response Elicitation」と題し,乳児と養育者の間でのやりとり遊びについて,その連続的な共創を成立させる乳児の認知モデルを構成論的に明らかにしたものであり,全8章から成る.やりとり遊びとはボールのやりとりをはじめとした親子間の遊びとしての非言語的コミュニケーションである.これは自分が他者に対して影響を与えることができることを理解して自らその方法を発見していく認知能力の現れであって,言語理解の前駆とされており,社会的知能の基盤として極めて重要である.実際の乳児を考えるならば,やりとり遊びはあるひとつの遊びが獲得されて終わりではなく,次々と新しいやりとり遊びが共創されていくものである.しかしながら従来のやりとりモデル研究は,ある安定的なやりとりに辿り着く収束的性質,あるいは常にやりとりを変化させていく発散的性質に着目したものがあるものの,それらをいかに両立させて連続的にやりとり遊びが共創されているのかは扱われてこなかった.本研究では,乳児が自らの働きかけに対して養育者とのやりとりが成立しているかどうかを常に判断しながら,現在のやりとりを続けるべきか,新しいやりとりを試行するべきかをバランスすることで連続的なやりとり遊びの共創を実現する乳児モデルを提案した.これは,多様性を生む社会的知能の理解,限られたやりとりに固執しがちな自閉症の理解とその療育,飽きのこないインタラクションを生成可能なコミュニケーションロボットへの応用の基盤となる.

第1章「Introduction」では,人同士のやりとりが収束的・発散的性質を持ち合わせながら連続的に共創され続けることを指摘し,そのようなやりとりが人・ロボット・インタラクションに求められる背景,および既存のやりとりモデルの限界について述べている.

第2章「Social Plays」では,乳児と養育者の間で行われるやりとり遊びの例・性質・発達について述べるとともに,これが連続的に共創されるやりとりの原型となっていることを指摘し,これをモデル化する意義を述べている.

第3章「Interaction Rule Learning through Response Elicitation」では,やりとり遊びの核が「やりとりルール(=乳児の行動と養育者の行動の対応関係)」であることを指摘し,乳児の随伴性認知などの知見から,養育者の応答を予測してそれを引き出すように乳児が行動することで乳児がやりとりルールを理解していくモデルを提案した.実験設定はボールのやりとり遊びの場面を想定して,コンピュータ画面上に向かいあうように二つのヒューマノイドロボットを配し,一方は乳児ロボットとして提案したモデルに基づいて行動し,もう一方は養育者役のロボットとして被験者がゲームコントローラを用いて操作するものとした.両者は前後上下に手を動かして物理シミュレーション世界のなかでボールを使ってやりとり遊びをすることができる.実験は,被験者にはボールを使って乳児ロボットと自由にやりとり遊びしてもらうこととし,やりとりルールの観点から行われたやりとり遊びを解析した.結果,乳児ロボットはやりとりルールを学習することができると同時に,乳児ロボットの行動に対する養育者役被験者の応答は移り変わりやすいことが示されている.

第4章「Continuous Co-creation through Response Habituation」では,やりとり遊びの連続的な共創に向けて,やりとり遊びが獲得されるまでの発達過程の知見から,養育者の応答が分かりきっているときはその応答を引き出すように行動することに乳児は飽きるという馴化の要素をモデルに導入し,安定的なやりとり遊びを乳児側から崩すことによってやりとり遊びが探索的になり,様々なやりとり遊びが連続的に共創されることを示している.そして,やりとり遊びが次々移り変わることを評価する手法として,長い時間窓での乳児養育者間の関係性の強さに対する短い時間窓での関係性の強さを評価する手法を提案し,馴化によってやりとり遊びにバリエーションがもたらされることを示している.

第5章「Searching for Communicative Actions within Imitation」では,模倣を通して乳児は新しいやりとり遊びを発見できることを示している.安定的に行われていたやりとり遊びが崩されたとき,また新たなやりとり遊びに入っていくためには乳児はやりとり遊びに使われうる行動を見つけなければならない.そこで養育者の行動を模倣してしまうという乳児の性質と養育者の応答を予測してそれを引き出すように乳児が行動する性質が共存することによって,養育者の行っているやりとり遊びに使われうる行動を乳児が取り込んで新しいやりとりに入っていくことができることを示している.

第6章「An Integrated Model for Continuous Co-creation」では,提案してきた「相手の応答が予測できる行動を起こすことによる応答の引き出し」「応答が予測できることが十分に確認された行動の抑止」「模倣による試行」の統合モデルを示し,模倣した行動の中からやりとり遊びに使われる行動が応答予測によって選び取られ,応答引き出しと馴化のみの場合に比べてやりとり遊びのバリエーションが増加し,統合モデルではスムーズに新しいやりとり遊びに移り変わり続けることを示している.

第7章「Discussion」では,提案したモデルが更に複雑・現実的なやりとり遊びに向けてどのように展開されうるかを議論している.本論文の実験では,やりとり遊びを成立させる本質的原理に焦点を絞り,特定のやりとり遊びに限定されない一般的な原理を扱うため,場面はやりとり遊びの一般型である対面での物体を介した三項関係とし,また実世界認識行動機能については,両者の動作空間は手の前後・上下・開閉の3次元に限定する,相手の手やボールの位置は完全に把握できるものとする,乳児ロボットの行動開始タイミングは一定時間間隔とするなど,単純化し抽象化されている.これらを緻密化するにあたって本論文で明らかにした原理と干渉する場合の扱いは今後の課題となる.さらに,やりとり一般に見られる乳児の情動表出および乳児らしい見かけが,やりとり遊びの文脈で養育者の挙動に与える影響について実験により考察している.また提案したモデルに基づくコミュニケーションロボットによる自閉症療育への応用可能性について議論している.

第8章「Conclusion」では,以上を統括し,提案したやりとり遊びの連続的共創モデルが本論文の学術的寄与であるとして結論づけている.

以上,これを要するに,本論文は,やりとり遊びの連続的共創が,「相手の応答が予測できる行動を起こすことによる応答の引き出し」を基盤に「応答が予測できることが十分に確認された行動の抑止」「模倣による試行」による探索的な応答の引き出しによって実現されることを示し,やりとり遊びにおける乳児の認知モデルを示した.これにより,ひとつのやりとりで終えるのではなく果てしなく変化しながらやりとりを続けていく社会的知能の理解,やりとりの移ろいやすさの観点からの自閉症行動の理解とその療育,事前にプログラムされたやりとりを超えてオーナーとのやりとりの中で新しいやりとりを生み出すコミュニケーションロボット工学への端緒が開かれたと言える.

以上の理由から,本論文は知能機械情報学上貢献するところ大である.よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.