盲ろう者のコミュニケーション手段の1つである指点字は,相手の指を点字タイプライタのキーボードのキーに見たてて,点字コードを相手の指に直接打つことで意思を伝達する.指点字に習熟すると,文節末を長く打点し,文節間の休止を長くし,文末を長く強く打点するといった,抑揚表現によって文節構造の理解を促進し,音声会話に近い伝達速度を実現している.また,さらに打点の強さや速さを変化させ,その他の皮膚接触などを用いて,多様な感情表現が可能であると言われている.しかし,指点字を習得している健常者は一部の通訳者に限られ,盲ろう者は社会参加に大きな制約を受けている.指点字のルールに,盲ろう者に打点していない時も盲ろう者の指に手を触れ合わせておくというものがある.盲ろう者にとって,皮膚接触コミュニケーションは,「相手がそこにいること」を意味するとともに,相手の非言語情報を取り入れるための重要なコミュニケーションである.それに対して,これまでの先行研究では,盲ろう者が既に獲得した皮膚接触コミュニケーションを十分活用しておらず,盲ろう者にセンサやアクチュエータを装着させ,実際の指点字の打点とは異なる新たなコミュニケーション手段の獲得が必要であった.また,盲ろう者が新しいシステムを操作することは大きな負担となっていた.

　そこで,本論文では,盲ろう者にとって重要な意味を持つ皮膚接触コミュニケーションを尊重し,盲ろう者と健常者の皮膚接触コミュニケーションの促進を図る,指点字支援システムを開発することを目的とした.指点字支援システムは,右手による分散指点字を採用し,指点字習得盲ろう者と指点字未習得健常者の対面時のコミュニケーションを支援する.指点字支援システムとして,健常者に指点字の打点方法を教示する打点教示システムと,盲ろう者からの指点字を認識する打点認識システムを製作した.打点教示システムは,指点字未習得健常者の音声を認識し,その内容の指点字の打点方法を教示する支援を行なう.健常者はその打点パターンを見ながら,盲ろう者の指に指点字を打点する.打点認識システムは,健常者が装着したセンサで盲ろう者から打点された指点字を認識し,音声合成で健常者に伝達する.システムの操作は健常者が行ない,盲ろう者は通常の指点字でコミュニケーションを行なえばよい.また,盲ろう者と健常者の感情伝達の支援のために,限定された場面ながら,指点字通訳者の感情表現の特徴を明らかにし,未習得健常者の感情表現との比較,感情伝達の支援の検討を行なった.

　第1章では,研究の背景と先行研究のまとめ,本研究の目的を述べた.

　第2章では,打点教示システムの打点パターンの表示装置にノートPCの画面を使用し,単音節の打点パターンの表示方法を設計した.打点パターンの表示方法に関する実験(実験I)では,指点字を打点したことのない健常者に対しては,指の写真・イラスト上に打点パターン表示した方法が適しており,指点字の打点を経験している健常者に対しては,打点パターンだけを表示した方法が適していることが明らかになった.打点条件に関する実験(実験II)では,指点字の打点を経験している健常者が打点の速さと強さを変化させて打点できることが明らかになった.それにより,文節末や文末の打点の速さと強さを変化させて打点することで,抑揚表現の可能性が示された.ただし,打点荷重を強く打点すると打点時間が長くなっていた.また,文節構造を明示的に教示する文の教示インターフェースを設計した.タブレットPCを表示装置とし,5行3列の15文字の打点パターンを表示でき,列で文節構造を明示的に教示する教示インターフェースを設計した.実験IIIでは,指点字を打点したことがない健常者が正しく打点できることが明らかになった.また,文節の途中で列をまたがるときも不要な休止は生じていなかった.実験I〜IIIに共通して,点字一覧表を見ながら両手指点字を入力する場合に比べて,正確にかつ速く打点できた.よって,打点教示支援の有効性が示され,打点教示手法を導出した.

　第3章では,2章で導出した打点教示手法を実現する打点教示システムを製作した.盲ろう者と健常者の皮膚接触を維持するために,健常者の音声を認識し,点字表記に変換し,文節分かち書き化し,打点パターンを表示する,片手で操作可能なシステムを実現した.基本機能の評価実験の結果,音声認識の単語認識率は,音声トレーニングをしない場合で89.7%,言い直しで92.8%,点字表記文字列への変換精度は100%,文節分かち書き化の精度は100%を達成できた.指点字習得者とのコミュニケーション実験の結果,1分間あたりのコミュニケーション速度が21.8文字/minと限定された伝達時間であるものの,指点字未習得健常者が指点字の抑揚を表現して,コミュニケーションを行なうことができた.健常者が盲ろう者から手を離さない,言い直しや編集の時は合図を決めておくことが重要であることが明らかにされた.

　第4章では,盲ろう者からの打点された指点字を,被打点者である健常者が装着したセンサを使用して認識するために,盲ろう者との皮膚接触コミュニケーションを阻害しないセンサと装着方法を検討した.装着方法として,健常者の指根部に指輪を装着する方法とした.指点字の打点によって被打点者に生じる変化として,被打点者の指に衝撃が伝達することに注目し,使用するセンサに小型の加速度センサを選択した.打点運動の計測の予備実験によって,加速度センサで計測される衝撃加速度には,センサを装着している指が打点されて生じる衝撃加速度(自指打点)と他の指が打点されて生じた衝撃加速度が手掌を通じて伝わった衝撃加速度(他指打点)の2種類あることが確認された.その衝撃加速度で打点を認識できる可能性と計測条件が示された.しかし,指点字は抑揚表現や感情表現で打点の強さが大きく変動し,衝撃加速度の振幅に一定の閾値を設定しても正しく認識できないことが示された.そこで,打点の強さや被打点者に依存しない打点認識手法を導出するために,打点運動の計測実験を行なった.他指打点には手掌を伝わる分,必ず時間遅れを生じる特徴に注目し,最初に極大加速度が検出された指を基準に,他の指の加速度の振幅比と100Hzパワー差で打点を認識できることが明らかになった.これは,打点の強さや被打点者に依存しない打点の認識の可能性が示された.また,加速度の減衰振幅の比から打点位置を認識できることが明らかになった.

　第5章では,4章で導出した打点認識手法を実現する打点認識システムを製作した.盲ろう者のシステム操作の負担を軽減するために,被打点者である健常者が加速度センサを装着した.加速度センサを使用して認識された点字コードを日本語文に変換し,音声合成した.指点字通訳者の打点の認識実験の結果,通常の1/3程度の速さのゆっくりした,確実な打点について,打点認識率89.1%,文字認識率81.1%を実現した.また,単に認識結果を音声で健常者に伝えるだけでなく,健常者が理解した内容を,盲ろう者に伝える必要が明らかにされた.

　第6章では,盲ろう者と健常者がより豊かなコミュニケーションを実現するために,指点字の感情表現と感情伝達の支援について検討した.指点字通訳者の感情表現に関する実験(実験IV)で,指点字通訳者の感情表現の特徴を明らかにした.「喜び」は打点時間を短く,打点荷重を「怒り」の次に強く,「悲しみ」は打点時間を長く,打点荷重を弱く,「怒り」は打点荷重を最も強く,打点時間を「喜び」の次に短く打点していることが明らかになった.これらの傾向は音声など他のメディアでの感情表現と共通するものであった.指点字未習得者の感情表現と伝達の実験(実験V)では,指点字未習得健常者が指点字という新しいコミュニケーション手段で,感情表現できることが明らかになった.未習得者が感情表現に持つイメージと打点の打ち分けは,通訳者と共通することが明らかにされた.しかし,実験IIの結果と共通して,打点荷重の強い「怒り」の打点時間が長くなり,通訳者との相違がみられた.感情の伝達は,感情一致率75%であり,音声など既に獲得しているコミュニケーション手段と同等程度の感情伝達の可能性が示された.また,指点字支援システムにおける感情伝達の支援として,健常者への感情表現方法の教示と,盲ろう者から打点された指点字に含まれる感情の認識を検討した.感情表現方法の教示では,未習得者と通訳者の打点の違いを埋めるために,直接打点の速さと強さを教示する方法と,通訳者に共通するイメージを教示する方法を検討した.指点字に含まれる感情の認識では,指点字通訳者の感情表現を加速度センサで計測し,衝撃加速度の振幅と区間長を判別変数とし,指先側と指中央の打点の判別分析を行なった.その判別関数を使用して,課題文に関係なく感情認識の可能性が示された.

　第7章では,本研究で得られた知見まとめ,総合的に考察し,今後の課題を述べた.

　以上の結果から,健常者が指点字支援システムを使用して,指点字を習得した盲ろう者と指点字未習得健常者が,限定されたコミュニケーション速度ではあるが,指点字を使用して双方向のコミュニケーションができることが確認された.これにより,通訳者を介して行なわれてきた盲ろう者のコミュニケーションが,盲ろう者はシステムを操作する必要なく,指点字を習得していない健常者と直接の皮膚接触コミュニケーションが可能となった.

　本論文は7章からなり、第1章は序論、第2章は指点字の打点教示手法、第3章は指点字の打点教示システムの製作、第4章は指点字の打点認識手法、第5章は指点字の打点認識システムの製作、第6章は指点字による感情表現の計測、第7章は結論について述べられている。

　第1章では、研究の背景と先行研究のまとめ、研究の目的が述べられている。盲ろう者のコミュニケーション手段のうち右手による分散指点字に注目し、盲ろう者と健常者の皮膚接触コミュニケーションの促進を図る指点字支援システムの開発を目的としている。この指点字支援システムでは、盲ろう者と健常者が指点字によって皮膚接触コミュニケーションを行なうこととし、健常者の音声を認識して指点字の打点方法を教示する打点教示システムと、盲ろう者から打点された指点字を健常者が装着したセンサを使用して認識し、音声合成する打点認識システムを製作している。また、盲ろう者と健常者の感情伝達の支援について検討している。

　第2章では、打点教示システムの打点パターンの表示方法と、列で文節構造を明示的に教示する文の教示インターフェースを設計している。打点パターンの表示方法に関する実験(実験I)では、指点字を初めて打点する健常者には指の写真・イラスト上に打点パターンを表示する方法が適しており、打点したことがある健常者には打点パターンだけ表示する方法が適していることを検証している。打点条件に関する実験(実験II)では、指点字を打点したことがある健常者が、打点の強さと速さを変化させて打点できることを明らかにし、抑揚表現の可能性を示している。文の打点教示に関する実験(実験III)では、指点字を打点したことがない健常者が正しく打点できることを検証している。実験I〜IIIに共通して、正確かつ速く打点できており、打点教示支援の有効性が示され、打点教示手法を導出している。

　第3章では、2章で導出した打点教示手法を実現する打点教示システムを製作している。盲ろう者と健常者の皮膚接触を維持するために、健常者の音声を認識し、点字表記に変換し、文節分かち書き化し打点パターンを表示している。指点字習得者とのコミュニケーション実験の結果、1分間あたりのコミュニケーション速度が21.8文字/minと限定されているものの、指点字未習得健常者が指点字でコミュニケーションを行なうことを実現している。

　第4章では、発声が不明瞭な盲ろう者から打点された指点字を、被打点者である健常者が装着した加速度センサを使用して認識する手法について述べられている。加速度センサによって計測される衝撃加速度には、センサを装着した指が打点されて生じる衝撃加速度(自指打点)と、他の指が打点されて生じた衝撃加速度が手掌を通じて伝わった衝撃加速度(他指打点)があり、その判別が必要である。ここでは、他指打点には必ず時間遅れが生じる特徴に注目し、最初に極大加速度が検出された指を基準に、他の指の加速度の振幅比と100Hzパワー差で打点指を認識する手法を導出している。また、被打点者の手にアーチを作り机上に置いた状態で、加速度の減衰振幅の比から、分散指点字の打点位置を認識する手法を導出している。

　第5章では、4章で導出した打点認識手法を実現する打点認識システムを製作している。加速度センサを使用して認識された点字コードを日本語文に変換し、音声合成している。指点字通訳者の打点の認識実験の結果、通常の1/3程度の速さの確実な打点について、打点ごとの打点指の認識率は94.3%、打点位置の認識率は94.9%を実現している。

　第6章では、盲ろう者と健常者がより豊かなコミュニケーションを実現するために、指点字の感情表現と感情伝達の支援について述べている。指点字通訳者の感情表現に関する実験(実験IV)では、「喜び」は打点時間を短く、「悲しみ」は打点時間を長く、打点荷重を弱く、「怒り」は打点荷重を最も強く打点していることを明らかにしている。指点字未習得者の感情表現と伝達の実験(実験V)では、指点字未習得健常者が指点字という新しいコミュニケーション手段で感情表現でき、未習得者が感情表現に持つイメージと打点の打ち分けは、通訳者と共通することを明らかにしている。また、指点字支援システムにおける感情伝達の支援として、健常者への感情表現方法の教示と、盲ろう者から打点された指点字に含まれる感情の認識を検討している。

　第7章では、本論文の総括と今後の課題を述べている。

　なお、本論文第2章第1節は、佐久間一郎、神保泰彦、小林英津子、荒船龍彦、磯村恒との共同研究、第6章第2節は磯村恒との共同研究であるが、論文提出者が主体となって実験の設計、実施、および分析を行なったもので、論文提出者の寄与が十分であると判断する。

　したがって、博士(環境学)の学位を授与できると認める。