本論文は,多様な障害特性を示す盲ろう者のコミュニケーションを支援することを目的した支援技術の開発とその評価結果について論じたものである.

第1章では,研究の意義と目的について論じている.盲ろう障害は,視覚と聴覚のそれぞれの障害の程度(全盲・全聾,全盲難聴,弱視・全聾,弱視・難聴),それぞれの障害の発生時期や順序(先天盲ろう,中途盲ろう,盲ベース,聾ベース),受けてきた教育等の環境によって多様な障害特性を示すので,盲ろう者用支援機器の開発においてはこのような障害特性を十分考慮する必要がある.この中でも全盲・全聾の盲ろう者は視覚または聴覚を利用することができないので情報伝達のために触覚を介する必要がある.

現状では,テキスト情報などに限定されてはいるが,盲ろう者は点字ディスプレイによりインターネット上での情報取得と発信が可能である.しかし,指点字の遠隔でのコミュニケーションはまだ実現されていなかった.一方,指点字には,単位時間当たりに伝達できる音節数が他のコミュニケーション手段に比べて多いという特徴がある.以上から,本研究では指点字によるコミュニケーションを支援するための指点字触覚デバイスの開発とその評価を行うこととした.

また,一方で点字を修得していない盲ろう者が少なくないという問題もある.残存する視覚と聴覚を利用することができず,さらに点字を使用できない場合,その盲ろう者は単独で印刷物や電子化された情報へアクセスすることができない.そこで,次に非点字使用の盲ろう者を対象にしたカナ呈示用触覚ディスプレイを開発し,その評価をおこなうこととした.

さらに,触覚を介したコミュニケーションには非言語情報も大きな役割を果たすことが知られている.そこで,表情・感情・周りの人の話など音声の持つ言語情報以外の韻律情報などを伝達するための手段として,触覚デバイスにより音声ピッチ情報を呈示する触覚フィードバック歌唱支援システムを開発し,その評価をおこなうこととした.以上の3つの支援デバイスの開発とその評価から触覚を介したコミュニケーション支援法の有用性を考察することとした.

第2章では,第1章で述べた本研究の目的がどのような背景で形作られたのかを,従来研究と本研究との位置付けを論じることにより述べた.まず初めに,盲ろう障害の特性,コミュニケーション方法,教育・リハビリテーションの現状について述べた.盲ろう障害は多様な障害特性を示すので,その対応方法は多岐に渡るが,教育・リハビリテーションの状況は徐々にではあるが整えられつつある.次に,盲ろう者用支援機器の現状と課題として,市販されている盲ろう者用支援機器の現状と課題,さらに,盲ろう者用支援技術と関連する従来研究について述べた.その結果から,製品化されている点字ディスプレイ表示機能付きスクリーンリーダーを利用することにより,盲ろう者がインターネット上から情報を取得したり,発信したりすることは可能であるが,指点字によるコミュニケーションを支援する技術は本研究を実施した当時はまだ実現されていないことを明らかにした.一方,点字を修得していない盲ろう者も少なくないので,このような盲ろう者を対象とした文字の形を2次元触覚ディスプレイで呈示するカナ呈示触覚ディスプレイシステムを開発する必要性があった.さらに,指点字などの盲ろう者のコミュニケーション方法ではテキスト情報だけでなく非言語情報も活用されていることから,本研究では表情・感情・周りの人の話など音声の持つ言語情報以外の韻律情報を伝達するための手段として,触覚デバイスによる音声ピッチ情報の呈示とフィードバックの重要性を指摘した.

第3章では,文字情報の触覚呈示について論じた.初めに開発した指点字触覚デバイスおよび,カナ呈示触覚ディスプレイについてその設計指針と評価結果を示した.

指点字触覚デバイスでは,通訳者なしでも指点字を使用できる盲ろう者と指点字を知らない健常者がコミュニケーションできるシステムの構築を目指した.予備実験により,時系列に呈示される2つの振動の指先の触覚における弁別閾値は10msであることを求めた.この弁別閾値を基に指点字認識実験をおこない,振動時間T1=200[ms],振動間隔時間T2=400[ms]の場合の認識率が,全ての文字数において90%以上となることがわかった.この条件を基にコミュニケーション評価実験をおこない,本システムにおいて通訳者なしで盲ろう者と健常者のコミュニケーションが成立することを確認した.

カナ呈示触覚ディスプレイの開発では,初めに,触覚ディスプレイ用の文字フォントを作成し,その評価をおこない,その結果,最も正解率の低い被験者でその値は80%であることが分かった.学習効果評価実験では,最も正解率の低かった被験者で学習効果が確認されるとともに,訓練を実施する上で間違えやすい文字の組合せがいくつか得られた.次にテンキー入力方式を評価し,初心者でも文字入力が可能であることを確認した.以上の結果をもとにカナ呈示用触覚ディスプレイシステムを試作した.また,点字ディスプレイ出力機能付きスクリーンリーダーの点字出力をカナ呈示できるファインピッチ型カナ呈示触覚ディスプレイシステムを開発し,弁別実験を通じてその有用性を明らかにした.

第4章では,音声ピッチ情報の触覚呈示について論じた.初めに,デバイス開発と音声ピッチフィードバック実験について,次に,触覚フィードバックによる歌唱支援システムの提案と評価について述べた.

初めの音声ピッチフィードバック実験では,目標音程と自己の音声ピッチ周波数を触覚呈示する2次元触覚ディスプレイを開発し,それとパーソナルコンピュータとを接続することにより音声ピッチ制御のための触覚フィードバックシステムを構築した.計測データを分析した結果,発声した音声ピッチ周波数の平均値が目標音程の範囲内であったので,本触覚フィードバックシステムが音声ピッチ制御のために有効に機能していることが分かった.また,呈示したメロディに合わせて歌う課題をおこなった結果,音声ピッチのずれやばらつきはまだ存在するものの,概ね音声ピッチを音階に合わせて制御することができた.

触覚フィードバックによる歌唱支援システムの提案と評価では,触覚フィードバックによる音声ピッチ呈示システムを用いて盲ろう者による歌唱訓練を4回実施した.課題曲のピッチ差を指標として音程の正確さを評価した結果,学習効果は認められなかったが,回数を重ねる毎にピッチ差が安定してくることを確認した.さらに,その時呈示音程と自己の音程とのピッチ差の平均は117.5[cent]となることが分かった.このピッチ差は,一般の成人健聴者から健聴幼児の音程と同様の正確さであることから,本システムを用いることにより,盲ろう者が成人健聴者・健聴幼児と同程度の正確さを持って歌唱できることを推察した.

第5章では,触覚呈示法の展開について論じた.まず初めに,盲ろう者支援のための触覚デバイスへの展開について述べた.本研究で開発した指点字触覚デバイスと,カナ呈示触覚ディスプレイシステムをインターネットや放送などのマルチメディアや携帯電話に組み込むことにより多様なコミュニケーション支援に展開できることを述べた.

次に,盲ろう者の教育・リハビリテーションへ本研究の成果がどのように生かされるかを考察した.近年,盲ろう者の教育・リハビリテーションを取り巻く教育環境は進展してきており,大学などの高等教育機関での教育を希望する先天的障害の盲ろう生徒もでてきているが,このような人達に本研究の成果を生かす方法についても考察した.

最後の第6章では,本研究の結論と今後の課題について論じた.

本研究の結論は以下のようになる.初めに,文字情報の触覚呈示の研究の一つとして,指点字触覚デバイスを開発し,盲ろう者と健常者との間でコミュニケーションが成立することを確認した.次に,文字情報の触覚呈示の研究のもう一つとして,カナ呈示触覚ディスプレイシステムを開発し,非点字使用の盲ろう者が電子化された情報に単独でアクセスできることを明らかにした.さらに,音声ピッチ情報の触覚呈示の研究では,音声ピッチ呈示システムを開発し,歌唱等の韻律情報制御に有効であることを確認した.これらの研究の結果,テキスト情報,音声情報,韻律情報を融合して伝達するシステムを開発する上での要素技術が確立された.

今後も,本研究のような応用研究を通じて,盲ろう者の触覚を介した文字や音声の情報が脳内のどの経路でどのように処理されているかという問題を浮き彫りにするとともに,さらに良いコミュニケーション支援方法を追究していきたい.

視覚と聴覚に重複した障害を持っている「盲ろう者」と呼ばれる人たちは,その生活および就労の上では大きなハンディキャップを負っているが,特に文字や音声によるコミュニケーションの障壁(バリア)をどのように取り除く(バリアフリー)かがハンディキャップを軽くする上での重要な課題となる.盲ろう者のコミュニケーション方法には,手話,指文字,手のひら書き,そして日本で考案された指点字など障害特性に応じて多様な方法が存在する.このような盲ろう者のコミュニケーションの現状に対して,本論文では文字情報の触覚呈示として,まず初めに指点字に着目し,遠隔でもコミュニケーション可能な指点字触覚デバイスの研究開発をおこない,その有用性を認知科学の観点から評価をしている.また,非点字使用の盲ろう者の電子情報へのアクセスを支援するためのカナ呈示触覚ディスプレイシステムの研究開発もおこない,その有用性を確認している.次に,音声の韻律情報に着目し,特に音声ピッチ情報を指先の触覚に呈示する触覚フィードバック歌唱支援システムを開発し,歌唱における触覚フィードバックの有用性を実証している.

これらの研究の結果,文字情報と音声ピッチ情報を融合して伝達するシステムを開発する上での要素技術が確立され,得られた知見や技術は,将来の教育・リハビリテーションへ生かされることが期待できる.

本論文は,第1章では,研究の意義と目的について論じている.盲ろう障害は,視覚と聴覚のそれぞれの障害の程度,それぞれの障害の発生時期や順序,受けてきた教育等の環境によって多様な障害特性を示すので,盲ろう者用支援機器の開発においてはこのような障害特性を十分考慮する必要があることを示している.この中でも全盲・全聾の盲ろう者は視覚または聴覚を利用することができないので,情報伝達のために触覚を介する必要があることを強調している.

第2章では,まず初めに,盲ろう障害の特性,コミュニケーション方法,教育・リハビリテーションの現状について述べている.また,市販されている盲ろう者用支援機器の現状と課題,さらに,盲ろう者用支援技術と関連する従来研究について述べている.その結果,指点字によりコミュニケーションを支援する技術は本研究を実施した当時はまだ実現されていなかったことを明らかにしている.一方,点字を修得していない盲ろう者も少なくないので,このような盲ろう者を対象とした文字の形を2次元触覚ディスプレイで呈示するカナ呈示触覚ディスプレイシステムを開発する必要があることを述べている.さらに,表情・感情・周りの人の話など音声の持つ言語情報以外の韻律情報などを伝達するための手段として,触覚デバイスにより音声ピッチ情報を呈示する方法の有用性を論じている.

第3章では,文字情報の触覚呈示について論じている.初めに開発した指点字触覚デバイスとカナ呈示触覚ディスプレイについて,その設計指針と性能評価を行っている.指点字触覚デバイスでは,インターネット等を活用し,通訳者なしでも,遠隔からでもコミュニケーションができるシステムを構築している.本システムを用いると通訳者なしで盲ろう者と健常者のコミュニケーションが成立することを健常者との会話実験を通じて確認している.

カナ呈示触覚ディスプレイの開発では,初めに,触覚で弁別しやすいような文字フォントを作成し,その評価・改良をおこなっている.その結果を踏まえ,テンキー入力方式を開発し,初心者でも文字入力ができるようにしている.以上の結果をもとに,点字ディスプレイ出力機能付きスクリーンリーダーの点字出力をカナ呈示できるファインピッチ型カナ呈示触覚ディスプレイシステムを開発し,その有用性を実証している.

第4章では,音声ピッチ情報の触覚呈示について論じている.まず,目標音程と音声ピッチ周波数を人差指の触覚に呈示する2次元触覚ディスプレイとそれを利用した音声ピッチ制御のためのコンピュータシステムを開発している.次に,本システムを用いて触覚フィードバックによる歌唱訓練を実施している.触覚フィードバックによる音声ピッチ呈示システムを用いて盲ろう者による歌唱訓練を4回実施した結果,目標音程と自己の音程とのピッチ差の平均は117.5[cent]となっていることを示している.以上から,本システムを用いることにより,盲ろう者が成人健聴者・健聴幼児と同程度の正確さを持って歌唱できることを示している.

第5章では,触覚呈示法の展開について論じている.本研究の結果,文字情報と音声ピッチ情報を融合して伝達するシステムを開発する上での要素技術が確立され,今後,これらの技術を教育・リハビリテーションへどのように展開すれば良いかを考察している.

第6章では,本研究の結論と今後の課題について論じている.

以上のように本論文は,盲ろう者のコミュニケーション特性に応じた触覚呈示法を追究したものであり,そのシステムを開発する上での要素技術を確立するとともに,文字情報と音声ピッチ情報を融合して伝達するシステムの有用性を明らかにしたものである.得られた知見や技術は,盲ろう者の教育・リハビリテーションへ適用されることに十分に期待され,その社会的貢献も極めて大きいと言える.

よって本論文は博士(工学)の学位請求論文として合格と認められる.