集会などにおいて聴覚障害者へ音声情報を伝達するための情報保障手段としては、手話通訳や要約筆記、磁気ループなどが使われることが多い。この中で文字言語で音声情報を伝達する要約筆記は、主として手話を知らない中途失聴・難聴者に利用されているが、熟練した要約筆記者でも話の内容のほんの一部しか伝えることができないこと、筆記者の能力によっては主旨が間違って伝達されることもあること、要約筆記者の目や腕の健康を害しやすいこと、などの問題点が指摘されている。これらの問題点を解決するために、通常の速度(漢字かな交じり文で300〜350字/分)の話を要約することなく全文をリアルタイムで文章として表示する情報保障装置を開発することを本研究の第1の目的とする。このようなシステムの開発のためには、リアルタイム音声文字変換や聴覚障害者への最適文章呈示などに間するヒューマン・マシン・インタフェース技術を明らかにすることが必要である。これを本研究の第2の目的とする。

　まず、リアルタイム音声記録方式に関して検討を行った。音声認識技術はまだ実用段階にはなっておらず、特定話者や限定語彙などの制限をつけなければ使用できない。そのため、人間が認識した音声をなんらかの方法で記録しなければならない。カナタイプ、M式、日本語ワープロ、点字タイプ、タッチタイプなどの入力方法を記録速度の面から比較検討した結果、通常の話の速度で長時間疲労せずに記録できる方法は速記以外にないことが明らかとなった。速記は特殊な速記記号で記録するため、リアルタイム音声文字変換を実現するためには、リアルタイムで速記記号を文字に再変換(反訳)する必要がある。このリアルタイム反訳を行うためには、速記記号をコンピュータで自動反訳すればよい。このコンピュータへの速記記号の入力の容易さに関して考察した結果、リアルタイム音声文字変換に最も適した速記は、日本で唯一の器械速記であるソクタイプ式であることがわかった。

　ソクタイプの入力法は、複数のキーを同時に打鍵し、その組み合わせで速記記号を表す。そこでソクタイプの速記記号をコンピュータに入力するための同時打鍵入力キーボードの入力特性について、定性的検討、同時打鍵キーボードの試作及び実験を行い、評価した。その結果、同時打鍵方式のキーの作動力特性については、入力ミスを少なくするには移動量が大きくて接点が移動量の中央付近にあればよいこと、キーを押しつけておくのに必要な力が小さく、キータッチが柔らかい方が疲労は少ないことが明らかとなった。

　次に最適文章呈示方法に関して実験を通して検討を行った。その結果、話の速度で表示されるかな表示の文章は、健聴者や日本語読解能力の高い聴覚障害者であれば読み取り可能であること、かな表示に比較して漢字かな交じり文の方が読みやすく、漢字の含まれる割合の少ない文章では分かち書きをする方が読みやすいこと、自動的に表示される文章ではスクロール表示よりもページング表示の方が読みやすいこと、話の速度で文章を表示する場合、一画面に表示される文章が100字未満になると内容がわかりにくくなることが明らかとなった。

　自動反訳に関して考察した結果、リアルタイム音声文字変換結果には必ず多少の間違いが含まれること、また正確な漢字かな交じり文を生成することはできないことがわかった。そこで間違いをリアルタイムで修正する作業のヒューマン・マシン・インタフェースに関しても検討を行った。その結果、話の速度で表示されるかな文章に対して、かな漢字変換をリアルタイムで行うことは不可能であること、修正作業の中でカーソル操作に要する時間が多くの部分を占め、そのために全文章の5%以上の修正はできないことが明らかとなった。またリアルタイムでの修正を実現するには、間違いを重大な間違いと些細な間違いに分け、重大な間違いから優先的に修正するのがよいことがわかった。

　以上のヒューマン・マシン・インタフェースに関する実験結果及び考察に基づいて、講演会場などにおいてリアルタイムで音声を文字化し、複数の聴覚障害者に呈示する情報保障装置を開発した。このシステムを速記式音声変換装置(STENograph OPerated speech CONversion system)の英字の頭文字をとってステノプコンシステム(STENOPCON system)と呼ぶこととした。そのシステム構成を図1に示す。ステノプコンシステムは、同時打鍵入力の作動力特性を考慮して作成した入力部、リアルタイム自動反訳と修正作業を行うパーソナルコンピュータからなる処理部、及び文字の表示を行うビデオプロジェクターやOHPからなる表示部より構成される。音声は速記者によって同時打鍵式の速記キーボードから速記記号で記録される。この速記記号はパーソナルコンピュータに送られ、自動反訳されて、画面上に表示される。この文章を修正者が修正・確認し、表示部から呈示する。呈示された文章は同時に磁気記録される。

図1 ステノプコンのシステム構成

　速記の自動反訳は人間が行うのと同じアルゴリズムで行うが、速記文法のあいまいさから複数の訳語候補のある場合がある。この場合にはそれぞれの訳語の優先度を評価し、最も可能性が高いと判断された訳語を表示する。この際にリアルタイム性を考慮し、細かな文法解析等は行っていない。速記は本来音のみを記録しているので漢字の区別はできない。また、現在の自動かな漢字変換の精度は低い。そのため自動反訳では同音異義語のない語のみ漢字表記する。また、速記文法の分析を行い、その結果を利用して、自動分かち書き表記を実現している。また反訳時に入力ミスの一部を自動的に訂正するための方式を提案し、組み込んでいる。

　リアルタイム修正機能については、先の考察及び速記文法の特徴の考察を基に開発した。修正時間の多くの部分を占めるカーソル操作に関しては、簡便に操作できるジャンプ機能を作成して時間の短縮を図った。削除などの通常の編集機能のほかに、ひらがなカタカナ変換、濁音変換、同音助詞変換などステノプコン特有の機能を付加した。また、あらかじめ入力してある文章を順次表示する機能や、表示画面の文字の大きさを変更する機能、速記者が入力練習を行うための機能なども用意した。またよく使用する用語を効率よく速記記号に登録するための速記辞書管理ユーティリティを作成した。

　ステノプコンシステムの操作者の養成を行った。速記者としては、ソクタイプの速記者に対してステノプコン固有の速記記号を覚えさせた。またこのシステムが将来普及した場合の速記者の養成を考慮し、視覚障害者の速記作業に対する適性を調べるために、全盲者1名に対して速記者として養成する実験を行った。その結果、速記作業を行えるようになり、視覚障害者がステノプコンの速記者としての十分な能力を有することを確認した。修正者に関しては、養成プログラムを作成し、日本語ワープロが操作可能な人に対して養成を行った。

　このステノプコンシステムの評価を行うために、テープ録音された講演をステノプコンを使用して記録したものと、テープ起こしをした結果とを比較する実験を行った。操作者は上記で養成した人を用いた。その結果、ステノプコンを用いて通常の速度の話をリアルタイムで要約せずに文字化できること、表示される文章中に含まれる漢字の割合は10%程度であること、速記者と修正者の熟練度によってシステムの性能を十分発揮できない場合もあること、速記者と修正者が熟練していれば文章中に含まれる間違いの割合は1%以下にすることができることが明らかとなった。

　このステノプコンを実際に聴覚障害者の集会等で使用してアンケート調査を行い、聴覚障害者や団体関係者などの意見を聴取して評価を行った。その結果、ステノプコンは文字による情報保障装置として非常に有効であること、他の情報保障の補助手段としても有効であることがわかった。また、問題点としては漢字が少なくて読みづらいことを挙げる人が多かったこと、修正者が熟練していないと話から文字表示までに数十秒の遅れが生じる場合があることが明らかとなった。

　本システムはリアルタイム音声文学変換を実現するはじめてのシステムであり、福祉用以外にも多くの分野で有効に活用できる可能性がある。またヒューマン・マシン・インタフェースに関する研究成果は、将来音声認識技術が発展した場合にも応用できる。

　本論文は、聴覚障害者に対して日本語音声を要約せずに実時間で文字に変換する装置の開発、およびそのヒューマン・マシン・インタフェースの基礎に関する研究論文である。

　第1章では序論として、聴覚障害者へ音声情報を伝達するための情報保障手段の現状とその問題点について様々な視点から考察し、その結果、望ましい情報保障手段としては、音声を要約せずに実時間で文字に変換することが重要と指摘している。

　第2章では、第1章の考察に基づき本研究の目的として、通常の速度(漢字かな交じり文で300〜350字/分)の話を、要約するこどなく全文をリアルタイムで文章として表示する情報保障装置を開発すること、およびこのようなシステムの開発に必要とされるリアルタイム音声文字変換や聴覚障害者への最適文章呈示などに関するヒューマン・マシン・インタフェース技術を明らかにすることとしている。

　第3章では、まずリアルタイム音声記録方式に関して比較検討した結果、通常の話の速度で長時間疲労せずに記録できる方法は速記以外にないことを明らかにした。この場合、リアルタイム音声文字変換を実現するためには、速記記号をコンピュータで自動反訳する必要があるが、コンピュータへの速記記号の入力の容易さに関しては、リアルタイム音声文字変換に最も適した速記は、日本で唯一の器械速記であるソクタイプ式であることを示した。次いで、ソクタイプの速記記号をコンピュータに入力するための同時打鍵入力キーボードの入力特性について、定性的検討、同時打鍵キーボードの試作および実験による評価を行い、同時打鍵方式のキーの作動力特性については、入力ミスを少なくするには移動量が大きくて接点が移動量の中央付近にあればよいこと、キーを押しつけておくのに必要な力が小さく、キータッチが柔らかい方が疲労は少ないことを明らかにした。

　第4章では、最適文章呈示方法に関して実験を行った結果、話の速度で表示されるかな表示の文章は、健聴者や日本語読解能力の高い聴覚障害者であれば読み取り可能であること、かな表示に比較して漢字かな交じり文の方が読みやすく、漢字の含まれる割合の少ない文章では分かち書きをする方が読みやすいこと、自動的に表示される文章ではスクロール表示よりもページング表示の方が読みやすいこと、話の速度で文章を表示する場合、一画面に表示される文章が100字未満になると内容がわかりにくくなることを明らかにした。

　第5章では、自動反訳におけるリアルタイム音声文字変換の結果には必ず多少の間違いが含まれ、かつその修正作業で最も時間を要するのはカーソル操作であるため、全文章の5%以上の修正は困難であることを明らかにした。また、リアルタイムでの修正では、間違いを重大な間違いと些細な間違いとに分けて,重大な間違いから優先的に修正することの必要性を述べている。

　第6章では、前章までに述べた情報保障装置におけるヒューマン・マシン・インタフェースに関して、その特徴、現状、要求される仕様などをまとめとして述べている。

　第7章では、開発した速記式音声変換装置(STENOPCON system:STENograph OPerated speech CONversion system)のシステム構成、およびそのソフトウエアについて述べている。この中で、速記からの自動反訳の特徴として、最も可能性が高い訳語を評価して表示すること、細かな文法解析は行わないこと、同音異義語のない語のみ漢学表記すること、速記文法の解析から自動分かち書き表記を行うこととしている。さらに、反訳時に入力ミスの一部を自動的に訂正するための方式も提案し組み込んでいる。また、リアルタイム修正機能に関しては、削除などの通常の編集機能の他に、カーソルのジャンプ機能、ひらがなカタカナ変換・濁音変換・同音助詞変換などのステノプコン特有の機能、あらかじめ入力した文章を順次表示する機能、表示画面の文字の大きさを変更する機能、速記者が入力練習を行うための機能などを組み込み、さらに、頻繁に使用する用語を効率よく速記記号に登録するための速記辞書管理ユーティリティも作成している。

　第8章では、ステノプコンシステムの操作者養成に関して述べている。全盲者1名に対して速記者養成の実験を行った結果、視覚障害者は、ステノプコンの速記者としての十分な能力を有することを示した。

　第9章では、ステノプコンシステムの評価実験を行った結果、本システムは、通常の速度の話をリアルタイムで要約せずに文字化できること、表示される文章中に含まれる漢字の割合は10%程度であること、ステノプコンの性能発揮には速記者と修正者の熟練度に依存するが、速記者と修正者が熟練していれば文章中に含まれる間違いの割合を1%以下にできるとことを示した。また、ステノプコンを実際に聴覚障害者の集会等で使用してた結果、本システムは、文字による情報保障装置として非常に有効であること、他の情報保障の補助手段としても有効であること、また、問題点としては漢字が少なくて読みづらいことを挙げる人が多かったこと、修正者が熟練していないと話から文字表示までに数十秒の遅れが生じる場合があることなどを確認した。

　第10章では、本論文全体の考察を行い、第11章の結論では、聴覚障害者への文字による情報保障装置に要求されることに関して、リアルタイム音声文字変換方式、聴覚障害者への最適文章表示法などについて明示すると共に、その結果に基づいて開発したステノプコンシステムは、聴覚障害者への文字による情報保障手段として有効で、多くの聴覚障害者の社会参加を促進することができると述べている。また、本システムはリアルタイム音声文字変換を実現するはじめてのシステムであり、福祉用以外にも多くの分野で有効に活用できる可能性があること、さらにヒューマン・マシン・インタフェースに関する研究成果は、将来音声認識技術が発展した場合にも応用できると展望している。

　よって本論文は博士(工学)の学位請求論文として合格と認められる。