本論文では,手話-日本語間自動通訳システムの実現のために重要な技術の一つである手話認識技術について論じる。手話は音声言語とは異なる言語的特徴を有するため,本研究では,手話認識を行う上で必要となる各処理において手話の言語的特徴を導入することに焦点をあてて各方式を検討した。

　まず第1章では,本研究の背景,目的,位置付けについて述べる。近年,聴覚障害者の積極的な社会参加に伴い,聴覚障害者と聴者の間におけるコミュニケーションの支援が重要な課題となっている。聴覚障害者が日常用いる日本手話は日本語とは異なる言語であるため,日本語に基づいた筆談や口話法によるコミュニケーションは聴覚障害者の自然なコミュニケーションには適していないという問題がある。これを解決する手段として,手話通訳者を介したコミュニケーションがある。しかし,手話通訳者の不足により,聴覚障害者が必要な時に手話によるサービスを受けられるとは限らないという問題がある。また,プライバシーの問題もあるため,手話通訳者が介在するコミュニケーションが適切であるかどうかという議論もある。本研究の目的は,これらの問題を解決するために重要な技術の一つとなる手話認識技術を開発することにある。

　第2章では,本研究において対象とする手話の言語的特徴と,手話を工学的に扱う分野である手話工学の現状,および手話認識に関する先例研究について述べる。聴覚障害者が日常使用する日本手話は,手の動き(手指動作)だけでなく,頭の動きや,眉,視線,口形,肩等の手以外の動作(非手指動作)により,ほぼ上半身全てを駆使して表現する視覚的な言語である。このため手話は,写像性,同時性,空間を利用した表現,非手指動作による文法情報等,日本語や英語等の音声言語にはない特徴を数多く有する。手話認識においては,これらの言語的特徴を考慮した方式が必要となる。また,手話を工学的に扱う手話工学の分野では,手話表記法,手話コーパス,手話生成,応用システム,手話伝送等の技術開発がさまざまな研究機関によって進められている。手話認識は手話工学における分野の一つであり,特に聴覚障害者と聴者の間のスムーズなコミュニケーションを支援するための手話-日本語間白動通訳システムを実現するために重要な技術である。手話認識に関連する研究としては,手指動作から手話単語を認識するための研究を中心として,手話動作のセグメンテーション,文法解析処理等の研究が行われている。また,手話動作の入力から手話の文法的な解析までの一貫した処理を行う手話認識システムの構成についても提案されているが,日本手話における非手指動作の統合や,詳細な処理の流れについては考慮されていない。

　第3章では,本研究において開発した手話認識システムの概要について述べる。まず,手話認識システムが対象とする手話の種類や発話内容等の入出力仕様,および目標精度について述べる。次に,手袋型入力装置とビデオ入力装置からの情報を統合した手話認識システムを提案する。提案システムでは,手指動作と非手指動作の入力に適した入力装置の利用,ワードスポッティングに基づく認識,文脈による変化に対応した認識,手指動作情報と非手指動作情報の統合等を実現するシステム構成および処理方式とすることにより,非手指動作を含めた日本手話の言語的特徴に対応し,手話動作の入力から言語的解析処理までを一貫して行う。

　第4章では,連続的な手指動作から個々の手話単語を認識するために開発した手話単語認識方式について述べる。まず,連続的な動作から個々の手話単語を認識する方式として音声認識で一般的に利用されている連続DP照合法を用いたワードスポッティングによる方式を提案した。手指動作データを用いた評価実験により,ワードスポッティングによる方式が手指動作の認識に有効であることが示された。さらに,実用的な方式とするために,手指動作の特徴に基づいた手指動作データを圧縮し,圧縮された手指動作データ同士をDP照合法により直接照合することを可能とする方式を開発した。評価実験により,この方式が有効であることが確認された。次に,ワードスポッティング的な認識方式を行いつつ,文脈によって変化する手話単語にも柔軟に対応できる方式として,構動素と呼ばれる動作要素の組み合わせにより手話単語のテンプレートを記述し,それに基づいて認識を行う構動素統合型手話単語認識方式を提案した。この方式により,手話単語を表わす動作の内,文脈によって変化する部分と変化しない部分を明確に分離することが可能となる。本方式を用いて評価実験を行い,高精度に認識が行えることが確認された。

　第5章では,手話単語の認識結果から手話文を表わす適切な手話単語列を生成する方式について述べる。手話文の認識を行うためには,手話単語を認識した後,適切な手話単語列を生成する必要がある。しかし,正しい手話単語が必ずしも上位に認識されるとは限らないという問題がある。これを解決するための方式としてまず,手話単語の境界をまたがって検出される不必要な手話単語候補を削除するための手指動作セグメンテーション方式を提案する。手指動作データを用いた評価実験の結果について報告し,提案方式の有効性を示す。次に,手話単語列生成の際に適切な手話単語を優先的に選択するために,セグメンテーションの結果と手話単語毎の手指動作の特徴を利用して,手話単語を表現している手の種類を判別する方式を提案する。手指動作データを用いた評価実験の結果により,手の種類判別方式の効果について述べる。さらに,セグメンテーションおよび手の種類判別の結果に基づいて手話単語列を生成する方式について述べ,評価実験により手話単語列生成におけるセグメンテーション方式および手の種類判別方式の有効性を示す。

　第6章では,手話における特徴的な文法表現を手話文解析処理に導入するための方式について述べる。まず,空間的な位置関係を用いて表現される方向動詞を対象として,文法情報記述方式および解析処理アルゴリズムを提案した。方向動詞を含む手指動作データを用いて評価実験を行った結果,その有効性が確認された。次に,非手指動作の一つである頭部動作を対象として,その種類および文法機能についての分析を行った。分析結果に基づいて頭部動作による手話文法規則の記述方式および手話文法規則を用いた手話文解析アルゴリズムを提案した。さらに,手指動作データおよび頭部動作データを用いた評価実験を行い,頭部動作が手話文解析処理に有効であることが示された。

　第7章では,手話認識技術を応用したシステムについて述べる。音声認識や機械翻訳の現状から,実用的な手話認識技術の実現は容易ではないと考えられる。しかしながら,聴覚障害者と聴者の間のコミュニケーション支援は早急に解決されるべき課題である。実用的な技術を効率的に開発するためには,自然な手話の認識には不十分なレベルであっても,利用範囲を限定して手話認識技術を実装したシステムを構築し,多くのユーザによる検証を行い,実用性を高めていくという過程も重要となる。このためのシステムとしてまず,手話認識技術を聴覚障害者向けユーザインタフェースに応用した手話対応型情報提供端末を開発した。このようなシステムにより,聴覚障害者は日常使用している手話によって情報提供端末を操作することが可能となる。開発した情報提供端末を市役所に設置し,試験運用を実施した結果,ユーザからは良好な反応を得ることができた。次に,手話認識技術を手話学習者の手指動作評価手段として利用した手話教育システムを開発した。システムが学習者の手指動作を評価することにより,学習者は正しく手話を表現できるかどうかを自分自身で判断できるようになる。また,手話認識技術により,手指動作から手話単語を検索する手話単語辞書を実現した。開発したシステムに関する評価実験を行った結果,手話認識技術に基づく機能が手話学習において効果的であることが確認された。

　第8章では本研究における成果を概観し,今後の課題について述べる。

　第9章では結論を述べ,本研究をまとめる。

　以上のように本研究では,日本手話における言語的特徴を考慮し,手指動作と非手指動作の情報を統合して手話文の認識を行うシステム,および認識処理の各段階における個々の方式について提案を行った。各提案方式は認識精度向上のために有効であることが評価実験により確認できたが,現状では最終目標とする認識率には至っていない。しかし,実験結果の分析を行うことにより,目標精度達成の可能性とそれに必要な改善項目とを明確にすることができた。さらに,提案した手話認識技術を応用し,ユーザが利用可能なシステムの開発を行い,実証実験によりその有効性を確認した。このように,手話-日本語間自動通訳システムの実現可能性と,手話認識技術の実用的な応用例を示すことができたという点で,本研究の手話工学における意義は大きいと考えられる。また本研究では,非手指動作の一つである頭部動作の種類と機能を工学的見地から分析し,手話文法規則を規定した。日本手話における文法は研究途上であり,特に非手指動作に関してはその種類や機能に不明確な部分が数多く存在する。手話の言語学的な研究分野の現状を考慮した場合,本研究のように多くのサンプルに基づいた分析結果は言語学的な研究分野における意義も大きいと考えられる。

　本論文は、「手袋入力装置を用いた手話認識技術とその応用システムに関する研究」と題し、9章からなる。聴覚障害者の積極的な社会参加には聴覚障害者と聴者の間のコミュニケーション支援が重要な課題である。その手段の一つが手話通訳者を介したコミュニケーションであるが、手話通訳者の不足やプライバシー問題があり、その解決が望まれている。本研究は、これらの問題を解決するための重要な技術の一つとなりえる手話認識技術を開発することを目指したものである。

　第1章「序論」は、研究の背景、目的を述べるとともに、本論文の構成についてまとめたものである。

　第2章「手話の言語的特徴と手話工学」は、本研究の対象とする手話の言語的特徴と、手話を工学的に扱う技術の現状、及び手話認識に関する先例研究について述べたもので、これらにおいては、手話単語の認識率は低くまた、非手指動作の考慮がなく手話の言語的特徴にまで踏み込んだシステム構成の研究がないことを指摘している。

　第3章「手袋型入力装置を用いた手話認識システム」は、本研究で開発した手話認識システムの概要について述べたもので、このシステムが対象とする手話の種類や発話内容などの仕様、及び目的とする精度を与えるとともに、手袋型入力装置とビデオ入力装置からの情報を統合した手話認識システムを提案している。

　第4章「手話単語の認識」は、連続的な手指動作から個々の手話単語を認識するために開発した手話単語認識方式について述べたもので、まず、連続的な動作から個々の手話単語を認識する方式として、音声認識で一般的に利用されている連続DP照合法を用いたワードスポッティングによる方式を提案した。ここでは、更に手指動作の特徴に基づいた手指動作データを圧縮し、圧縮した手指動作データ同士をDP照合することにより高速化を計っている。また、文脈によって変化する手話単語にも柔軟に対応可能とするために、構動素と呼ぶ動作要素の組み合わせで手話単語のテンプレートを記述し、それに基づいて認識を行う構動素統合型手話単語認識方式を提案している。これにより、動作の内、文脈によって変化する部分としない部分を明確に分離することが可能になり、評価実験を通して高精度な認識が可能となったことを示している。

　第5章「手話単語列の生成」は、手話単語の認識結果から手話文を表す適切な手話単語列を生成する方式について述べたものである。まず手話単語の境界にまたがる不必要な手話単語候補を削除するために手話動作セグメンテーション方式を提案し、づいてその結果と手話単語毎の手指動作の特徴データを利用して適切な手話単語列を優先的に選択する手法を与えており、それらの評価実験を通して認識精度が大幅に改善されることを示し、この方式の有効性を示している。

　第6章「手話文法解析処理」は、手話における特徴的な文法表現を手話文解析処理に導入するための方式について述べたもので、空間的な位置関係を用いて表現される方向動詞に対する文法情報記述と解析処理アルゴリズムを与え、更に非手指動作の一つである頭部動作を対象にその種類および文法機能についての分析を行い、頭部動作による手話文法規則の記述方式と手話文解析アルゴリズムを提案して、評価実験によりこれらの有効性を確認している。

　第7章「手話認識技術の応用」は、手話認識技術の応用システムについて述べたもので、実用的なシステムを目指しての検証を目的に、聴覚障害者向けユーザインタフェースに応用した手話対応型情報提供端末を開発し、市役所に設置して試験運用を実施した結果についてまとめている。その結果、聴覚障害者は日常使用している手話によって情報提供端末を操作でき、ユーザからは良好な反応を得ている。次に、手話認識技術を手話学習者の手指動作評価手段として利用した手話教育システムを開発し、評価実験をおこなった結果、手話認識技術に基づく機能が手話学習において効果的であることを確認している。

　第8章は「本研究における成果と今後の課題」であり、本研究における成果を概観するとともに、今後の課題について述べている。

　第9章は「結論」である。

　以上、これを要するに本論文は、日本手話における言語的特徴を考慮し手話認識を精度高くおこなう手法を与えるとともに、手指動作と非手指動作の情報を統合して手話文の認識をおこなうシステムを提案し、応用システムの開発を通してこれらの有効性を実証したもので、情報工学上貢献するところ少なくない。

　よって、本論文は、博士(工学)の学位請求論文として合格と認められる。