背景と目的

現在普及しているユーザインタフェース(ＵＩ)形式は，高機能・多機能となるに従い，操作が複雑になり，ユーザは自分の目的を分析し，必要なシステムを組み合わせ，適切な操作手順を決定する必要がある．一方，現実世界における人間同士のコミュニケーションでは，意味や意図を相手と授受しており，形式的な構文や手順に多少の不具合があっても，互いに知的にこれを補いつつ，コミュニケーションし，所期の目的を完遂させることができる．このような現実世界の情報の授受方式を鑑みると，ＵＩの世界においても意味を利用することは，計算機操作自体の難しさを廃した使い勝手の良い「人間中心型ＵＩ」を実現することとして期待される．そこで，本研究では，ＵＩ分野における中心命題を「人間が使う情報の態様・モデルと計算機が処理する情報の態様・モデルの乖離を克服すること」と捉え，意味処理の利用に関する技術的な側面からのアプローチを試みる．具体的には，自然言語インタフェース（ＮＬＩ）やマルチモーダルユーザインタフェース（ＭＭｏＵＩ）における意味処理方法や，実際のシステムの制約下で機能するＵＩ処理方法を考察する．

従来の研究と本研究の位置付け

従来の意味処理の研究は，必ずしもＵＩ処理向けに考案されたものではなく，そのため，計算機の利用に関する独特な操作指示体系に対する配慮，適用の対象としている対象世界に関する知識との連携に対する配慮，および，実時間システムにおける意味内容やその解釈の動的な変化に対する配慮などが欠如している．また，ＮＬＩの従来研究には，データベースに特化した処理系に対する研究が主流であり，多種多様なシステムに適用させたり，複数のシステムを連携制御させたりするといった実用上の問題を克服する研究はほとんどなかった．さらに，ＭＭｏＵＩの研究では，本来，マルチモーダルデータ（ＭＭデータ）は非同期的に生起するという特徴や，複数のＭＭデータが融合することによって初めて意味が発現するといった特徴を本格的に扱う研究はほとんどない．本研究では，依然として数多くの未解決なまま残されてきた重要な技術的課題について取り組んでゆくこととする．

本研究の基本課題

「人間中心型ＵＩ」を実現するためには，現在普及している極めて計算機中心型のＵＩが抱えている計算機の入出力手段の柔軟性の欠如という問題や，データの持つ意味を取り扱うための問題を克服する必要がある．前者の問題が主として人間と計算機の情報の形式的側面の乖離の問題であるのに対し，後者の問題は情報の内容的側面の乖離の問題であると捉えることができる．これらの乖離問題を解くことを要件とし，さらに，実際の実現可能性の問題を加えることで，ＵＩが具備すべき基本要件をまとめると，

（1）ユーザの情報表現形式，および，情報授受形式に合わせられること

（2）多種多様な分野およびシステムに関する操作指示内容を取り扱えること

（3）ユーザインタフェースの実現可能性，実現容易性が高いこととなる．この基本要件を満たすべく，ＵＩにおいて意味を利用してゆくための基本的な課題には，以下の3つがある．

（基本課題Ａ）操作指示文と対象世界モデルの定式化と意味関係付け

（基本課題Ｂ）実行時における意味内容の変更と状況推移の取り扱い

（基本課題Ｃ）複数に分離しているデータの意味的な融合

本論文では，これらの基本課題の解決方法に関する研究である．

操作指示文と対象世界モデルの定式化と意味関係付けに関する研究

本章は，（基本課題Ａ）の具体的な解決方法を，従来のＮＬＩ処理における，多種分野への適用に関する技術課題を題材として，実証的に考察している．すなわち，操作指示内容の具体的な定式化のベースとなる枠組みとして，操作指示内容を機能概念と入出力概念の連鎖構造によって表現する機能連鎖構造を提案した．この機能連鎖構造により，操作対象のシステムのコマンドに現れる操作機能概念，操作対象概念，操作条件概念などの関係を表現している．操作対象概念に関しては，棒グラフといった図形対象の概念といった各種システム関係の知識や，売上といった適用対象世界の概念といった適用対象世界の知識を扱うことが可能であることを明らかにしている．そして，具体的に操作指示文と対象世界のモデルを意味関係付ける意味解析処理方法を提案し，自然言語文に含まれる照応表現や省略表現についても或る程度意味関係付けられることを実証している．さらに，機能連鎖構造に基づいて実行コマンドを生成する実行コマンド生成処理方法を提案し，機能連鎖構造を構成している操作機能や操作対象を実行時の状態に応じたコマンドのオペレータやオペランドとして適切に具体化できることを実証している．

実行時における意味内容の変更と状況推移の取り扱いに関する研究

本章は，（基本課題Ａ）と（基本課題Ｂ）の具体的な解決方法を，従来のＮＬＩ技術における，複数システムの連携制御に関する技術課題を題材として，実証的に考察している．すなわち，（基本課題Ａ）に関しては，前章で導入した機能連鎖構造を拡張し，談話世界の状況および状況推移を表現するための枠組みとして複合機能連鎖構造を提案している．この複合機能連鎖構造は，対象世界の動的な変化に関する知識を表現するための操作指示の機能基本構造と，上位下位の汎化関係や全体部分の集約関係などといった対象世界の静的な関係を表現するための関係指示の機能基本構造とで構成している．この複合機能連鎖構造により，各種の対象世界に関する知識を表現できることを示している．具体的には，小売業や大相撲などといった分野に関する知識，画面表事物や操作履歴など談話に関する知識，データベースの構造に関する知識など，主としてシステムがオペランドとして捉える操作対象や，語彙のシソーラス関係の知識，操作指示前後の状況の関係とそれに関するアプリケーションシステムのコマンドに関する知識などを表現できることを示している．そして，操作指示表現から操作指示内容である複合機能連鎖構造への関係付けの方法としてネットワーク探索型の意味解析処理方法を提案し，この処理方法により，操作指示表現においてはしばしば暗黙裡に含まれている状況推移の概念を明示化可能であることを実証している．

（基本課題Ｂ）に関しては，上記意味解析処理方法と逐次実行コマンド生成方法との連携によって実現することを提案している．すなわち，意味解析処理方法によって得られた複合機能連鎖構造は，時刻の異なる状況に属する知識の集合を連結している．ここで，操作指示表現の意味解析を終えた時点における状況を構成する知識は，その時点で「真」であると分かっている知識のみで構成されている．一方，この時点の状況から連結している状況推移後の状況における知識は，非決定的な要素を含むため，意味解析を終えた時点では必ずしも真である保証はなく，操作指示表現を表すという目的において一時的に連結している．そこで，実行時における意味内容の変化に追従すべく，逐次実行コマンド生成方法を提案している．この処理方法によって，逐次的なコマンドの実行に応じて複合機能連鎖構造を動的に検証し，必要に応じてその時点以降の状況に合わせて複合機能連鎖構造を再構成することで，実際のシステムが持つ非決定性に対処させてゆくことが可能であることを実証している．

複数に分離しているデータの意味的な融合に関する研究

本章は，（基本課題Ｃ）の具体的な解決方法を，従来のＭＭｏＵＩ技術における，非同期到着するＭＭデータに対する意味解析に関する技術課題を題材として，実証的に考察している．すなわち，実時間において複数に分離し，非同期的に到着するＭＭデータに対する融合を実現する基本的な処理モデルとして，ドリップドロップモデルを提案している．ＭＭデータの発生に関しては，「あるＭＭデータと密接に関連する別のＭＭデータは，近い位置に出現しやすい．」という近傍性に関するヒューリスティックスを仮定し，時間属性，場所属性，話者属性などＭＭデータの特有属性を考察している．近傍性に関するヒューリスティックスに基づくと，これらの特有属性の遠近が，融合性の度合いに影響を及ぼすことになる．前章までで導入した複合機能連鎖構造やその意味解析処理方法を利用することで，実行可能な操作指示内容の解候補が得られるが，さらに，ドリップドロップモデルによる非同期的データの受理機能とマルチモーダル特有属性を加味したデータの融合性の計算を併用することで，ＭＭデータの意味的な融合が可能であることを実証している．

結論

ＵＩ分野における中心命題「人間が使う情報の態様・モデルと計算機が処理する情報の態様・モデルの乖離を克服すること」に対して，ＵＩにおける意味処理の利用に関する技術的な側面からのアプローチを試み，その基本課題への解決を提示し，その解決方法を具体的なＵＩ処理系として実装適用し実証した．本研究によって，計算機の入出力手段の柔軟性，および，データの持つ意味の取り扱いについて一定の技術的可能性が実証でき，中心命題の達成に一歩近づくことができた．現実世界の意味を取り扱うことができるＮＬＩやＭＭｏＵＩは，物理的な世界と，計算機システムの情報の世界と，ユーザの知的な思考の世界との間をより柔軟で効率的に結ぶための技術である．今後，ユビキタス環境，知的ロボットとの対話環境などへの適用を通じて，計算機技術の発展に貢献してゆきたい．

本論文は，「ユーザインタフェースにおける意味利用技術の研究」と題し，7章からなる．ユーザインタフェース(ＵＩ)は高機能・多機能となる一方で，操作が複雑になり，使い勝手の良さを保証する「人間中心型ＵＩ」を実現することが強く求められるようになってきた．本論文では，ＵＩ分野における中心命題を「人間が使う情報の態様・モデルと計算機が処理する情報の態様・モデルの乖離を克服すること」と捉え，操作指示文と対象世界モデルの定式化と意味関係付け，実行時における意味内容の変更と状況推移の取り扱い，複数に分離しているデータの意味的な融合の3つの基本課題への解決を中心にした意味処理の利用技術について論じたものである．

第1章「序論」では，本研究の背景と目的について述べるとともに，自然言語インタフェース（ＮＬＩ）やマルチモーダルユーザインタフェース（ＭＭｏＵＩ）における意味処理方法や，実際のシステムの制約下で機能するＵＩ処理方法について検討している．

第2章「従来の研究と本研究の位置付け」では，意味処理，ＮＬＩ，ＭＭｏＵＩに関する従来研究を整理し，計算機側に柔軟性を持たせることにより，人間中心型ＵＩを実現するための意味処理の研究として本研究を位置づけている．

第3章「本研究の基本課題」では，「人間中心型ＵＩ」が具備すべき基本要件が，ユーザの情報表現形式と情報授受形式に合わせられること，多種多様な分野およびシステムに関する操作指示内容を取り扱えること，およびユーザインタフェースの実現可能性が高いことであることを指摘し，人間中心型ＵＩを実現するための基本的な課題が，操作指示文と対象世界モデルの定式化と意味関係付け，実行時における意味内容の変更と状況推移の取り扱い，複数に分離しているデータの意味的な融合であることを論じている．

第4章「操作指示文と対象世界モデルの定式化と意味関係付けに関する研究」では，操作指示内容を具体的に定式化するための基本的枠組みとして，操作指示内容を機能概念と入出力概念の連鎖構造によって表現する機能連鎖構造を提案し，それに基づき操作指示文と対象世界のモデルを意味的に関係付ける意味解析処理方法を示した．この方法によって，自然言語文に含まれる照応表現や省略表現についても一定の意味関係付けが可能であることを実証している．また，機能連鎖構造に基づいて実行コマンドを生成する実行コマンド生成処理方法も示し，この方法によって機能連鎖構造を構成している操作機能や操作対象を実行時の状態に応じたコマンドのオペレータやオペランドとして適切に具体化できることも実証した．

第5章「実行時における意味内容の変更と状況推移の取り扱いに関する研究」では，前章で導入した機能連鎖構造を談話世界の状況と状況推移を表現できるように拡張した複合機能連鎖構造を提案している．この複合機能連鎖構造を複数のＮＬＩ構築ツールに組み込んで実験的に有効性を確認した．また，ネットワーク探索型の意味解析処理方法によって操作指示表現から操作指示内容である複合機能連鎖構造への関係付けをすることによって，操作指示表現において暗黙裡に含まれている状況推移の概念を明示化可能であることも示した．さらに，逐次的なコマンドの実行に応じて複合機能連鎖構造を動的に検証し，以降の状況に合わせて複合機能連鎖構造を再構成する逐次実行コマンド生成方法によって，実行時における意味内容の変化に追従でき，実際のシステムがもつ非決定性に対応できることを実験的に示した．

第6章「複数に分離しているデータの意味的な融合に関する研究」では，実時間において複数に分離し，非同期的に到着するＭＭデータに対する融合を実現する基本的な処理モデルとして，ドリップドロップモデルを提案し，「あるＭＭデータと密接に関連する別のＭＭデータは，近い位置に出現しやすい．」という近傍性に関するヒューリスティックスを仮定し，時間属性，場所属性，話者属性などＭＭデータの特有属性を加味したデータの融合性の計算を併用することによって，ＭＭデータの意味的な融合が可能であることを示し，その有効性を実験的に確認している．

最後に，第7章「結論」では，本研究の総括を行い，併せて将来の展望についても述べている．

以上を要するに，本論文では，人間が使う情報の態様・モデルと計算機が処理する情報の態様・モデルの乖離を克服するために，操作指示文と対象世界モデルの定式化とそれに基づく意味関係付け方式，談話世界の状況と状況推移を考慮した意味解析方式，複数に分離し非同期的に到着するマルチメディアデータにおける意味融合の方式を提案し，実験的評価によってその有効性を示したものであり，電子情報工学上貢献するところが少なくない．

よって本論文は博士（工学）の学位請求論文として合格と認められる．