圧倒的な半導体技術、ソフトウェア技術、通信技術の進展により、現在では、第3世代携帯電話機に代表されるように、文字や図だけでなく、音声や動画を使ったコミュニケーション、対話を誰もが手軽に楽しめるようになってきた。

　このような時代にいたる中で、著者は終始一貫して下記にあげるような対話システムの研究開発、および製品化に携わってきた。

携帯日本語ワードプロセッサ(1981年製品化)

文字図形ワークステーション(1981年製品化)

機械翻訳システム(1985年製品化)

文書整形システム(1988年製品化)

高速3次元描画チップ(ゲーム用CGLSIチップとして1996年製品化)

3次元CG応用プレゼンテーションシステム(1991年試作)

VR(Virtual Reality)技術を用いた制御室仮想設計システムおよび仮想パトロールシステム(1992年製品化)

パーソナルドキュメントビューワ(1995年試作)(新聞に類似した解像度のJAVA端末)

ロッキーXホッパーDVDソフト(1996年製品化)(CG応用ソフト)

NTTマルチメディア共同利用実験における仮想美術館(1996年公開実験)

MusicDance(1997年製品化)(顔画像切り出しとCGの応用ソフト)

距離画像を取得する入カデバイス(1999年販売)

i駅探道案内サービス(2000年開始)

　著者が、対話インタフェースの研究開発の着手した1980年当時は、ヒューマンインタフェースという言葉はなかった。当時は、安全性などの観点からヒューマンエラーなどを扱うマンマシンインタフェースがあった程度である。1978年、東芝より日本語ワードプロセッサが初めて製品化され、日本語文章が計算機上で扱えるようになった。それまでの計算機は、現場で専門家が専用の処理に使用するだけであった。しかし、日本語ワードプロセッサの登場により、オフィスで、計算機を知らないユーザ(当時は専門の教育を受けたオペレータであったが)が、日本語を扱うことが可能となったわけである。

　このとき、著者は、専門家でないユーザが計算機を道具として使って仕事をしていくことが、今後はごく当たり前の時代が到来することを予感した。そのためには、専門家でないユーザがごく自然に計算機を使えるようにすること、つまり使いやすさが大事であると考え、ヒューマンインタフェースと呼ばれる分野の研究に足を踏み入れた。

　対話型システムの操作性設計の指針としてきたものは、

対象の構造化

構造化された対象の視覚化

である。構造化され視覚化された対象に対して、ユーザは操作を行うことができる。この2点が著者の20年間に渡るヒューマンインタフェースの研究開発のすべてにおける基本骨格をなしている。

　計算機の操作性のために「構造化」「視覚化」が重要であることは、World Wide Webでの記述に使われているHTML(Hyper Text Markup Language)にも見ることができる。HTML自身は構造を記述するものであり、視覚化を決めるスタイルシートとは別立てになっている。また視覚化の際には、リンクの有無などが色を変えて表示することで、ユーザが一目で構造を理解して操作できる。「構造化」「視覚化」は、今日のIT産業隆盛の一要因となっているともいえよう(著者はこのハイパーリンク箇所の表示方法に関し、国内特許を権利化している。本発明「検索装置」P1697020により平成8年度関東地方発明表彰発明奨励賞「ハイパーテキストに関する発明」を受賞している)。

　本論文では、わかりやすさのために、「構造化」視覚化」をそれぞれ、研究開発対象を限定して、章をわけて手法とその効果を述べた。

　まず、「構造化」については、図表割付の構造化と文章構造の抽出を例にとる。図表割付の構造化のためには、当時の予稿集などから1万件を調査し、割り付けの構造を明らかにした。この分析より導出された文書データ構造に基づき、文章と図表の割付が行えるエディタを開発した。開発したエディタは、当時国内最初のワークステーションに搭載され、製品化された。さらに、この文書データ構造は、現在ほとんどのワープロソフトで採用されている。特にアンカリング(錨付け)と呼ばれる図表を段落などの相対的に割り付ける機能は、Microsoft Wordなど数多くのワープロソフトに搭載され、その実施率は国内では98%となっている。本アンカリングに関する権利化特許「文書編集装置」(P1842450)は、ソフトウェア特許としては、初めて、平成10年度の全国発明表彰発明賞「文書のアンカリングに関する発明」を受賞した。

　一方、文書構造の抽出についても抽出規則作成のために、技術文書は12,000件、ビジネス文書は500件を調べた。調査により、段落や見出し自身を判別する規則と、段落や見出し間の構造、図表や図表を参照する箇所との間の構造を判別する規則とが抽出された。抽出規則による誤り率は改良により、5%程度になり、1988年に発売された日本語ワードプロセッサ(JW-1000AI)や電子出版システム(DTP7000)に搭載された。さらに現在は、Microsoft Wordにオートフォーマット機能として搭載されている。

　構造化された対象を「視覚化」する方法については、仮想美術館と仮想パトロール、機械翻訳を例に述べる。それぞれについて、全体の概観、全体の骨組み、各部の骨組み、詳細化というように、抽出した構造を視覚化する方法を明らかにし、その実用性を示す。

　仮想美術館は、NTTマルチメディア共同利用実験でATM(Asynchronous Transfer Mode)上での公開実験である。現実の美術館では、個別の部屋での展示であるために、展示全体の概観ができない。これに対し、仮想美術館では、CG(Computer Graphics)により絶海の孤島での美術館を構築した。視点を上昇させるだけで、簡単に全体の概観が行えるようにした。また、全体の骨組みはCGの博士によるナレーション、各部の骨組みは、高解像度画像と詳細説明文により詳細な視覚化を実現した。本仮想美術館は、1年間、新宿と川崎、多摩を結び、常時公開し、NTTマルチメディア共同利用実験中、最も人気を集めただけでなく、安定した質の高いサービスであることを高く評価された。

　仮想パトロールは、通常広い空間が必要なパトロール訓練をCGによる仮想空間を用いるものである。単に物理的な距離を、そのまま模擬するだけでなく、実空間での移動距離間を測定し、それにあった移動距離空間の提示を行った。

　機械翻訳における視覚化手法は、まず、原文である英語と訳文である日本語と左右に表示することで全体の概観を実現した。原文と訳文が文単位、単語単位に対応することで、全体の骨組みが視覚化されている。さらに、訳語についての辞書引きなどにより各部の骨組み、詳細が視覚化されている。この視覚化方法は、現在、パッケージソフトなどで多く採用されている。また、平成13年度の関東地方発明表彰発明奨励賞「翻訳文書編集技術」も受賞している。

　さらに「構造化」と「視覚化」のにもとづく例として仮想試作システムについて述べる。仮想試作システムでは、物理的/機能的構造化と、アバターによる内的/外的視覚化を行った。発電所制御室の例では、配置される大型機器の物理的な構造と、機能的な構造の両面から構造化を行った。人型機器の物理的な構造は、3次元CADデータを使って視覚化され、リアルタイムに配置の変更を行えるようにした。機能的な構造は発電所のシミュレータの計算結果を、仮想空間内のディスプレイにリアルタイムに視覚化した。さらに、オペレータの変わりに仮想空間内で作業をおこなう仮想被験者により、オペレータ自身の視点での内的視覚化、そのオペレータの作業を観察することでの外的視覚化の双方を可能とした。他にも放射線検査室、あるいはエレベータの仮想試作に適用した。本仮想試作システムは原子力発電所の制御室のリニューアル設計向けに製品化された。

　以上、著者の20年間におけるヒューマンインタフェース研究開発において、対象の「構造化」「視覚化」に重点をおくことで、文書処理でのアンカリングやオートフォーマット、機械翻訳など一般のユーザに使える多くの製品や機能を生み出すことができた。その有用性は、これらが現在も多くの製品の主要機能として搭載されていることにより実証されている。

　過去20年間の進展により、情報を「構造化」し、「視覚化」することで情報を電子化し、情報空間に持ち込むことが可能となり、特に現場やオフィスにおいて効率的な情報の扱いが可能となった。情報の使用シーンは、現場やオフィスから、家庭や街角に移りつつある。家庭や街角では、情報の使用は個人の楽しみや安全性などが目的であり、入力される情報の質の変化とともに、情報空間と実空間との、有機的な融合が重要となる。そのためには、ビットマップディスプレイ上のアイコンやメニューをマウスでクリックするという従来のGUI(Graphical User lnterface)とは違った「操作性」が必要となる。

　新規の「操作性」に関しては、視覚化された構造をダイレクトに扱うジェスチャによる操作を可能とする新規デバイス(モーションプロセッサ)について述べる。この開発により、直感的な操作を実現した。モーションプロセッサを使った「操作性」では、まず、人間が注目している対象だけ切り出せるように、奥行き情報を使って、注目するジェスチャパターンのみを抽出できるアルゴリズム(ROI:Region of lnterest)を開発した。このROIにより、90%以上の非常に高い確率で、ジェスチャパターンの認識を行えることを実証した。1台のPCのみでリアルタイムにジェスチャ認識と追跡を行い、さらに音声認識をおこなうことで、ペットロボットに対して、呼びかけをおこなうことを可能とした。

　一方、手のひねりといった高度なジェスチャ認識を行えるようにするため、手のひらをポリゴンに見立て、法線ベクトルをリアルタイムに抽出するアルゴリズムを考案した。本アルゴリズムにより、y軸周りに、5度刻みで0から80度まで回転させた時の姿勢検出による実証実験では、40度から60度ではほとんど誤差なく、回転角が検出できることが実証できた。

　今後はさらに、脈拍や加速度などの生理/生体信号を使った新しいインタフェースや、道案内システムなど、新しい「操作」のカタチを探求していく。

　本論文は、「対象の構造化/視覚化に基づくヒューマンインタフェースの研究」と題し、機械を通して人間と情報、さらには人間同士がコミュニケーションを行うヒューマンインタフェースにおいて・情報対象を「構造化」「視覚化」することにより実空間から情報を抽出し・操作性のよい情報空間を作り上げる方法を体系的に論じたものである。全体は8章から構成されている。

　第1章は「序論」であり、従来のマンマシンインタフェースといわれた機械と人間のインタフェース研究ではなく、今日の機械を通して人間と情報、さらには人間同士がコミュニケーションを行うヒューマンインタフェースという研究分野の重要性を論じている。

　第2章は「ヒューマンインタフェースの世代変遷」と題し、ヒューマンインタフェースの世代変化を解説している。このヒューマンインタフェースの世代変遷において、「構造化」「視覚化」に基づいたヒューマンインタフェース設計方法により、論文提出者が実際に携わった文字図形ワークステーション、携帯日本語ワードプロセッサ、機械翻訳システム、文書整形システム・仮想設計/仮想パトロールシステム、高速3次元描画チップ、DVDソフト・CD応用ソフト、入力デバイスなどの製品群の位置付けを明らかにしている。

　第3章は「対話インタフェース実現のための構造化/視覚化」と題し、実空間から情報を抽出し、操作性のよい情報空間を作り上げる方法を提案している。さらに、HTML(Hyper Text Markup Language)などをもとに、提案手法による情報空間の構築がいかにヒューマンインタフェース設計上、有効な方法であるかを実証している。

　第4章は「対象の構造化」と出し、第3章で提案した手法のうち、実空間から情報を抽出する「構造化」について、文字図形ワークステーションと文書整形システムを例に、文書の構造化を行う方式を具体的に提案し実現している．提案された図表を段落と関連付けて構造化を行う「アンカリング」は、現在95%以上のワープロソフトで採用されている。さらに・ソフトウェア特許としては、初めて、平成10年度の全国発明表彰発明賞「文書のアンカリングに関する発明」を受賞しており、その有用性が実証されている。さらに見出しの形態的特徴より文章の構造化を行う手法は、現在オートフォーマット機能としてワードプロセッサに搭載され、その有用性が実証されている．

　第5章は「構造化対象の視覚化」と題し、第3章で提案した手法のうち、実空間から抽出された情報を「視覚化」する手法について、視点の移動により、全体の概観、全体の骨組み・各部の骨組み、詳細化を行う方法を提案している。NTTマルチメディア共同利用実験でATM(Asynchronous Transfer Mode)上での公開実験として1年以上行われた仮想美術館にCG(Computer Graphics)を用いて提案手法を適用し、その有用性が実証された。仮想パトロールでは、実空間で測定した移動距離を仮想空間において可感化する方法を提案し、被験者実験により、その有効性を検証した。機械翻訳では、CG空間の対象に代わり・原文と訳文の文、単語を単位として、提案手法を適用した視覚化を行った。本手法は機械翻訳パッケージソフトに多数採用されており、平成13年度の関東地方発明表彰発明奨励賞「翻訳文書編集技術」も受賞している。

　第6章は「対象の構造化と視覚化」と題し、第4章と第5章を受け、物理的/機能的構造化と、アバターによる内的/外的視覚化による「構造化」「視覚化」手法を提案している。仮想設計では、配置される大型機器の物理的な構造と、機能的な構造の両面から構造化を行い、3次元CADデータを使って視覚化し、リアルタイムな配置変更を可能とした。さらに発電所のシミュレータの計算結果を、仮想空間内のディスプレイにリアルタイムに視覚化することで機能的構造化を実現した。また、オペレータの代わりに仮想空間内で作業をおこなう仮想被験者(アバター)により、オペレータ自身の視点での内的視覚化、そのオペレータの作業を観察することでの外的視覚化の双方を可能とした。本手法は火力発電所や原子力発電所の制御室や病院の放射線検査室、あるいはエレベータの仮想試作に適用された。また、原子力発電所の制御室のリニューアル設計向けに製品化された。

　第7章は「操作インタフェース」と題し、ジェスチャを使った新たな操作方法を提案している。第6章までに述べた「構造化」「視覚化」は操作方法としては、ビットマップディスプレイ上のアイコンやメニューをマウスなどのポインティングデバイスを用いてクリックするGUI(Graphical User Interface)を前提としてきた。これに対し、切り出しをリアルタイムで行う新規入力デバイス「モーションプロセッサ」を開発し、奥行き情報により注目するジェスチャパターンのみを抽出できるアルゴリズム(ROI:Region of lnterest)や、手の3次元姿勢の抽出方法などを提案し、それぞれ90%以上の高精度で認識できること実証している。さらに、高齢者141人のジェスチャの収集と解析に関する貴重な知見についても論じている。

　第8章は「結論」であり、本論文の主たる成果をまとめるとともに、脈拍や加速度などの生理/生体信号を使った新しいインタフェースや、道案内システムなど、現在研究中の新しい「操作」のカタチについて、今後の課題と展望を述べている。

　以上を要するに、本論文は、情報対象を「構造化」「視覚化」により実空間から情報を抽出し、操作性のよい情報空間を構築する方法を提案したものである。また、これを利用したヒューマンインタフェース設計方法を体系的に論じ、さらに実際に多数の製品化を行うことで、その有用性を実証している。さらにこの「構造化」「視覚化」手法を推し進め、ユビキタスコンピューティングやモバイルコンピューティングなど先端分野への展開方法も提案したものであり、今後の電子情報通信工学の進展に寄与することが大きい。

　よって本論文は博士(工学)の学位請求論文として合格と認められる。