現在の計算機インタフェースは、ウィンドウ・アイコン・メニュー・ポインティングデバイスによって特徴付けられるグラフィカルユーザインタフェース(GUI)が支配的である。GUIによって訓練されたエキスパート以外の多くの人々が計算機を使用することが可能となったが、人間が目的とする作業をボタンやメニューを通して計算機に理解しやすいコマンドの列として与えてやらなければならないという意味では以前のテキストによるコマンド入力式のインタフェースと本質的に同じであり、アプリケーションの高度化や複雑化に伴いその限界が指摘されている。また、計算機の高速化や小型化によって従来のようなオフィスアプリケーション以外での計算機利用が盛んになってきており、これらの分野で新しい計算機インタフェースが求められている。このような問題意識の元にさまざまな新しいインタフェースが模索されている。具体的な例として、自然言語処理を利用したもの、音声入出力によるもの、仮想現実や拡張現実感によるもの、位置センサー等から得られる情報を利用する状況依存型のもの、実世界における物体を入出力装置として利用するもの、あるいはカメラと画像認識を利用したものなどが提案されている。

　本研究は、このような「GUIの持つ限界を克服し、直感的に扱えるインタフェースを実現する」ことを目指す取り組みの一つとして、視覚的な情報を扱うアプリケーションを対象とした、手書きストロークによる入力を利用したインタフェースに注目し、その可能性を明らかにしていこうとするものである。通常のGUIで形状を入力するためには、制御点の位置指定やオブジェクトのドラッグ、反転や回転といったコマンド操作が必要であり、自由な形状を手早く表現が困難であった。本研究では、人間が長い間馴染んできた、手書きストロークによる形状表現を計算機インタフェースとして利用することによってより直感的で効率のよい作業が実現できることを示す。具体的には、電子黒板やビデオタブレット、ペンコンピュータなどにおいて、ユーザがペンを用いて自由な線を描くことによって意図する形状を表現し、その知覚的な構造を計算機が自動的に認識することによって様々な作業を支援するという手法について議論する。計算機の処理の結果は、柔軟な思考を促進するために、手書き風レンダリングなどのインフォーマルな形で表現される。ペン入力に関する研究は、これまで文字認識やジェスチャー認識など、手書きのストロークをパターンマッチングによってシンボルに変換するという手法が中心であったが、本研究は手書きストロークの形状そのものを表現として生かすような情報処理を目標としている点を特徴とする。

　具体的な研究プロジェクトとして、手書きストロークの整形による2次元の幾何学的図形の描画システム、画面に描かれた手書きストロークを歩行面に投影することにより移動経路を指定する3次元空間のナビゲーション手法、ストロークを入力および出力の基本要素として様々なアプリケーションの連携を可能にする電子白板のソフトウェアアーキテクチャ、および手書きの2次元スケッチから自動的に3次元の幾何形状を生成する3次元モデリングシステムについて説明する。これらのシステム・手法は、個々の分野において新規性のある有効なインタフェースを提案している他、全体として本論文で提案する「手書きストロークに基づくインタフェース」を具現化するものとなっている。

　手書きストロークの整形による2次元の幾何学的図形の描画システムは、図1のような幾何学的な図形を複製や反転・回転といった編集操作を使わず、ペンによる自由ストロークのみによって描くことを可能にする。システムはユーザが手書きのストロークが描かれた時点で、そのストロークと周囲の図形との間に存在すると考えられる接続や対称といった幾何学的関係を推測し、それらを満たすような整形図形を出力する。手書きストロークには常に曖昧性が存在するため、システムは推測された幾何学的関係を組み合わせることで複数の候補を同時に生成し、ユーザに提示する。プロトタイプシステムを利用した評価実験を行い、幾何学的図形の描画タスクにおいて既存の描画手法に比べて、正確さおよび速さの点で改善が見られることを確認した。また、ユーザの描画操作に基づいて、次の描画を予測してユーザに提示する手法についても実装を行った。もし気に入った候補が提示された場合にはそれをクリックすることによって描画が完了し、さらに次の予測が提示されるため、予測が成功している限りクリックのみによって描画を進めることが可能となる。

Figure 1 手書きストロークの整形による2次元の幾何学的図形の描画システム

　手書きストロークによる3次元空間のナビゲーション手法は、ユーザが画面上に描いた2次元のストロークを歩行面へ投影し、その経路にそってカメラとアバターを移動するものである(図2)。このような方法によって、従来の方向ボタンやジョイスティックによって継続的に指示を与える方法に比べ簡単な方法で移動の指示が可能となり、また目的地をクリックする手法に比べて移動経路や目的地での方向といった多様な情報を一度に与えることが可能となる。ユーザテストによって、従来手法と同等のパフォーマンスが得られ、また主観的評価においても従来手法を上回る結果が得られた。

Figure 2.軌跡描画による3次元空間のナビゲーション

　手書きストロークに基づく電子白板のためのソフトウェアアーキテクチャでは、本論文で提案するような自由ストロークに基づくインタフェースの共通基盤となりうるようなソフトウェアシステムについて論じる。このシステムは、従来の電子黒板システムが特定のタスクに限定されかつ短時間で完結する会議などでの使用を目的としていたのに対し、様々なタスクが同時進行し長期間に渡る使用が前提となる個人用のホワイトボードの電子化を目的とする点を特徴とする(図3)。具体的には、手書きストロークを自動的にグループ化しさらにそのグループ化されてストローク群を効率よく管理する機構、グループ化された領域に対してアプリケーションを適用したり除去したりする機構、およびユーザの操作をすべて記録し後から時間的・環境的な手がかりによって検索する機構について紹介する。このシステムを利用することにより、ユーザは実世界におけるホワイトボードを使用するのとほとんど変わらない手間で、計算機による処理能力を生かした作業を行うことが可能となる。特に、ストロークを中心とするインタフェースは、現在のデスクトップ型メタファーにもとづくインタフェースでは困難な、粒度の細かいインフォーマルな情報の管理に有効であることを示す。

Figure 3.手書きストロークに基づく電子白板システム

　手書きスケッチによる3次元モデリングシステムは、ユーザが手書きストロークによって描いた2次元の輪郭から自動的に3次元形状を生成して提示するシステムである。本システムを利用することにより、コンピュータグラフィクスの知識のない初心者でも、紙と鉛筆をつかってスケッチするのと変わらない手間で自由に3次元モデルを生成することを可能となる(図4)。既存のスケッチによるモデリングシステムが、主に直方体のように平面で囲まれた人工的なオブジェクトの生成を目的としていたのに対し、本手法は動物や植物といった曲面を主体とするオブジェクトの生成を目的としている点で革新的である。具体的には、2次元の手書き閉曲線を縦方向に膨らませることで新たにモデルを生成する手法、手書き自由曲線により物体を切断したり隆起させたりする手法等について紹介する。手書き風リアルタイムレンダリングを利用したプロトタイプシステムがJAVAアプレットとして実装、WWW上に公開しており、高い評価を得ている。

Figure 4.手書きスケッチによる3次元モデリングシステム.

　本論文で紹介する「手書きストロークによるインタフェース」は、ペン入力を利用したユーザに自由な形状描画を入力としている点、描かれた形状を人間の知覚過程を規範としてデザインした知的な認識処理によって高度な内部情報へと変換している点、および計算の結果やシステムの内部状態を意図的に曖昧性を示唆するような手書き風のレンダリングによって提示している点によって特徴付けられる。このような組み合わせによって、従来のマウスによる通常のダイレクトマニピュレーションによるインタフェースでは困難であった、正確さを必要としないが手早くアイデアを形にすることが重要であるような作業を効率よく支援することが可能になる。なお、このようなインタフェースは、対象領域を限定することによって限られた情報からのユーザの意図の推測を可能としているが、細かいコマンドの指示の代わりに自動的な認識を利用していることに起因する本質的な問題が存在する。すなわち、システムの動作がユーザの自然な期待にそぐわない場合があり使いこなすにはシステムの動作を予測できる程度に学習が必要であるという問題、ユーザの入力には常に曖昧性があるためにその曖昧性や認識誤りを前提としたインタフェースデザインが必要であるという問題、そしてシステムの動作の詳細な指定が行えないため正確な情報の処理には適さないといった問題がある。本論文では、具体的な実装例を通じて、これらの問題による影響を押さえるために、インフォーマルな表示法によってユーザのシステムの動作に対する期待を制御したり、複数の候補を生成することによって曖昧性からくる問題を解消したりする手法が有効であることを示す。また、将来の発展として、個別のユーザの操作に対する自動的な適応やカスタマイズによって、より正確な動作を実現することが可能であると考えられる。

　本論文は、「Freeform User Interfaces for Graphical Computing(視覚的情報処理のための手書きインタフェースに関する研究)」と題し、英語で書かれ9章からなる。従来、コンピュータの上に2次元のきれいな図形を描いたり、3次元の立体モデルを生成したり、それを操作したりする処理は、前もってコンピュータに用意したコマンドの組合せを利用者が考えながら利用するというのが普通で、とても時間のかかる面倒な処理であった。しかしながら、インタフェースのあり方を根本的に考え直すことによって、この種の問題を解決できるのではなかろうか。本論文は、このような考えの元、ペンコンピュータを用いた手書きインタフェースを考察し、これらの処理を抜本的に容易化する手法を議論したものである。

　第1章「Introduction」は、本研究の背景と目的、並びに本論文で提案する4つのシステムを概説し、論文の構成をまとめたものである。

　第2章「Background」は、次世代ユーザインタフェースの研究を概観し、コマンドを用いないインタフェース一般の考え方と原則をまとめるとともに、ペンを用いる入力システムの現状を述べている。

　第3章「Freeform User Interfaces」は、従来のGUIを越えたグラフィカルコンピューティングのために、ペンを用いたインタフェースを設計する場合における提案手法の3要素を述べたものである。すなわち、入力にペンストロークを利用すること、ストロークに対する知覚処理を行なうこと、結果を手書き風にラフに表示することの3つである。

　第4章「Beautification and Prediction for 2D Geometric Drawing」は、2次元の幾何学的な図形を容易に、美しく描くための手法について論じたもので、コンピュータは、ペン入力を直線とみなし、既存入力図形と新たな入力との幾何学的関係、例えば、平行、等長、直角、などを推定して、可能性のある複数の案を画面に提示する。利用者はそれらの中から自分の欲しいものを選択するという手順で図形を描いてゆく。論文ではこの手法を他の手法と比較し、半分〜3分の1の時間で描画が可能であるという実験結果を述べている。

　第5章「Path-drawing for Virtual Space Navigation」は、3次元仮想空間の中を動く物体の経路を、容易に指定する手法について述べたもので、3次元空間が表現されている2次元の画面上で、単純に軌跡を描くことにより、その経路を指定する手法を提案している。それを実装したプロトタイプでは、建物などの障害物、坂道、トンネル通路などがあっても、指定した軌跡をコンピュータが適切に解釈し、障害物は回避し、坂道は登り、通路はうまく通り抜けて、目的地に向かうという動作が自然に実現されている。

　第6章「Stroke-based Architecture for Electronic Whiteboard」は、提案しているペンベースの電子白板システムFlatlandのソフトウエアアーキテクチャについて述べたものである。入力と出力とに自由ストロークを用い、スクリーンの空き領域を柔軟に分割する機能を持ち、描かれたセグメントに対して操作可能な処理を自由に設定可能で、履歴管理が組み込まれたシステムとたっており、オフィスに置かれた大きた白板の代わりをすることを想定したものである。このようなシステムの考え方自体は、既に存在していたが、本論文で述べている3要素の考えに基づくソフトウエア構造によって、システムが柔軟かつ容易に実現できることを示している。

　第7章は、「Sketch-based 3D Freeform Modeling」で、ぬいぐるみ動物のような3次元物体のモデルを、迅速且つ簡単にコンピュータ内に構成する手法について述べている。利用者は、2次元の自由なストロークを描くが、それをシステムが自動的にもっともらしい3次元ポリゴンを生成しその外部像を表示する。このシステムでは、その他に、利用者が描いたシルエットを膨らませたり、別の物体をくっつけたり、切ったり、様々な操作を行なうことによって変形可能である。このソフトウエアはJavaで書かれ、3次元モデル作成と表示をPCの上で実時間で可能である。また、12人の初心者に使った評価結果では、10分間で使い方をマスタし、3次元物体を数分で作成することができたと述べている。

　第8章は、「Freeform User Interface Revisited」は、この論文で提案している自由形式のユーザインタフェースの特徴をまとめ、その限界について述べるとともに、この種のシステムをリファインするためのガイドラインについて述べている。

　第9章は「Conclusion」である。

　以上これを要するに、本論文は、コンピュータを用いて図を描いたり3次元モデルを作成するなどの作業において、利用者の意思を的確に把握するインタフェースを構成すれば、ペンストロークによる自然な利用者の指示によって、入力作業が極めて容易になることを示したもので、情報工学上貢献する所少なくない。

　よって、本論文は,博士(工学)の学位請求論文として合格と認められる。