本論文のテレオペレーション法は、マスターマニピュレータでスレーブマニピュレータを操るというマニピュレータ情報に基づくロボットの制御ではなく、コンピュータスクリーン上で操作者が視覚センサから得られる情報に基づく作業状況(ステータス)を指示することによって作業を教示し実行する方法である。ステータスは、センシングポイントと呼ばれる点の集合の関係(位置と角度関係)によって指定される。センシングポイントには、作業対象物や作業環境において特異な視覚特徴の現れている点が操作者によって選ばれる。そのような初期のセンシングポイントが、どのセンシングポイントとどういう位置関係になって欲しいのかを指定することにより,作業が指定され実行される。センシングポイントは、いったん指定されると対象物や環境が視覚システムに対して移動しても対象物や環境と一定の位置を保つようにシステムにより自動的に視覚追跡される、環境変動に強い制御手法となっている。

　遠隔作業においては、前述のステータスドリブン制御が提供する即応的な制御機能とともに、比較的時間スパンの長い一連の作業実施や記述・蓄積機能が求められる。ビヘービアサンプリングはそれを可能とする情報表現法であり、視覚制御のためのデータ表現とその実施、実施した一連の制御の記録と蓄積メカニズムを実現している。具体的には、映像データや制御データからなる制御シーケンスの生データから情報を抽出し記録するメカニズム(情報抽出レベル)とともに、その情報を構造化して整理するメカニズム(構造化レベル)と人間が必要とする場合には意味情報を付加するメカニズム(抽象化レベル)が具現化された。

　ビヘービアサンプリングが対象とする入力情報は作業環境を表現する視覚情報とロボットを動かす制御情報であり、出力情報は後で検索可能な構造化された視覚および制御系列のストリーム情報である。このストリーム情報は,ファイル等として記録保存したり,伝送することが可能である。視覚情報は、視覚オブジェクトと呼ばれる対象物の視覚表現とそのシーン中の時間空間位置表現で記述され、作業映像シーンの意味を考えない低レベルな視覚処理によって構造化される。制御情報には、対象物の位置や制御の方法が含まれている。これらの視覚および制御情報は、追記可能な階層ツリー構造として表現されている。

　ビヘービアサンプリングによって蓄積された作業情報は、ステータス オン デマンド機能によって再利用され遠隔作業の支援が実現される。ステータス オン デマンド機能では、操作者が過去の作業のシーケンスを理解できる形でみられるようにするために、映像やグラフィックス、テキストによってステータスの変遷が表示される。操作者は、表示情報を参考にしながらそれを作業の再実行に利用する。ステータス オン デマンド機能には、3つのレベルの機能がある。下位のレベルの短期機能としては、作業の一部を修正して実行を支援したりすることを可能としている。例えばアンドゥ機能は、今のセンシングポイントの状態を一つ前の状態にもどす働きをする。拡張リドゥ機能は、先だっての作業のステータス変化を再実行することで、同様の作業を操り返す。中間のレベルの機能としては,作業の編集を可能としている。例えば作業のパラメータの編集や意味情報の付加を行う。上位のレベルの長期機能では、実施した作業の分析や、以前の作業手続きの新しい環境での再実行を可能としている。具体的には、過去に実行された膨大な作業シーケンスをステータスの変化をつかって要約し提示してみせる機能などによって、ビヘービアサンプリングによって保存されたデータファイルを効果的に分析することを可能としている。操作者が、ある形の対象物やある作業シーケンスを含む過去の作業の映像を探してみる事、それを再実行することに利用できる。

図1 Bilateral Behavior Media Overview Diagram

　最近の生物学研究においては、個々の細胞分析の重要性が増している。このような微小な作業世界は、我々の日常経験とはかけはなれた世界であり、いくつかの試行の経験が有効に活かせる遠隔作業法が求められている。そこで、第2章で述べた概念の応用作業例としてマトウ細胞操作が、細胞操作システム(CHS)によって実現された。マトウ細胞は脳内の血管壁中に存在する細胞で、それが細胞内に蓄積する顆粒物質が老化に関係するといわれており、その顆粒物質を分析するに十分な量を収集するために多数の細胞の収集作業が求められている。

　システムは、白色と紫外光を切り替えられる光学顕微鏡、それにつけられたCCDカメラ、映像入力および画像処理装置、並進3自由度の作業台と並進2軸自由度を有するマニピュレータとから構成されている。マトウ細胞は、プレパラート上にストレッチ標本として顕微鏡下におかれ作業に付される。

図2 Cell Handling System(CHS)

　マトウ細胞の輪郭と沿った軌道を指定し、なるべくロボットマニピュレータにつけられた針先の軌道がそれに一致するように動かす作業を、ステータスドリブン制御とジョイスティックによる手動制御とによって実施する比較実験が実施された。その結果、ステータス駆動制御は手動制御に比較して作業時間で約1/3に短縮されることがわかった。

図3 Status Driven Performance Results

　いくつかのマトウ細胞の周辺を削り取る作業の記録が、ビヘービアサンプリングの手法によって可能であることが示された。マトウ細胞の収集作業時の顕微鏡画像および作業台とマニピュレータの制御指令から視覚オブジェクトの抽出を行い,視覚情報と制御情報を構造化して記述・蓄積可能であることを確認した。

図4 Status Driven and Behavior Sampling;

図5 Long Term Status on Demand

　a)拡張リドゥ機能と、b)カスタマイズの機能、c)要約機能の各実験により,ステータス オン デマンドの機能が実現可能であることが実証された。a)拡張リドゥ機能実験:マトウ細胞の周辺を削り取る作業においては、最初マトウ細胞の輪郭に近いところを削り取り、その後徐々に周辺にひろげて削り取る機能が求められる。初期段階の削り取り作業実行のデータを修正利用することによって周辺の削り取り作業が容易に実現できる拡張リドゥ機能の有効性が実証された。b)カスタマイズ機能:削りとったマトウ細胞をピペットで吸い取る作業が追加された時、その作業の教示が容易にカスタマイズ機能によって実施できる事が確認された。c)要約機能:作業中の変化を示す映像を構造化処理に基づいて選択し,複数枚提示することが、その作業の要約提示として有効であることを実験により確認した。