近年は術者の手技を拡張させるためにダ・ヴィンチ手術ロボットシステムを用いたロボット支援手術が行なわれている。しかし、制限的なアプローチや大きさなどによる様々な問題が指摘されている。そこで最近新しい手術ロボットプラットフォームが注目を集めている。その中で、小型マスタ・スレーブ手術ロボットシステムは複数のスレーブロボットアームと内視鏡が手術テーブルに直接取り付けられる。そのため、小型であり、手術スタッフの患者への接近性が良い。また、より広くて柔軟なアプローチを可能にする多関節マニピュレータも開発されている。これらの新しい手術ロボットプラットフォームの実用化に向け、解決しなければならない技術的な課題がある。その中で本研究が扱うのはハンド・アイコーディネーション問題である。

マスタ・スレーブ手術ロボットシステムにおけるハンド・アイコーディネーションとは術者の操作によるマスタの動きの方向と内視鏡画像上に見えるスレーブ先端の動きの方向が一致することを指し、スレーブロボットのベース座標系と内視鏡のカメラ座標系との相対姿勢に基づいてマスタマニピュレータとスレーブロボットの制御関係を変換することにより実現する。しかし、小型マスタ・スレーブ手術ロボットシステムの場合は、スレーブロボットと内視鏡をつなぐ機械的なロボットアームがないため、スレーブロボットのベース座標系と内視鏡のカメラ座標系の相対姿勢を別途に計測しなければならない。また、多関節マニピュレータの場合は、軟性構造あるいは変形されやすい構造を持つため、体内に存在するスレーブロボットのベース座標系を体外から推定するのが困難である。従来、青木らは光学式位置計測システムを用いてスレーブロボットのベースと内視鏡の相対姿勢を計測した。しかし、光学式位置計測システムは高価であり、システム環境が複雑になり、センサとツールとの視線を確保しなければならないため、操作とセットアップに制約を与える問題がある。また、多関節マニピュレータへの適用のために必要な体内での測定は困難である。

そこで本研究は新しいマスタ・スレーブ手術ロボットプラットフォームにおいて、別の位置計測システムを使わずに、ステレオ画像とロボットの運動学情報だけでスレーブロボットのベース座標系と内視鏡のカメラ座標系の相対姿勢を計測し、ハンド・アイコーディネーションを実現する手法を提案する。

まず、ステレオ内視鏡の画像でスレーブ先端の2つの特徴点をトラッキングする。それによってステレオ内視鏡のカメラ座標系を基準にしたスレーブ先端の5自由度の位置と姿勢を計測する。画像上のスレーブ先端は背景の組織や臓器などに比べて比較的に内視鏡に近いところに配置されるため、より高いステレオ視差を持つ。これに着目し、複数の画像上のサンプリング線のステレオ視差を調べることによって、スレーブ先端のステレオ視差の有効範囲を推定する。その後、その範囲内のフィーチャポイントを垂直方向で探索することによってスレーブ先端の2つの特徴点を検出する。ここで2つの特徴点は、画像上のスレーブ先端の最上位点をエンドポイントとし、そこから一定距離で垂直に離れたところのフィーチャポイントをオフセットポイントとする。エンドポイントはスレーブ先端の位置に相当する。オフセットポイントからエンドポイントへの方向はスレーブ先端の座標系のz-軸に相当する。したがって、本トラッキング手法でスレーブ先端の5自由度の位置と姿勢が分かるようになる。本提案手法は、既存の先行研究でよく使われた光学マーカや幾何学情報を使わないため、滅菌問題がなく、単純な形状のスレーブ先端のトラッキングにも適用可能である。

本提案手法のトラッキング性能を評価するために基礎的な評価実験を行なった。精密多軸ステージの上にスレーブ先端のサンプルを固定し、背景には心臓モデルを置き、ステージを1mm間隔で15mmまで動かしながらステレオ内視鏡でトラッキングを行なった。その結果、トラッキング誤差は平均0.75mm、速度は平均17fpsであった。静止状態でのトラッキング性能は光学式位置計測システムと同等な性能を持つことが分かった。

スレーブ先端の5自由度の位置と姿勢の情報だけではロボットの運動学情報を適用しても、スレーブロボットのベース座標系を特定することができない。そのため、残り1自由度、すなわち、スレーブ先端の軸の回転角度を推定しなければならない。初期位置でのスレーブ先端のx-軸に関して、ステレオ内視鏡のカメラ座標系のz-軸とスレーブ先端の座標系のz-軸とともに垂直であると仮定をする。そして、初期位置でのスレーブ先端の仮定した6自由度の位置と姿勢にロボットの運動学情報を適用し、仮定のロボット空間を定義する。その後、マスタマニピュレータを操作すると、逆運動学を解きながらスレーブ先端が目標位置に近づく。制御が行なわれる間に、仮定したロボット空間に基づいて予想されるスレーブ先端の位置が実際にリアルタイムでトラッキングしたスレーブ先端の位置に近くなるように初期位置で仮定したスレーブ先端の軸の回転角度を新しい値に更新を続ける。高い精度で迅速に真値に収束させるためには、高いトラッキング精度とスレーブ先端の大きな変位が必要である。ここで、初期位置でのスレーブ先端の軸の回転角度の推定に対して、画像計測によるトラッキング誤差の影響を抑えるために、カルマンフィルタを導入した。カルマンフィルタの計測ノイズとプロセスノイズはシミュレーション実験の結果から推定誤差の標準偏差と変化に相当するように設定した。

次に、初期位置でのスレーブ先端の5自由度の位置と姿勢と、推定したスレーブ先端の軸の回転角度にロボットの運動学情報を適用することによって、ステレオ内視鏡のカメラ座標系とスレーブロボットのベース座標系との相対姿勢が求められる。その相対姿勢に基づいて、マスタマニピュレータとスレーブロボットの間の制御関係を適切に変換する。それによって、スレーブロボットとステレオ内視鏡のセッティング状態に関係なく、マスタマニピュレータの動きの方向と画像上のスレーブ先端の動きの方向が常に一致することになる。つまり、ハンド・アイコーディネーションが実現される。

本提案手法の有効性を検証するために、6軸ロボットアームとステレオ内視鏡を仮想空間にモデリングし、シミュレーション評価実験を実施した。静止状態で行なったトラッキング性能評価の実験結果に基づいて、正規分布のトラッキング誤差をシミュレーション条件に適用した。初期位置でのスレーブ先端の軸の回転角度の真値を-90°から0°まで10°間隔で変えながら、各条件のシミュレーションを100回行なった。スレーブ先端は目標位置まで自動で制御が行なわれる。各制御フレームにスレーブロボットのベース座標系の姿勢の推定が行なわれる。シミュレーション実験の結果、スレーブロボットのベース座標系の姿勢の推定誤差(RMS)は0.82°であり、有効性が確認できた。

次に、実際の6軸ロボットアームとステレオ内視鏡を用いて、本提案手法の有用性評価に向け、ケーススターディを実施した。ステレオ内視鏡を5つの異なる位置と姿勢に変えながら、提案手法の適用の前と後に同一なスレーブ先端の制御を行ない、ステレオ内視鏡のカメラ座標系を基準にしたスレーブ先端の理想の軌跡と実際の軌跡を比較した。その結果、提案手法の適用の前、すなわち、予め設定されたマスタマニピュレータとスレーブロボットの制御関係に基づいて制御が行われた場合は、セッティング状態にしたがって、ステレオ内視鏡のカメラ座標系を基準にしたスレーブ先端の軌跡のばらつきが大きかった。一方、提案手法でステレオ内視鏡とスレーブロボットのベースの相対姿勢を推定し、マスタとスレーブの制御関係に変換を与えた後に同一のスレーブ先端の制御を行なった場合は、ステレオ内視鏡を基準にしたスレーブ先端の軌跡が理想の軌跡に近くなった。動的状態でのスレーブ先端のトラッキング誤差は平均4.83mm、ロボットベースの姿勢の推定誤差(RMS)は5.47°、理想の軌跡と実際の軌跡との位置誤差(RMS)は2.43mmで計算された。この結果から、本提案手法の有用性が確認できた。

本研究で提案したステレオ視差を用いたスレーブ先端の5自由度の位置と姿勢のトラッキング手法は既存の先行研究でよく使われた光学マーカや幾何学情報などが不要であるため、簡単で、拡張性が高い。また、断続的にトラッキング誤差が大きくなってもカルマンフィルタにより安定的にスレーブ先端の軸の回転角度の推定が行なわれ、最終的にステレオ内視鏡とスレーブロボットのベースの相対姿勢が求められる。しかし、より安定的かつ迅速に高い精度の推定を目指すためにはよりロバスト性の高いトラッキング手法が必要である。また、カルマンフィルタの最適化も今後の課題である。

結論については、ステレオ画像とロボットの運動学情報を用いてマスタ・スレーブ手術ロボットシステムにおける手術現場でのハンド・アイコーディネーションを実現する手法を提案した。また、ステレオ視差のみでスレーブ先端の5自由度の位置と姿勢をトラッキングする手法と仮定したロボット空間に基づいてスレーブ先端を制御しながらスレーブロボットのベースを推定する手法を提案した。最後に、シミュレーション実験と6軸ロボットアームとステレオ内視鏡を用いた評価実験の結果、提案手法の有効性と有用性が検証された。

本論文は、近年臨床応用が進み、その発展が期待されている低侵襲手術用のマスタースレーブマニピュレータ型手術支援ロボットにおける、操作する外科医の手の動きと手術ロボットの動作の対応性を与える、ハンドアイコーディネーションの実現手法に関する新たな手法を提案している。従来の手術支援ロボットシステムでは、手術マニピュレータと視野を与える内視鏡の相対位置関係を、これらを接続する機械式アームの姿勢から定める、手術マニピュレータと内視鏡に位置計測マーカを非接触3次元位置姿勢計測装置で計測し求めるといった手法が使われていた。しかし、これらの方法はより小型で設置自由度に優れた手術ロボットシステムや、今後発展が望まれる単孔式手術での使用が想定される軟性内視鏡に搭載される柔軟な構造を有する手術マニピュレータ等におけるハンドアイコーディネーション実現手法として使用できない。本論文では手術環境の特徴を活用した両眼立体視内視鏡による3次元位置姿勢計測による術具周り回転以外の5自由度の推定と、手術ロボットの運動学情報を活用したフィルタリング処理の組み合わせにより、内視鏡画像という比較的画質の悪い環境の下でも、安定して手術マニピュレータの内視鏡に対する相対的な3次元位勢推定を可能とする手法を提案している。

本論文は8章から構成される。第1章では低侵襲手術におけるマスタースレーブ型手術支援ロボットの現状と今後の発展の方向性について議論し、ハンドアイコーディネーションの必要性とその実現手法の現状を分析している。また関連研究の文献調査から、安定な操作を可能とするために許容される操作者の手の座標系とロボットの動作座標系の姿勢の誤差の大きさを分析している。その上で、現在使用されている課題を解決するための関連技術を概観し、本論文の目的を述べている。第2章では本論文で提案する手法の概要を説明している。第3章では内視鏡画像処理による視野内の手術器具を2次元でトラッキングし手術ナビゲーションで通常使用される3次元位置計測装置を用いずに、術野画像に心外膜電位計測結果を重畳する手法を提案し、実験にてその性能を確認することで、内視鏡画像計測により従来の3次元位置姿勢計測装置による計測を代替できることを示した。また手法の課題を論じている。第4章では、両眼立体視色内視鏡画像処理による3次元位置計測により、手術ロボットのエンドイフェクタの3次元位置を計測する手法を提案している。ハンドアイコーディネーションの構成作業中、安全確保のため手術ロボットは術野から離れており、内視鏡と対象臓器との中間にあるものとし、さらに手術ロボットと内視鏡、術野の手術中での一般的な位置関係を考慮して、エンドイフェクタに対応する視差を与える画像上の位置の探索条件を限定することで、安定して手術ロボットエンドイフェクタの軸回りの自由度以外の5自由度の位置姿勢を安定して推定する手法を提案している。市販の両眼立体視内視鏡を用いた実験により、提案手法で位置精度0.75mm±0.84mm(S.D.)、角度誤差3.1度(RMS)で推定可能であることを示した。第5章では操作者によるスレーブマニピュレータの動作と、エンドイフェクタの3次元位置計測を繰り返し行う過程で、マニピュレータの順運動学から予想される位置と画像計測結果の誤差解析から、手術ロボット座標系の原点位置をカルマンフィルタにより逐次修正し、内視鏡座標系と手術ロボット座標系の統合を図る手法を提案している。実際の内視鏡画像処理の誤差を考慮したシミュレーションによりカルマンフィルタのパラメタを調整した後、シミュレーションにより提案手法が報告されている既存の手術支援ロボットの運動誤差存在下でも角度精度3.4度、位置精度0.4mm程度で推定できることを示している。第6章では市販の3次元位置姿勢入力装置と6自由度の小型産業用ロボットから構成される1腕のマスタースレーブマニピュレータシステムと市販の両眼立体視内視鏡からなる模擬実験系で、内視鏡とロボットに搭載した内視鏡の鉗子部を模擬したエンドイフェクタの相対位置関係を、文献的に報告されている内視鏡手術における内視鏡と鉗子の標準的な空間配置範囲に設置し、提案手法の評価実験を実施している。術野には肝臓ファントムモデルを使用し、臓器表面での強い反射や、鉗子先端の血液付着の模擬、暗い内視鏡照明の下など、外乱をいくつか想定し提案手法の安定性を評価している。なお実験検討の中で見出された課題を解決するために両眼立体視内視鏡による3次元位置姿勢計測の安定性を向上のためのアルゴリズムの改良を実施している。実験にてエンドイフェクタを内視鏡視野内で内視鏡に対して手前方向に10mm以上移動させながら、画像計測を実施し校正を行い、角度誤差1.1度以下で座標統合が可能であることを確認している。また内視鏡手術にける照度の下限と言われる3000luxの照明下でも提案手法が適用可能であることを確認している。最後に被験者5名による、ハンドアイコーディネーションが崩れた状態での操作精度と本手法ならびに対照としてエンドイフェクタ先端の3点を指定した画像計測による姿勢計測による座標統合後の座標統合精度、作業性の向上を縫合操作の一部を構成する針刺入点への針移動を模擬した動作を行わせ、その動作精度、動作速度を比較している。提案手法は対象手法と比較して処理精度の高い座標統が可能であった。座標統合されていない状態と統合後の状態では操作性に有意な差が見られ、また提案手法は対象手法と比較して有意な操作精度と操作時間の観点から評価した操作性の有意な向上が見られた。第7章で研究全体についての総括的な考察を行い、残された課題を指摘し、第8章で結論を述べている。

本論文は、スレーブマニピュレータと内視鏡のセッティングを行った後簡単な操作でハンドアイコーディネーションのための座標統合を実現する手法に基礎を与えるものであり、精密工学の応用分野である手術支援ロボット技術の進歩に寄与する成果を与えていると判断される。

よって本論文は博士(工学)の学位請求論文として合格と認められる。