背景

手術を支援する画像誘導システムは正確におよび直感的にナビゲーション情報を術者に提供することが求められる.従来の二次元ディスプレイによる画像誘導システムは奥行き情報が欠如し,ディスプレイが手術部位から離れるため,直感的な三次元構造の理解が困難である.そのため,微小な血管や神経等と他の組織との位置関係を把握することは困難であり,正確に手術を行うために高い熟練度が要求される.

上記の問題を解決するために,三次元インテグラルビデオグラフィ(Integral Videography, IV)を用いた手術支援のための拡張現実システムに関する研究を行う.IVとはマイクロ凸レンズアレイと高密度液晶ディスプレイを用いた光線再構成型の立体表示技術である.更に,表示されているIV画像をハーフミーラを用いて直接手術部位にオーバーレイし,術中に視線の移動が無く高臨場感の手術誘導を実現する.

IV画像による手術誘導システムを構築する際に高精度の画像が必要となり,また立体感を強調するために,リアルタイム性をた豊かな表現力を持ったレンダリング手法が必要となる.正確な位置に表示するためにIV画像の計測・トラッキング技術を開発し,術者に負担を掛けず,簡単なレジストレーション方法を提案する必要があると考えられる.

目的

本研究では三次元IV画像を用いた手術支援のための拡張現実システムの臨床応用化に向けて,以下のことを行う.

1.三次元位置が正確,豊かな表現力を持ったIVのリアルタイムレンダリング方法の開発

2.空間中に表示されるIV画像の計測・トラッキング技術の開発

3.術者への負担を軽減するために,自動的な画像・患者間のレジストレーションの開発

4.口腔外科における評価を行い,臨床応用化における問題点の解決

方法

1.IVのレンダリングアルゴリズム

豊かな表現力を持ったサーフェスモデルを用いた多視点画像の画素再分配によるIVの作成法は先行研究で開発された.この手法では,厳密な光線経路の計算が行われないため,観察する時に画像の歪みが生じ,医療応用に適切ではなかった.今回は画像ベースレンダリングにおける光線の記述法を用い,光線のパラメータ空間で厳密な計算を行うことで,正確な画像作成を提案する.更に,レンズの周辺部の画像に関して,光線の補間計算を行い,視域内での画像の切り替えを防ぐ.

光線の記述および補間計算を行うために,膨大な計算が必要となり,従来と比べて計算量が大幅に増加する問題がある.本研究では,画像をリアルタイム作成するために,提案したレンダリングアルゴリズムをGPU (Graphical Processing Unit)に実装し,画像作成の高速化を実現する.具体的に,視点画像の作成とIV背面画像の作成を二つのレンダリングパスで行い,一回目のレンダリング結果(視点画像)をテクスチャに保存し,二回目のレンダリングで利用することで,GPUとCPU間のデータ転送が無く,高速な計算が可能となる.

2.IV画像の計測・トラッキング

IV画像を正確な位置に表示するために,現在表示されている画像のグローバル座標系における座標を計測する必要がある.IV画像の特徴として,実物が存在しないため接触式や反射式の計測法を使用することができない.そのため,ステレオ法を用いて,カメラでキャプチャしたIV画像に対して,画像処理を行うことでIV画像の三次元形状を計算する方法を採用する.

三次元形状を計測するために,キャプチャした画像から特徴点を抽出し,右と左画像における特徴点の対応関係を求めることで特徴点の深度を計算する.しかし,キャプチャしたIV画像にはレンズアレイの模様が写り込んで,特徴点を正しく検出することができなくなる.本研究では,キャプチャしたIV画像に対して,周波数領域でフィルター処理を行い,レンズアレイ成分の周波数を取り除くことで正しく特徴点の抽出を実現する.

3.自動的な患者・画像レジストレーション

従来のシステムで光学式マーカーを利用し,患者・画像間の位置合わせを行ったが,画像および患者の座標取得には手動な作業が必要であり,またマーカーフレームの存在により術者のワークスペースが高速される問題がある.本研究ではステレオカメラを用い,IV画像および患者の計測・トラッキングを自動的に行うことで術者への負担を軽減する.

IV画像の計測は前節で説明した方法で行う.計算の簡略化のため,IV画像に計測用の特徴点を作成し,これらの点のみに対して計測を行う.

患者の計測は,手術によって対象となる部位が異なるため,特化したアルゴリズムを開発する必要がある.今回では,口腔外科の手術支援システムとして,患者の計測・トラッキングアルゴリズムを開発する.

患者のトラッキング方法として,カメラ間の変換にロバストな特徴量に基づいたマッチング法を採用する.具体的には,術中のカメラ画像から歯の領域だけを抽出し,領域の輪郭点を特徴点とする.次に,SURF(Speed Up Robust Features)特徴量記述を用い,各特徴点における特徴量を計算する.計算した特徴量ベクトルの類似度に基づいて,右と左画像の特徴点の対応関係を求め,三次元位置を計算する.

計算された三次元特徴点群に対して,事前にCT画像から構成された患部の三次元モデルと比較し,変換行列を求める.変換行列を求めるには,ICP (Iterative Closest Point)を利用する.

結果

IV画像のレンダリング

作成されたIV画像に対して,三次元感触デバイスPhantom Omniを用い,被験者によるポインティングを行った.従来の作成方法に対して,本研究で提案した手法を使った時,被験者はより正確なポインティングが出来ることを確認した.

1024×768ピクセルのIV画像をレンダリングする時,本研究で提案したGPUによる計算は,従来のCPUを使った計算より最大12倍の速さに達した.実験に使用したすべてのサーフェスモデルに対して,10 fps (frame per second)の速度で画像の更新が出来,手術には十分な更新速度になった.

口腔外科における評価実験

下顎の模型を用い,IV画像オーバーレイシステムの臨床におけるIV画像の位置合わせ精度を評価した.光学式トラッキングを利用した実験では,位置合わせ精度は0.7mmとなり,口腔外科で要求される精度を満たしたが,位置合わせには時間がかかり,臨床で使うためにはより簡単な方法が必要であることがわかった.一方でステレオカメラ(画素数640×480ピクセル,1画素のサイズ9.9×9.9μm)を用いた実験では,自動的なにより術者の負担を大幅に軽減出来た.位置合わせ精度は1.5mmとなり,特徴点抽出および変換行列の計算に必要な処理時間は3.5秒であった.

考察

本研究では多視点画像を用いたIV画像の作成アルゴリズムに置いて,光線経路を厳密に計算することで,医療応用に適した正確なIV画像の作成法を提案した.提案した手法では計算量が増加するが,GPUに実装することにより,ほぼリアルタイムで画像の更新が出来た.

IV画像の測定およびトラッキングアルゴリズムは,今回の実験対象である口腔外科に限らず,幅広い分野で応用可能な画像認識ツールである.患者の計測・トラッキングは,手術の対象に対応したアルゴリズムの開発が必要となる.

ステレオカメラを用いた位置合わせ精度は現時点では1.5mmとなったが,術者に全く負担が無いと言った点では臨床応用に置いて非常に有力な手法である.将来的に,ハードウェア(カメラ)およびソフトウェア(特徴点検出)の改善により,1mm以下の精度が実現可能だと考えられる.

結論

外科手術をより安全に行えるために,三次元IV画像を用いた拡張現実システムを開発した.IV画像の作成法を改善し,より正確な画像をリアルタイムで提示することができた.ステレオカメラを用いたIV画像の計測・トラッキング方法を提案し,幅広い分野での応用が期待される.これらの結果により,口腔外科に置いて自動的な位置合わせフレームワークを提案し,術者への負担を軽減することで臨床における有効性が確認された.

論文題目「Augmented reality system for image guided intervention using auto-stereoscopic visualization」(画像誘導手術のための立体映像を用いた拡張現実システム)の学位論文は,医用三次元Integral Videography (IV)画像を用いた拡張現実システムを臨床現場で適用するための研究である.具体的には,高速・高精度のIV画像作成アルゴリズムを開発すると共に,拡張現実(AR)環境におけるIV画像と患者の完全に自動的な位置合わせ手法の開発を行った.本研究の成果として,臨床応用性の高い術中のナビゲーションシステムの開発に成功した.

本論文は8章からなり,第1章では拡張現実による画像誘導手術システムの現状を解説し,三次元IV画像の必要性および臨床上の問題点を述べた後に,高精度かつ自動的なIV画像と患者の位置合わせの必要性を述べている.第2章では,本研究の目的として,高速・高精度の画像作成アルゴリズムおよび全自動な位置合わせ手法の開発,臨床応用として口腔外科手術支援システムの開発を述べている.第3章では,高精度の画像作成アルゴリズムを述べ,GPU実装による画像作成時間の短縮について述べている.第4章では,システムの構成を説明し,拡張現実環境下IV像と患者の位置合わせのためにIV画像および実物の特徴点の同時抽出アルゴリズムを述べている.第5章では,臨床応用として,口腔外科に適用した時の臨床開発について述べている.具体的には,手術対象となる部位の自然特徴点を利用した自動的な患者のトラッキングを実現する.第6章では,個別の要素技術およびシステム全体の評価実験・結果を述べ,第7章では実験の結果に対する考察を述べている.最後に第8章は結論となっている.

まず,IV画像の作成には,三次元CGモデルに対応した視点画像ベースレンダリングを改良し,光線の経路を線密に計算することにより高精度かつ表現力が高いIV画像のレンダリングアルゴリズムを提案した.その結果,IV画像の飛び出し距離が5[mm]から30[mm]の場所において,従来の手法では平均1.52±0.42[mm]の飛び出し誤差に対して,提案手法では0.25±0.20[mm]の誤差が観測された.また,ディスプレイの前に設置されているレンズアレイの各マイクロレンズ輪郭部に対応した画素に対し,各レンズ間の補間計算を行うことにより従来の手法で問題となったフリッピングが改善され,より広い視域角が得られた.

本研究で提案したIV画像のレンダリング手法は従来の手法より計算量が多くなりましたが,GPUで実装することにより,計算効率が向上され,従来のCPUによる実装と比較すると最大12倍高速化され,リアルタイム性に優れている.

IV像による拡張現実システムは,ハーフミーラにより三次元IV像を実際の患者の体に投影し,手術部位の内部情報およびナビゲーション情報を直感的に術者へ提示するシステムである.IV画像と患者の自動的な位置合わせについては,IV画像の特徴を考慮したステレオカメラによる画像と患者の三次元位置・形状を同時に測定する手法を開発している.具体的には,IV像および患者の特徴点を右と左のカメラ画像から抽出し,これらの特徴点の三次元再構成することでIV像と患者の変換行列を求める.また,カメラで撮影されたAR画像中のIV像には,表示用のマイクロレンズの模様が写り,IV像の位置測定に必要な特徴点抽出アルゴリズムに影響されている.本研究では,独特のレンズ模様の除去アルゴリズムを開発し,AR画像他の部分に影響を及ぼさずに,IV像だけに対してのレンズ模様を除去し,IV像および患者の特徴点を同時に抽出することを可能にした.

以上の要素技術を利用し,口腔外科の次世代の手術支援システムを構築している.手術者の負担を軽減するために,完全にマーカを必要としないナビゲーションを実現している.口腔外科の手術環境を再現し,顎骨領域の自然特徴点を利用した患者のマーカーレス認識・トラッキング技術を開発した.具体的には,(1)歯茎の自然特徴点の抽出による初期レジストレーション,(2)歯の輪郭抽出およびSURF(Speed Up Robust Features)特徴量記述法とICP(Iterative Closest Point)マッチング手法による高精度レジストレーションが実装されている.

顎骨モデルを利用した評価実験の結果により,完全に自動的な位置合わせが3秒以内で実現され,これまでのナビゲーションシステムに対して大幅に術者の負担を軽減した.また,カメラ画像から位置合わせ精度を評価したところ,IV画像と実物(患者のモデル)との平均位置誤差は0.86±0.41[mm]であり,最大位置誤差は1.8[mm]と,高精度が実現された.

以上により,本研究では,三次元IV画像を用いた治療用の拡張現実システムを開発し,手術者への負担を最小限に抑えながら正確かつ直感的に手術を誘導することを可能にした.従来のIVレンダリング手法の問題点を解決し,高速・高精度な画像作成アルゴリズムを提案すると共に,AR環境に特化した自動的な位置合わせ技術を開発し,AR分野では非常に有効な技術となっている.また,口腔外科において,解剖学的な特徴点を利用した完全にマーカーレスの患者トラッキング技術を開発し,これまでのナビゲーションシステムに無い位置合わせ作業の容易さと正確さを実現されている.将来の展望として,本システムは多くの臨床アプリケーションに適用することが期待できるものである.

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.