背景

画像誘導下手術は、術前又は術中に撮影された画像をもとに外科手術を行う手法である。従来の誘導用画像は二次元ディスプレイに表示され、術者がこれを参照するためには術野から目を離す必要があり、円滑な手術操作が妨げられる。また画像の三次元位置情報は、一旦二次元にされた後に観察者の頭の中で再構成されるため、三次元位置情報の把握が直感的ではない。そのため、患部に関する画像情報をより客観的に提示できる三次元表示システムへの要求が高まっている。

以上の問題点を解決するため、マイクロ凸レンズ二次元アレイと感光体を組み合わせて三次元画像の記録・再生を行うインテグラルフォトグラフィ(Integral Photography , IP) の原理に準拠した動画表示手法であるインテグラルビデオグラフィ(Integral Videography, IV) の技術を提案し、歪みのない真の三次元動画像の開発および応用を行ってきた。IP/IVは、特殊な眼鏡や視点追跡を用いることなく、同時に複数の観察者がディスプレイ前の広い範囲から裸眼で、かつ自由な姿勢で三次元像を観察することが可能となる。本研究では実用的な高画質・画像エリアを有するリアルタイムIV表示装置を実現するために、高解像度・超多画素平面ディスプレイの開発を行い、また高画質・高速IV画像の作成については、医療用三次元空間投影像生成部である高速画像処理システムの開発に取り込む。

目的

本研究では画像誘導下外科手術における三次元画像情報提示システムの確立のために、高画質かつ高速IV画像作成・表示システムの開発を行う。具体的な研究項目は以下の通りである。

拡張性のある超高密度・多画素表示技術を開発し、高精細IV画像表示システムを構築

画像処理方法の基本に忠実な高画質IV画像の開発

並列・分散処理を用いた高解像度IV画像の高速作成法の開発と評価

術中情報リアルタイム提示のための高速IV画像レンダリング法の開発と評価

開発された手法を応用したIV画像誘導下手術支援システムの開発とその臨床応用実験による評価・検討

方法

本研究では、IV画像処理の基本に忠実にして画質向上方法を提案し、画像作成についてレンダリング時間を短縮するためのアルゴリズムを開発する。さらに高精細のIV画像の高速作成法を用いて、臨床応用における必要な手法・システムの開発を行う。

マルチプロジェクション高精細IV画像表示システムの開発

IVでは、各々のマイクロ凸レンズ領域内に、上下左右多方向から見た場合の情報を表示しておく必要があり、三次元画像として実用的な画像寸法と空間解像度を得るには、凸レンズアレイの裏に、超高解像度・超多画素二次元ディスプレイが必要になる。そこで、高画素密度に投影可能な複数台のプロジェクタを複数台用い、それらの画像をスクリーン上で合成するマルチリアプロジェクション技術を利用する。また、高密度投影画像を得るために長焦点ズーム投影レンズを新たに開発する。

IVとして必要な画面をエリア分割し、各エリア毎に1台のプロジェクタを配し担当する部分画像を投影する。投影画像は、ネットワークによって相互に接続した複数台のPCを同期制御して並列表示をする。各PCより出力された部分画像の画像信号は、形状や輝度や色彩を任意に実時間で変調、可能なリアルタイム画像処理ボードを経由し対応するプロジェクタに供給する。

投影レンズやプロジェクタの個体差等により、マルチプロジェクタを設計どおりに配置しても、投影画像の傾き、大きさや明るさ、色に差異があらわれる。そこで、テストパターンを投影し、レンズアレイを介した表示画像を複数の位置からディジタルカメラで撮影し、リアルタイム画像処理ボードの幾何変形と色補正パラメータを生成・キャリブレーションを行い、マルチプロジェクションにもかかわらず継ぎ目の感じられない(シームレスな)IV画像を得る。

また、治療用画像のとしての必要な精度を充たすために、一般の臓器が実物大で表示可能な画面寸法と、三次元医用画像計測装置の解像度に対応した空間解像度の画像表示が求められ、新たにレンズアレイの設計・開発を行う。

高画質IV画像処理方法に基づいた高画質IV画像の作成

IV画像作成について、従来のIV画像生成法がサンプリング定理等の画像処理の基本を無視していた為画質が悪かったのを、レンズアレイ背面の各画素、および各々のレンズに対応する単位画像の生成方法における画像処理の基本に忠実にして画質を改善する方法について論じる。また、実際の視距離でのIV画像の視域を確保し、必要な領域に対応する高画質のIV画像の作成・表示アルゴリズムを開発する。

並列・分散処理による高解像度IV画像の高速作成

コンピュータ画像処理では、オブジェクトが複雑であったり、高画質、或いは高速作成が必要がある場合、大きなコンピュータの演算パワーが要求される。本研究で行う高解像度画像作成は、画素数が数百万程度になり、実時間で処理するためには、それなりの高速処理が必要である。

本研究ではIV画像の処理能力を向上させるため、共有メモリーのあるハイパフォーマンスコンピューティング(HPC)で統合された並列計算を使用する。また、高解像度の大画面を分割してマルチプロジェクタの上でリアルタイム表示を行うために、並列分散処理アルゴリズムを開発した。ここに、リアルタイムの画像を作成・表示するために、PCおよび映像信号処理装置の作動が一致するようネットワークで同期をとり、またマルチ PCの通信およびリソース配置の最適化の開発も行う。

手術画像情報リアルタイム提示のための高速IV画像の作成

臓器ボクセルデータが大きいため、手術器具と臓器データの結合の下でリアルタイム性の実現は難しい。そこで、変化の少ない臓器と常時変化しデータ量の少ない手術器具データを別々個別に生成し、それらに対応するIVも個別に作成、レンズアレイ背面の二次元画像として部分動画表示し高速化する。臓器データからIV画像の生成では、臓器に対してジャンプ・レイトラッキングの方法を提案し、探査直線上におけるボクセルデータを2n（n〓3）ごとに探査することより物体の高速レンダリングを行う。また、手術器具のIV高速作成法について、手術器具を丸棒で近似し、数式計算により手術器具のIV画像を作成する。さらに、手術器具にあるボクセルデータの個々の画素から探索光線を想定し、レンズアレイでの探索範囲を決めてから、決められた探索範囲の下で上記の方法を用いることで、IV画像生成の高速化を実現する。

結果

マルチプロジェクション高精細IV 画像表示装置を試作し、縦横3台づつ配置した9台のXGAプロジェクタの画像を画素ピッチ0.084mm (302ppi)の高解像度投影を可能にした。プロジェクタ9台を約10％のオーバーラップで投影し、241×181mmの画面寸法の中に2868×2150 ピクセルの超高解像度・超多画素シームレスな画像表示装置を実現した。レンズアレイの各マイクロ凸レンズに対応する画像は横12画素、縦11画素である。観察された視域は、視距離500mmで上下±7°左右±8°であった。空間分解能については、線幅1mm,、2mm、3mmに対し約±10mm、±35mm、±60mmの奥行き表現範囲が確認された。

並列計算については、PCクラスターを用い高解像度の大画面を分割して、9台のPCに並列分散処理アルゴリズムを導入し、高解像度IV画像(2868×2150 Pixel)の計算時間は最大2.28秒と、シングルPCの7.5倍の速さを達成した。さらに、HPC (SunFire 15K)を用い2868×2150 Pixelの画面の計算時間は0.38秒となった。

医用画像データの取得と画像データのセグメンテーションを一貫した処理に統合し、高画質化IV画像の画像高速作成により手術支援用のIV Visualizationシステムを開発した。治療に際して重要になる患者との重ね合わせにおいては、臨床現場での使用可能性、内部構造把握可能性について検討した。また、IVを用い手術器具の術中情報提示に約3 フレーム／秒で更新できる三次元ナビゲーションシステムを開発し、患部に対する自然な三次元画像の表示と、術中にの手術器具の経路誘導及び危険部位の回避を容易にする視認性の良い表示を実現した。

考察

本研究では医療用三次元画像を開発するにあたり、医療画像として最も重要な要素である精度の点から、他の立体画像表示装置より正確な空間位置表示可能なこのシステムでの臨床応用を鑑みた研究は有効であったといえる。

IV画像については、レンズアレイの性能の理論限界は遙かに高く、製法の開発によりさらに高解像度の三次元画像が期待される。また、三次元画像の空間解像度は、およそレンズアレイのレンズピッチおよびアレイ背面の表示装置の画素ピッチに比例する。したがって、三次元画像のさらなる高解像度化には、それらの両方を小さくする必要があるが、本研究で提案したマルチプロジェクション方式は将来にわたり非常に有効な手段と考えられる。また、高解像度画面に対応できるよう、より多くかつ大規模な計算パワーと高速作成アルゴリズムも必要になる。臨床応用にしては、特に手術ナビゲーションあるいは画像オーバーレイなどの画像誘導手術を簡易化させるために、より小型化のIV表示装置が今後の重要な開発項目である。

結論

本研究では画像誘導下外科手術における高画質かつ高速三次元IV画像情報提示システムを開発し、医療現場のニーズに合致した手法として提案した。

マルチプロジェクションとそれに対応した画像キャリブレーション方法を用い、IVにおいて医用画像としての実用的な画像寸法と空間解像度の高画質三次元動画像を得るために、非常に有効な手法であることが明らかになった。IV画像作成の分析と画像処理方法を統合し、IV画像の質の向上に貢献した。また、並列・分散処理を用いた高解像度IV画像の高速作成、および術中情報リアルタイム提示のための高速IV画像レンダリング法を提案、・開発した。開発された手法を応用したIV画像誘導下手術支援システムの構築とその臨床応用実験による評価を行い、本研究の手術支援への貢献可能性を確認した。

論文題目「A novel medical autostereoscopic image of Integral Videography」(インテグラルビデオグラフィによる新しい医用三次元画像の研究)の学位論文は、1908年にフランスのLippmanにより提案されながら全く実用化に至らなかったIntegral Photographyの多くの問題点をコンピュータ技術により解決し、実用化への道を開くと共にその応用範囲を飛躍的に拡大したIntegral Videography(以下IVと略す)の研究である。本研究の成果として、今後要求が高まる治療用医用画像、特に手術支援医用画像への展開として、フルカラーの3次元動画像を3次元実空間に歪み無く投影するシシテムの開発に成功している。

本論文の始めに、医療分野において歪みの無い3次元動画像の必要性を述べ、次に本研究の目的として、画像誘導下外科手術における3次元画像情報提示システムの確立に不可欠な高画質かつ高速IV画像作成・表示システムの開発を行うことを述べている。

この目的実現のために、まず、拡張性のある超高密度・多画素表示技術を開発し、高精細IV画像表示システムを構築を行っている。3次元画像として実用的な画像寸法と空間解像度を得るには、高画素密度に投影可能な複数台のプロジェクタにより背面投影した複数の画像をスクリーン上で合成する高密度投影技術を新たに開発し、プロジェクタの投影レンズもこれに適した物と交換している。IVとして必要な画面をエリア分割し、複数台のPCを同期制御して並列表示をしている。また、レンズアレイを介した表示画像を複数の位置からディジタルカメラで撮影し、リアルタイム画像処理ボードで幾何変形と色補正パラメータの生成・キャリブレーションを行い、シームレスの再生に必要な幾何変形と色補正パラメータを生成すことでシームレスなIV画像を得ている。

次に、IV画像処理の基本に忠実な高画質IV画像の作成を行っている。このIV画像作成に関して、レンズアレイの裏にある基本な画素背面の各画素、および各々のレンズに対応する単位画像、画像生成における画像処理において画質を忠実に改善する方法について論じている。また、実際の視距離でのIV画像の基準視域を確保し、必要な領域に対応するIV画像の作成・表示アルゴリズムを開発している。

IV画像の処理能力を向上させるために、並列・分散処理による高解像度IV画像の高速作成においては、共有メモリーのあるハイパフォーマンスコンピューティング(HPC)で統合した並列計算を行っている。また、高解像度の大画面を分割してリアルタイム表示を行うために、並列分散処理アルゴリズムを開発している。

手術画像情報として不可欠なリアルタイム提示を実現するには、高速IV画像の作成方法が必要となる。その目的のために、臓器と手術器具について静止部分に変更部分を「上書き」する方法、さらに刻々変化する手術器具の三次元画像に「ジャンプ探索」する方法、および「探索範囲限定」という独創的な方法を開発し、リアルタイムIV画像作成の実現に成功している。

また、開発したリアルタイム高解像度IV画像を、XGAプロジェクタ9台で試作したマルチプロジェクション高精細IV画像表示装置により302dpiの高精細画像として投影し、241×181mmの画面寸法の中に2868×2150 ピクセル（画素ピッチ0.084mm )の超高解像度、かつ、シームレスな画像表示に成功している。高精細IV画像表示装置の空間分解能については、線幅2mmに対し約±35mmの奥行き表現の実現を確認している。

並列計算については、HPC (SunFire 15K)を用い2868×2150 Pixelの画面の計算時間は0.38秒を確認した。また、高解像度の大画面を分割して、9台のPCクラスタに並列分散処理アルゴリズムを導入し、上記の高解像度IV画像の計算時間は最大2.28秒と、シングルPCの7.5倍の速さを達成している。

以上のように、本論文で開発したシシテムは、医用画像データの取得と画像データ分析を統合して一貫処理し、さらに高画質化IV画像の画像高速作成により手術支援に不可欠な自然な3次元画像を3次元実空間に投影するものである。また、本システムによる画像は、画像誘導手術における支援画像として、術中における手術器具の経路誘導及び危険部位の回避という重要課題を視覚的に容易にする極めて優れた表示方法でもある。本システムを用いた新治療環境の実現は、従来では治療が困難であったり治療が不可能であった疾患に対して、新たな治療方法の道を開くもので、これからの発展が大いに期待される

よって本論文は博士（工学）の学位請求論文として合格であると認められる。