This thesis is about image stabilization of microscope images aiming at producing motion-free images. When we wish to observe living organisms in a living animal through a microscope (invasive observation), trembling of the animal significantly disturbs the observation. This trembling motion comes from biological process such as breath, heartbeat, peristalsis, and so on. Thus, this is inevitable although the animal is typically under anesthesia when observed.

Recently, observing specific living cells or molecules within a living animal has become more and more important in biological researches, which is termed molecular imaging. A confocal laser scanning microscope with fluorescent probes is one of the powerful tools for molecular imaging. This method has a distinct advantage that it has very high resolution enabling cellular or sub-cellular level observations.

In this thesis, we examine hardware approach, software approach, and hybrid approach for image stabilization. In stabilization by motion synchronization, we move the objective lens to follow the motion. As a sensor for detecting the motion, we have two alternatives: a high-speed camera and a contact-type sensor which we developed. As a software approach, we stabilize the images by image processing. It consists of two steps: estimating the motion and generating motion-free images. For the estimation of the motion which is the key to the image restoration, we have two alternatives: estimation by direct matching and estimation by feature matching. Practical issues including real-time image restoration is also examined.

We propose various stabilization methods including motion synchronization, image restoration, and hybrid method. All proposed image stabilization methods have been proven to improve the microscope images in terms of observability through in vivo experiments, leading to easier and seamless observation.

本論文は、生体蛍光顕微鏡による観察において生体の運動補償を行い画像提示することで、必要な部位の観察を安定に行う技術について研究した成果をまとめたものである。近年、癌などの疾病の機序研究や創薬における薬効の研究において分子生物学的なプロセスを可視化によって明らかにする分子イメージングといわれる接近法が注目を集めている。分子イメージングではCT、PET、MRIなどの放射線や電磁気効果を用いたものの他に自己発光観察や蛍光顕微鏡を用いた光学的方法などがマルチモーダルに用いられることで、多様な部位や現象の観察、さまざまな時空間分解能などに対応するように技術開発が進められている。中でも蛍光顕微鏡による光学的方法は蛍光遺伝子プローブの開発の進展もあり、比較的簡単な設備で時空間分解能の高い観察ができる方法として注目されている。分子イメージングは画像による計測であるため非侵襲的あるいは低侵襲的に計測が行えることから、同一個体での時間的な経過を計測することができることが大きな特徴となっている。分子イメージングのための生体蛍光顕微鏡観察の問題点のひとつは、麻酔下であっても観察する小動物が拍動や呼吸やその他の理由による生体運動によって、絶えず動くことが観察を困難にする点にある。この問題に対して本論文では次のような3つの新たな技術を開発した。(1)観察対象の近傍に置いたガラスビーズの運動を955fpsの高速度カメラで観測し、その情報を元に顕微鏡の対物レンズの位置を2次元的に制御することで顕微鏡画像における生体運動の影響を低減する方法、(2)観察対象を接触式センサによって計測することで3次元の運動情報を獲得し、それに基づいて顕微鏡対物レンズの位置を3次元的に制御することで顕微鏡画像における生体運動の影響を低減する方法、(3)共焦点顕微鏡において1フレームのレーザスキャン中の観察対象の運動に関してスキャン情報と得られた画像から観察対象の運動を計算し、それに基づいた画像復元により顕微鏡画像における生体運動の影響を低減する方法。これらの方法はそれぞれに特長を有しており、相補的に組み合わされることで分子イメージングにおける生体蛍光顕微鏡における画像観察技術を画期的に向上させるものである。

第1章は「Introduction」であり、分子イメージングが求められるようになった背景と、モダリティの違いによるPET、SPECT、MRI、CT、超音波と光学的可視化技術の比較とそれら特徴について述べている。また、GFPをプローブに用いた最近の蛍光顕微鏡法、共焦点法による高い解像度をもつ蛍光顕微鏡法などの原理と最近の技術の現状を概説している。最近では、テーラーメード医療を目標にしたより対象を絞った薬効の研究などにおいて、生きた個体における生体細胞内の継続的観察が求められており、このようなin vivo観察において運動補償が不可欠であることを述べている。

第2章は、「Hardware Image Stabilization by High-Speed Visual Feedback Control」と題して、毎秒955フレームを撮影することのできる高速度カメラによって、撮影した画像に基づいて運動を推定しそれに合わせて対物レンズをxy平面内で運動させることで、顕微鏡画像の安定化を図るハードウェアによる画像安定化を提案している。この方法は、従来手術ロボットにおける心臓の拍動に同期させる技術としては研究が成されてきたが、顕微鏡の画像安定化としては初めての提案である。技術の特徴は、対物レンズを小動物の麻酔下における呼吸、拍動、振戦などによる運動が生じさせる数百ミクロンの範囲での十ヘルツ程度の運動を補償する点にある。対物レンズは200gを超えることもあり、これに対応したアクチュエータと顕微鏡に組込み可能な駆動機構の設計は自明ではない。ここでは、1個の超々ジュラルミンブロックから切り出された、切欠きヒンジを持つ2自由度閉リンク系を剛性とヤコビ行列の条件数を評価して最適設計することで、独特のペンタゴン型駆動機構によってピエゾアクチュエータの変位を拡大する方式を開発した。これを用いた実験において、約800Hzの制御周波数によって観察部位をメカニカルスタビライザで抑えた状態で約100ミクロンあった振動の約90%を補償することができることを明らかにした。

第3章では、「Hardware Image Stabilization by a Contact-Sensor based Control」と題して、3次元の運動補償について論じている。観察部位の3次元運動をメカニカルスタビライザによって押さえることによって2次元の運動に強制して観察したのが2章の方法であった。小動物のストレスによる影響を最小にするためには、押し付け力を最小にすることが望まれる。このためには3次元運動の計測と、3次元の対物レンズの運動制御が必要になる。ここでは柔らかく作ったひずみゲージ式力覚センサーによって3次元の変位を計測する接触式計測を提案している。この方法は高速度カメラを使わない安価で計算負荷の小さい計測法である。駆動系として2章で開発したペンタゴン型駆動機構と顕微鏡の焦点調節用のz軸駆動機構を併用したが、z軸の応答性が劣るためz軸方向の追従誤差が顕著に現れそのための画像の焦点不良が残る結果となった。xy軸と遜色のない剛性と応答性を持つz軸駆動系を統合することが必要であると結論付けている。

第4章では、「Software Image Stabilization by Image Processing」について論じている。レーザスキャン式の共焦点顕微鏡では、スキャン中の運動によって画像のゆがみが生じる、スキャン画像のフレーム間の対応から運動を推定し、同時にゆがみのない画像を復元することを提案している。最後に、ソフトウェアで実現した実験結果を示し、この方法が、ハードウェアを必要としないきわめて実現性の高い有効な手法であること明らかにした。

第5章は、「Hybrid Image Stabilization」と題しており、第2,3章で論じた対物レンズを駆動するハードウェアの画像安定化によっても残存する画像のブレを、第4章のソフトウェアによる画像安定化技術を実時間化することによって解消しようとする方法について論じている。z軸駆動系の問題は残っているが、プレパラートを3次元的に運動させる実験装置による初歩的な実験によって、この方法の検証を行っている。

第6章では、「Conclusion」として本論文の結論を述べている。

以上を要するに、本論文は、分子イメージングによる生体蛍光顕微鏡に画像安定化技術を初めて導入し、対物レンズを駆動する方法、ソフトウェア的な画像処理方法、ならびにこれらを組み合わせた方法によって、蛍光顕微鏡における生体観察技術を画期的に向上させる技術を開発したものであり、知能機械情報学に貢献するところが大きい。

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.