バーチャルリアリティとは現実世界において得られる感覚と等価と感じられるバーチャルな感覚を人に対して提示することで直感的なヒューマンインターフェースの構成を可能にする技術である.これを利用することにより,人と遠隔地のロボット,あるいは人と計算機内部に構築されたバーチャルな世界などとの間を直感的な方法で結びつけることが可能となっている.

　しかしバーチャルリアリティの技術はその性質上,現実世界との直接的な相互作用という観点に乏しく,この技術を利用して現実世界において人間が行う作業を支援するということは困難である.そこで,バーチャルリアリティにおける要素技術を利用した上で,より現実世界との相互作用を重視するオーグメンティドリアリティという概念がその後提案された.

　オーグメンティドリアリティとは,現実世界の情報とバーチャルな情報とを適切な形で融合して人に対して提示することを目的とした技術である.このため,現実世界における人間の作業支援するという事に関して非常に有効な技術であると考えられている.その一例として街中における人のナビゲーションが挙げられる.従来のナビゲーションは人間が地図と現実の風景との間の整合性を自らの頭の中でとり,現在位置と目的地との地理的な関係を把握すると言う方法で行われてきた.しかし,目的地の場所や方角,距離,経路といった基本的な情報をバーチャルな視覚情報として現実に見えている風景に対して融合して提示することにより,直感的に人の誘導を行うことが可能にな=る.

　しかし従来のオーグメンティドリアリティでは,このように人間に対して視覚や聴覚を通じての適切な情報の提示という形式が主流であった.人間は外界から得る情報の多くを視覚や聴覚に頼っており,これらの感覚を通じて情報の提示を行うことは確かに有効であると考えられる.しかし,実際に人間が作業を行う場合,とくに物体との相互作用を伴うような場合においては,視覚や聴覚だけでなく触覚からの情報も重要であると考えられる.

　また,従来のオーグメンティドリアリティにおいては視覚や聴覚を通じた情報の提示が主であるために,人間の作業を直接支援するような形式のものはきわめて少ない.例えば先述のナビゲーションの例であれば,行動するのはあくまで人間であり,オーグメンティドリアリティにより得られる視覚的な情報に誘導されているにすぎない.

　特に物体との相互作用を伴う作業においては,対象からの手応え,つまり触覚情報の有無が作業に大きく影響がでることが一般に知られており,それ故元来触覚情報を得ることのできないバーチャルリアリティやテレイグジスタンスの分野においては,遭遇型,把持型,装着型など,様々な種類の触覚提示装置や触覚提示のアルゴリズムが研究されてきた.しかし,オーグメンティドリアリティの分野においては,現実の触覚情報を得ることが容易であることも影響して触覚情報の提示に関する研究は少ない.

　そこで本論文では,特に対象の切断や変形を伴うような相互作用を伴う作業において,手応えという現実の触覚情報に加えてバーチャルな触覚情報を重畳提示することによって人の作業を直接支援することを可能にする,触覚におけるオーグメンティドリアリティという概念の提案を行う.

　触覚におけるオーグメンティドリアリティとは現実の触覚情報とバーチャルな触覚情報を重畳提示する技術のことである.例えば従来であれば物体の切断をする際には常に入間が切断状況を確認しつつ切断する.しかし,目的の形状と一致するように予めバーチャルな力の壁を作っておくことにより,人は道具が壁に接しない限りは従来通りの自然な手応えを感じつつ作業を遂行することが可能であり,道具がバーチャルな壁にぶつかることにより目的の部位に到達したことを知ることが可能になる.さらにバーチャルな壁にぶつかることで道具が停止することから,システムが直接的に作業を支援することが可能となっている.

　また従来の視覚におけるオーグメンティドリアリティでは,赤外線映像のような従来人間の視覚ではとらえることのできなかった情報を人間が知覚できる形式にして現実世界と融合させて提示することが可能であるが,これと同様のことがこの触覚におけるオーグメンティドリアリティにおいても実現可能である.つまり,本来触覚ではとらえることのできない情報も触覚を通じて提示するという感覚の拡張が可能になる.例えば手術等において,血管や神経のような組織をセンサにより識別して,そのような組織を手術道具が傷つけないようにそれらの周囲にバーチャルな壁を生成すると言ったことが可能となる.これは直接的な作業支援であると同時に,人間が本来感じることのできなかった情報を触れるようにすると言う意味において,人間の感覚の拡張としてとらえることができる.

　本論文では,この触覚におけるオーグメンティドリアリティを実現するシステムの試作を行った.試作機の構築に際して考慮すべき事項として,まず現実の触覚情報をどのような形で取得し,かつ提示するか,さらに人に対して提示するべきバーチャルな触覚情報をどのような情報に基づいて構成するかといった点が挙げられる.

　現実の触覚情報の取得および提示については,計算機を経由するFeel-Wired方式と直接取得提示するFeel-Through方式の2方式があり,それぞれ視覚におけるビデオシースルーHMDとオプティカルシースルーHMDとに対応させて考えることができる.

　また,提示すべきバーチャルな触覚情報は,あらかじめ構築されたモデルに基づいて提示する方法と,センサなどを用いて実時間で環境計測を行い,その情報に基づいて提示する二つの方法が考えられる.

　本論文においては,現実の触覚情報の提示に関して有利であるFeel-Through方式を採用したシステムの構築を目指した.また,実世界において人間が作業をする場合には何らかの道具を把持して行うことが多いと考えられることから,試作システムを製作するにあたっては触覚提示部に把持型の触覚提示装置を採用した.なお,提示すべきバーチャルな情報としてはセンサに基づくものとモデルに基づくものの両方を想定している.

　さらに本論文では,試作機を用いて触覚におけるオーグメンティドリアリティによる人間に対する作業支援の効果を検証する実験を行った.その結果,従来の視覚や聴覚といった感覚を通じて情報提示をするという支援手法と比較して効果が高いことを確認した.なお,本実験ではセンサからの情報に基づいてバーチャルな触覚情報の提示を行っている.

　最後にこの概念をより実用的なアプリケーションに適用することを考え,経蝶形骨洞手術支援システムの構築を目指した.経蝶形骨洞手術とは鼻腔から頭蓋底部にある蝶形骨洞を経由してその先にあるトルコ鞍に到達するという,いわゆる低侵襲手術の一種であり,下垂体の腫瘍除去等を目的とする手術である.この手術は手術時間も長く,また顕微鏡を通じて手術を行うために視野が制限されるなどの問題が指摘されており,従来から支援の必要性が指摘されていた.

　既存の支援システムとしては例えば東京女子医科大学の伊関らによるナビゲーションシステムなどがあげられる.このシステムにおいては,視覚におけるオーグメンテイドリアリティの技術が利用されており,視覚的に不可視領域を可視化することによって術者が直接視認できない,あるいは視認が困難な術部周囲の組織を把握する事を支援している.しかし視覚を通じての情報提示を行っているため,作業自体を直接支援することはない.

　そこで本論文では,経蝶形骨洞手術に対する支援システムに,触覚におけるオーグメンティドリアリティの概念を適用することを提案している.それにより血管や神経といった侵襲すべきでない,非侵襲領域をバーチャルな壁で保護し,術者をより直接的に支援することが可能となる.術者はバーチャルな壁の内側では従来通りの手応えを感じつつ手術を遂行することが可能であり,予め指定した領域に道具が近づいた場合には,バーチャルな壁からの反力という形でその情報を知ることが可能となる.これにより,術者がそれまで身につけた技能を妨げることなく,あらたな支援システムとして導入することが可能となる.

　医療用のシステムを構築する際には本来であれば安全性や滅菌性などを特に考慮する必要があるが,今回は試験的な実装をまず目指したため,それらの点については考慮されていない.

　本論文においては人体の頭部および下垂体周辺の部位を模擬するファントムの製作を行い,ファントムを利用したシミュレーション実験を行った.ファントムの素材には実物大の頭蓋骨モデルおよび,寒天とゼラチンの混合物を利用した.そしてこのファントムをMRIにより撮影し,そのデータから構築されたモデルに基づいてバーチャルな触覚情報の提示を試みた.

　実際にシステムを手術室に導入してシミュレーションを行う前に,予備実験としてファントムの機械的性質およびアルゴリズムによる効果の確認を行ったところ,新たに製作したファントムは,下垂体腫瘍の模擬体として必要な要求を満たしていることを確認した.また,モデルに基づいた触覚におけるオーグメンティドリアリティによる支援により,あらかじめ設定された非侵襲領域を侵襲することなく作業を遂行できることを確認した.

　最後に実際にファントムおよびシステムを手術室に導入して,臨床医によるシミュレーション実験を行い,実用化に向けた改善点等に関する報告を得た.

　本論文は「触覚におけるオーグメンティドリアリティに関する研究」と題し、5章からなる。オーグメンティドリアリティとは、現実環境にバーチャルな情報環境を適切な形で融合して人に提示する技術であることから、現実世界における人間の作業支援に対しても有効な技術であると考えられている。しかし従来のオーグメンティドリアリティに関する研究では、主として視覚を通じてバーチャルな視覚情報の提示がなされてきており、人は情報の提示による指示などの支援は受けられるが、手を取って助けるといった直接的な支援を受けることはできないという問題点があった。本論文では、特に対象の切断や変形を伴うような相互作用を伴う作業において、手応えという現実の触覚情報に加えてバーチャルな触覚情報を重畳提示することによって人の作業を直接支援することを可能にする、触覚のオーグメンティドリアリティという概念を提案し、実際にその概念に基づいて提示システムを構成し、その有効性を示すことにより応用への道を妬いている。

　第1章「序論」は緒言で、従来のバーチャルリアリティ(VR)研究における現実世界の再現のための触覚提示ではなく、人に対する情報の提示手段としての触覚に着目し、これをオーグメンティドリアリティという枠組みの中で活用することを提案し、この概念を実用的なアプリケーションヘと応用することを目的として、その一例として医療用支援システムの構築を目指すという本研究の目的と立場と意義を明らかにしている。

　第2章は、「触覚におけるオーグメンティドリアリティ」と題し、第1章において指摘された問題点に基づき、現実の触覚情報に加えて、バーチャルな触覚情報を融合・提示する技術としての触覚のオーグメンティドリアリティの提案を行うとともに、本概念を実現する上で必要な要件が、現実世界の触覚情報とバーチャルな触覚情報が同時に得られること、両者とも実時間での相互作用が可能であること、バーチャルな触覚情報と現実世界の触覚情報とが適切にレジストレーションされていることであることを明確にしている。また、この触覚のオーグメンティドリアリティを実現するための触覚の提示方式には、Feel-Through方式とFeel-Wired方式があり得ることと、提示すべき情報の取得様式としては、事前に構築された非実時間のデータを利用する方法と、センサを利用して実時間で計測しつつ提示を行う方法、さらにその両者の併用という3つの方法があり得ることを指摘し考察している。その結果、実世界作業支援にFeel-Through方式を利用する方式を用いれば、より直接的な支援が可能で、かつSupervisory Controlを導入することができるといった利点に加えて、既存の道具を利用することで既存のスキルとの共存も可能となることを明らかにしている。

　第3章は「システム構築」と題し、第2章においてその長所が明らかにされた、Feel-Through方式の触覚提示方式による、触覚のオーグメンティドリアリティを実現するためのシステムの試作を行っている。その際、高いバックドライバビリティを有して、十分な作業スペースを確保し、提示されるバーチャルな触覚情報と現実の触覚情報が同じ部位から同時に感じられるといった点を最優先に設計すべきであるというシステムの設計指針を導いている。特に実時間で計測を行いつつ提示を行う方式の場合にはさらに、センサを道具の先端に搭載することが望ましいことを指摘し、これらの指針に基づいて、並進3自由度,回転3自由度の計6自由度で,並進3自由度の力が出力可能なバーチャルピボット構造の触覚提示システムの試作を行い、試作機を利用して触覚のオーグメンティドリアリティを利用することの効果を確認する実験を行っている。すなわち、人間の反応時間に対する支援の実験を行ったところ、従来の視覚や聴覚におけるオーグメンティドリアリティを利用した場合には反応時間には改善が見られず、触覚を通じた提示の場合でも、単純に振動感覚で情報の提示を行った場合には、視覚や聴覚と同様に改善は見られず通常の人間の反応時間と同程度の0.2[s]程度であった。一方、触覚のオーグメンテイドリアリティを利用した場合には、0,045[s]と大幅な改善が認められ、従って提案システムによる支援の効果が明確に現れたとしている。

　第4章は「経蝶形骨洞手術支援システム」と題し、これまでの議論と基礎実験をふまえて、提案した触覚におけるオーグメンティドリアリティの手術への利用といった実問題への応用を提案し、その一例として経蝶形骨洞手術に対する支援システムに適用することを提案している。提案手法により血管や神経といった侵襲すべきでない、非侵襲領域をバーチャルな壁で保護し、術者をより直接的に支援することが可能となる。術者はバーチャルな壁の内側では従来通りの手応えを感じつつ手術を遂行することが可能であり、予め指定した領域に道具が近づいた場合には、バーチャルな壁からの反力という形でその情報を知ることが可能となるため、術者がそれまで身につけた技能を妨げることなく、あらたな支援システムとして導入することが可能となるとしている。この考えをシミュレーションなどで十分に検証したのち、(1)鼻腔からトルコ鞍にかけての内部形状が実際の頭骨と一致し、かつその経路が実際の手術と同様に確保され(2)腫瘍として想定する物の機械的性質として、実際の腫瘍のもつ固さや弾力性となるべく等しく、かつ自重により崩壊しない程度の強度を備えており、(3)適切な部位に腫瘍として想定する物が固定されていて、(4)腫瘍として想定する物の周囲に、内頸動脈や視神経などを含む、その他の重要組織を模擬する物が存在し、(5)MRI撮像可能であるという条件を満足する手術用ファントムを作成している。そのファントムを用いて、手術室に試作システムを導入して臨床医による実際の手術を行って、触覚におけるオーグメンティドリアリティによる手術支援の有効性と確認し、本格的な臨床に向けての改善点を実験的に明らかにしている。

　第5章「結論」では、本論文の結論をまとめ、今後を展望している。

　以上これを要するに、現実の触覚情報に加えてバーチャルな触覚情報を重畳提示するという、触覚におけるオーグメンティドリアリティという新たな概念の提案を行い、その利点を実験的に明らかにするとともに設計法を明確に示し、この概念を実現するシステムの試作を行い、実用的なアプリケーションヘと応用することを目指し、その一例として医療用支援システムを構築して、その有効性を示して応用への道を拓いたものであって、システム情報学及び人工現実感工学に貢献するところが大である。

　よって、本論文は博士(工学)の学位請求論文として合格と認められる。