本研究におけるビジョンシステムの目的は,「見ればわかる」の実現である.すなわち,カメラや各種センサによる観測に基づき外界の状況や構造,人間の操作を認識し,適切なモデルとして記憶,蓄積していくシステムの構築を目指す.

このとき問題となるのが,外界をどのような構造としてとらえるかである.もっとも単純には世界を一つの剛体としてとらえることで三次元計測の重ね合わせによる構造復元が可能である.しかし,現実の世界は複数の物体の関係が構造を作り上げている.このとき全体の構造から個々の物体を切り離すことができなければ環境構造の完全な把握にはつながらない.また,この物体の関係性は人間による操作で刻々と変化を続けており,単なる剛体性の仮定だけでは容易に破綻する.

そこで,逆に人間による操作介入を認識し,操作が行われるということは構造と個々の物体が切り離される状況であると考える.これにより注視対象を切り替えることができ,構造復元フェーズと物体復元フェーズを一連の画像から操作行動をトリガとしてシームレスに切り替えることが可能である.

そしてこのような認識を行うためには操作者であり観察者である人間の視点に近い位置から実世界を観測するようなシステム,すなわち装着型センサシステムが有利である.これにより,優れたロボットシステムを必要とせず,人間が装着し行動するだけで必要なセンサ情報を得ることができるようになる.

またここで得られた三次元構造の再利用を考えると従来行われてきた単なる三次元点群や三次元メッシュといった表現は不適切である.点群表現では各点間の空間が満たされているのか切り離されているのかといった関係が不明瞭である.メッシュ表現ではその物体が持っている構造上の特徴,例えば直方体や円筒といった基本形状に近似できるなどの情報を持たない.特に従来モデルを自力で獲得すれば全自動になりうると目論まれてきたモデルベースプランナにおいては物体は基本形状の組み合わせで表現される.

本論文ではステレオカメラを中心とする複数センサを組み合わせた装着型三次元視覚システムを構築し,それを用いた装着者の行動と環境観察に基づく環境構造と個々の物体の三次元復元システムを構築した.

第1 章「序論」において本研究の目標である「見ればわかる」の実現について述べ,研究背景として目標達成に必要となる要素研究のサーベイと考察を行い,関連分野における本論文の位置づけを行った.

第2 章「生活環境モデリングと行動認識」において装着型ビジョンを用いることで装着者の行動と環境を同時に観察することで生活環境のモデル構築を行うというアプローチを提案した.その際に実世界を静的な環境構造とその中に存在する可搬物体という二つの異なるモデルとして考え,それぞれの復元を装着者による操作行動の検出により切り替えるというモデル化アプローチについて述べ,必要となる各機能についての考察を行った.

第3 章「装着型三次元視覚システム」において本研究で構築した装着型三次元視覚システムと,装着型センサであることの意義について述べた.ステレオカメラを中心とするシステムにより三次元視覚情報を即時に得ることができるほか,身体情報の喪失を補うため複数の異なるセンサを備えることで視覚のみで推定することのできない重力方向や壁面,床面の推定を行うことができ,さまざまな状況下において三次元復元を行うことができる装着型システムを構築し,異種のセンサ情報を非同期且つリアルタイムに集約することが可能なソフトウェアを開発した.

第4 章「環境構造の三次元モデリング手法」において三次元環境の構造復元手法について述べた.環境を三次元点群として復元するための特徴点追跡とステレオマッチングの組み合わせによる三次元特徴点追跡に基づく三次元復元アプローチを提案した.提案手法をさまざまな大きさの物体に対して適用することで手法の有効性を示した.また点群情報では得られない面情報を付加するためのレーザ距離計からの三次元線分や三次元点列に対する面形状フィッティング手法と,人工建造物の形状特徴である床面および複数直交平面の探索による姿勢推定アルゴリズムを提案した.提案手法により,センサの姿勢と環境構造を同時に復元し,環境構造の三次元モデルを獲得可能であることを示した.

第5 章「装着者による環境操作行動認識手法」においてセンサ装着者の操作行動の認識について述べた.肌色抽出とステレオビジョンを組み合わせた三次元手先位置認識手法を提案し,認識された手先位置と三次元環境との相対関係から装着者による環境操作認識を行う手法を提案し,実験により有効性を示した.また環境構造から個々の物体を分離するために装着者が環境に介入するというアプローチをとり,環境操作を認識することで復元フェーズの切り替えと環境中への注視点の付加が可能であることを示した.

第6 章「把持物体の三次元モデリング手法」において把持物体のモデル獲得手法について述べた.把持可能な物体を単純な基本形状であると仮定し,点群復元から基本形状当てはめによる形状とテクスチャを持った物体モデルの獲得手法を提案した.基本形状の面対称性に注目することで三次元特徴点追跡に基づき得られた三次元点群に対し直交する二つの対称面探索による基準座標設定とサイズ推定を行い,点群の正規化により正規基本形状とのマッチングをとることで基本形状あてはめを行うことができた.また構築した物体モデルをテクスチャを用いた探索手法と三次元形状と色ヒストグラムを用いたモデルベース探索手法のそれぞれに適用し,獲得モデルを用いた探索が可能であることを示した.

第7 章「室内環境における行動認識に基づく三次元モデル構築」において生活環境における三次元モデリング実験を行い,ここまでに示した手法の有効性を示した.装着型三次元視覚から得られた一連の画像列から基本形状表現による環境構造,把持物体の構築を行い,操作行動認識やインタラクションを活用することでモデル構築対象物体および当てはめる基本形状の切り替えを行うシステムを構築した.これにより環境と装着者の行動を見るだけで基本形状表現による環境構造と把持物体の三次元モデルを同時かつリアルタイムに獲得できることを示した.

第8 章「結論」において各章の内容から本研究を総括し,画像処理に基づく三次元センシングの発展と応用の方向性について述べた.

本論文は,「装着型三次元視覚による生活環境モデリングの研究」と題し,生活環境の空間と物体の情報を計算機内部で表現し操作可能とするための生活環境のモデルを人工の視覚機能を用いて自動的に獲得するという問題に対し,人間が移動し手にとり覗き込むなどの観察行為を通してそのモデルを自動獲得させられる装着型三次元視覚という方法を提案し,利用可能な三次元構成法の提案と評価を行いながら,室内空間や家具や日用品などの形状,配置,操作情報などのモデルをオンラインで獲得するシステムの構築と実験を通して,提案した生活環境のモデリング法を検証したものであり,8章からなる.

第1章「序論」では, 生活環境モデリングの定義とその自動化の意義,問題点と解決法について述べ,研究背景として関連研究との対比について述べている.

第2章「生活環境モデリングアプローチ」では, 第1章において述べられた生活環境モデリングの問題点である物体表現問題と物理的境界問題,またそれぞれの解決方法に関する具体案について述べている.特に物理的境界問題を解決するために人間による物理的介入を活用する手法を提案し,物理的介入の様子の観察やそのときの人間との注目物体の共有を通じてモデリングを行うために人間の頭部にセンサを装着するというアプローチを提案している.

第3章「装着型三次元視覚システム」では, 第2章で提案された頭部装着型センサの構成について述べている.装着型センサの構成要素としてステレオビジョンやレーザ距離計,姿勢センサといった複数のセンサを効果的に組み合わせることでセンサ自身の状態推定や異なる対象物体に対する三次元計測が可能なセンサシステムの構築を行っている.

第4章「環境構造の三次元モデリング手法」では, 装着者の移動行動を必要とする人工建造物内での三次元復元手法について述べている.このとき問題となるセンサの移動軌道を求めるためにステレオビジョンを用いたビジュアルオドメトリ手法を実装し,求められたセンサ軌道と三次元計測結果に生じる蓄積誤差の低減手法についての提案を行っている.また人工建造物の形状特徴である床面や壁面のような直交平面形状に注目することで面の組み合わせによる構造復元を行う手法の提案を行っている.

第5章「装着者による環境操作行動認識手法」では, 装着者による環境への物理的介入を認識するために装着型三次元視覚を用いた手先位置認識手法を提案し,手先位置と環境の三次元情報の相対関係から環境への操作行動を認識する手法について述べている.物体操作を通じて物体に対して操作情報の付加を行うことができることを示している.

第6章「把持物体の三次元モデリング手法」では,装着者の把持により提示された小型物体の三次元物体モデル構築手法について述べている.特に小型物体の形状特徴として直方体や円筒形状といった基本形状への当てはめが効果的であることに注目し,基本形状の特徴である面対称性を利用した三次元点群からの形状当てはめ手法を提案し,種々の物体において形状判別とテクスチャ付モデルの構築が可能であることを実験を通じて示している.また獲得したモデルの有用性を示すためにモデルを用いた物体位置姿勢探索手法を提案し,モデルの複数の特徴を利用した実物体の探索手法を提案している.

第7章「室内環境における行動認識に基づく三次元モデル構築」では,複数の異なる大きさ・形状特徴を持つ物体の混在する室内環境におけるモデル構築実験を通じて提案したモデル構築アプローチの有用性を示している.特に部屋自体のサイズ,部屋に付随するドア,テーブルや椅子,テーブル上の小型物体に対し形状の仮定と計測手法を人間が指示し,それぞれに対する効果的な手法を適用することでオンラインでの生活環境モデリングを実現し,複数物体の混在する状況での提案手法の有用性を示している.

第8章「結論」においては,人間と注目物体を共有・観察可能な装着型三次元視覚システム,物体のスケール・形状仮説に基づく生活環境モデリング,獲得された生活環境モデルを利用した実環境認識機能,の3つの観点から総括し,人間の観察行為を利用できる装着型視覚システムにより,対象の大きさ・形状に応じた近似表現と人の操作情報も付加できる生活環境モデリングに関する成果をまとめ,今後の発展と応用の方向性について述べている.

以上,これを要するに本論文は,人間の行動認識と仮説に基づく幾何学的当てはめによる環境構造の再利用可能なモデルとしての自動構築を,生活環境のモデリング対象への着目と観察行為を通して行い,異なる形状特徴・スケールを考慮し,実時間でモデル情報を取得できる装着型三次元視覚システムの構成法を示し実験を通してその有用性を示した論文であり,この分野に少なくない貢献を果たしている.すなわち,本研究は情報理工学に関する研究的意義と共に,情報理工学における創造的実践に関し価値が認められる.よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.