本論文は,感覚を用いて環境を知覚し行動を誘導する知能ロボットの実現を目指し,環境の構造の知覚が可能な実時間三次元視覚システムと,得られた三次元情報を含む感覚情報から行動を誘導する感覚誘導行動システムにより,ロボットの視覚誘導行動を実現することを目的とする.

　人間生活環境で活動するロボットの実現には,視覚を用いて環境の構造を知覚し,その結果を利用し行動する感覚導行動機能が必要になる.従来のロボット視覚では高速な視覚処理に基づきすばやく行動するために,処理が単純で高速化が容易な二次元の視覚情報が利用されてきているが,ロボットが活動する環境が三次元構造であることを考えると視覚による三次元情報の獲得が望ましい.本論文では視野全体の密な三次元視覚情報が実時間で獲得できるロボット向け視覚処理システムと,環境の三次元的な点,面,動き情報を抽出するアルゴリズムを用いたロボットのための三次元視覚処理機能の実現を目的とする.

　さらに,三次元視覚処理機能を有するロボットでは,視覚情報から環境の奥行き感,三次元の平面情報,三次元の動き情報などが獲得できる.これらの三次元視覚情報に従来型の二次元視覚処理による色情報,パターン情報,動き情報などの感覚情報を加えると,実にさまざまな感覚情報を利用し行動するロボットの実現が可能になってくる.本論文では,これらの感覚情報を利用して行動を誘導していくための記述やシステムはどのようにすればよいのかという問題に対し,感覚の使われ方により行動,動作を分類し,感覚誘導行動における記述と実行システムについて検討する.

　最後に,これらの実時間三次元視覚システムと感覚誘導行動システムにより実環境,シミュレーション環境においてロボットの視覚誘導行動を実現することで,開発してきたシステムの有効性を検証する.

　本論文は全7章から構成される.以下に各章の概要について述べる.

　第1章「序論」では,本研究の目的と概要,背景,および本論文の構成について述べる.

　第2章「知能ロボットシステムの実時間三次元視覚と感覚誘導行動」では,人間生活環境で行動するロボットの実現に必要な課題を考察し,実時間三次元視覚による行動誘導について検討する.

　人間生活環境で行動するロボットの実現は社会に大きく貢献することが考えられる.そのためには必要な機能として視覚に基づく行動の誘導があげられ,これまでにも視覚を持つロボットの研究がなされている.ロボットの視覚では環境の変化にすばやく反応し行動することが重要であるとの観点から,処理が簡単で高速化の容易な二次元視覚処理が利用されてきている.しかしながら,人間生活環境で行動するためには,床,段差,机といった構造の認識や,動いている人間の認識など,従来型の二次元視覚だけでなく,視覚により環境を三次元に捉えて動作を誘導していく機能が重要になる.

　このように感覚を利用した環境の構造や変化を知覚による行動の誘導が可能な知能ロボットシステムを次の基本技術から構成する.(1)従来型の二次元視覚処理に加え,視覚による三次元情報を実時間で獲得できる視覚処理システムを,様々なロボットで視覚処理を適用し検証できるような汎用性をもった形で構成する,実時間性と汎用性を有するロボット向け視覚処理システム.(2)実時間三次元視覚処理を実現する基本アルゴリズムとして,計算効率向上のための再帰相関法の導入と二次元への拡張によるフロー画像生成への適用.また,三次元視覚処理の応用アルゴリズムとして,得られた三次元情報から,環境の構造と動き情報の理解へとつなげるための平面検出法と三次元距離フロー計算法.(3)得られた三次元視覚情報を利用して感覚に基づきロボットの身体を誘導する動作の記述と実行システムを構築した.システムは実ロボットとシミュレーション環境を利用した仮想ロボットをシームレスに切り替え可能な構成を持ち,複数の視覚情報のフィードバックを単一のボディの上で実現するための並列機構と重ね合わせ機構をもつ.

　第3章「実時間汎用ロボット視覚処理システム」では,汎用性と実時間性を特徴としたロボット用視覚処理システムの開発について述べる.

　従来のロボット視覚では,高速な視覚処理に基づきすばやく行動するために,処理が単純な視覚処理に対しハードウェアを用いることで高速計算するハードウェアアプローチが一般的であった.しかし,このようなハードウェアアプローチは視覚デバイスやプラットフォームが限定され,視覚に基づき行動するロボットを設計する際のシステム構成にとり大きな問題となっていた.

　本論文ではソフトウェアにより視覚処理を記述するアプローチを採用することで,様々な視覚デバイスとプラットフォームに対し適用可能な視覚処理システムの構築法を提案する.ソフトウェアアプローチによる視覚処理システムの構成法が,実環境におけるロボットの行動実現に十分な実時間性を持つことを示すとともに,この構成法を採用することで様々なシステム構成を採用するロボットシステムに対して,視覚処理機能を付加することが可能になることを示す.

　第4章「再帰相関演算法による実時間三次元視覚処理アルゴリズム」では,視野全体の三次元情報の獲得と,獲得した三次元情報に基づき環境の三次元構造と三次元動き情報の理解する三次元視覚処理アルゴリズムについて述べる.

　従来のロボット視覚では視覚と行動の密な結合を重視するあまり,二次元画像処理による高速処理が主流であり,計算時間がかかる三次元処理は利用されてきていない.しかしながら,三次元空間である環境で活動するロボットの視覚は三次元機能が欠かせない.本研究では相関演算を用いた密な対応点探索処理における高速化手法として一次元再帰相関演算法を導入し実時間視差画像生成システムを開発した.また,一次元再帰相関演算法を拡張した二次元再帰相関演算法を提案し,これを利用した実時間フロー生成法を開発した.

　三次元視覚処理研究の展開として,環境の構造獲得から環境理解へつながる方向性と,獲得した環境の構造を時間方向に統合し記憶へとつながる方向性を考えている.環境の構造獲得から環境理解への展開例として,環境中の平面領域を検出するプレーンセグメントファインダを開発した.プレーンセグメントファインダを用いることで床面認識,卓上認識,段差認識が可能になり,障害物回避動作,物体のPick & Place動作,段差登り動作が可能になることが次章以降で示される.また,獲得した環境の構造を時間方向への展開例として,環境の構造の時間変化情報を獲得する三次元距離フローを開発した.

　第5章「感覚誘導行動の記述と実行システム」では,感覚情報を利用して行動を誘導していくための記述やシステムはどのようにすればよいのかという問題に対し,感覚の使われ方により行動,動作を分類し,感覚誘導行動における記述と実行システムについて検討する.

　ここでは,ロボットの振る舞いを歩く,椅子に座る,物を掴むといった単発的,離散的な"動作"と,ある場所の前まで歩いていって物を掴むといった,動作を連続的に組み合わせタスクを遂行する"行動"に分けて考える.

　動作レベルにおける感覚の利用の仕方として,センサ情報を用いて動作の実行中に動作軌道を修正するフィードバック動作と,センサ情報を用いて動作の実行前に動作軌道を生成するプランニング動作に分類した.行動レベルにおける感覚の利用のされかたは,感覚に応じてどのように動作系列を生成するかという点が問題になる.行動レベルにおける感覚の利用のしかたとして,センサ情報による環境の認識結果から動作を反射的に選択実行する行動をリアクティブ行動と,センサ情報からプランナが利用可能な環境表現を獲得し動作系列を計画する行動をプランニング行動に分類した.

　環境を三次元で捉え行動するロボットでは,環境の三次元情報の獲得だけではなく,獲得した三次元情報からロボットの行動にとり必要な情報を抽出する必要がある.そこで,獲得した環境の三次元構造に,ロボットの行動にとって意味のある,歩行動作により移動可能な領域,ロボットが上れる段差の領域,ロボットが物をピックアンドプレイス可能な領域,ロボットが認識可能な物体等の情報を付与したラベル付き三次元環境表現を提案する.

　第6章「視覚統合ロボットプラットフォームと感覚行動の実現」では,提案してきた実時間三次元視覚システムと感覚誘導行動システムにより実環境,シミュレーション環境においてロボットの視覚誘導行動を実現することで,開発してきたシステムの有効性を検証する.

　視覚統合ロボットプラットフォームとして計算機統合型ロボットプラットフォームと,全身行動用ロボットプラットフォームを示す.前者ではロボットに知能ロボットカーネルとなる計算機を搭載したハードウェアと実時間汎用OSによるソフトウェアをシステムの中核とした自由度の高い構成が可能なシステムである.

　計算機統合型ロボットの例として車輪型,四脚型,上半身人間型,等身大人間型ロボットを示し,これらのロボットを用いた視覚誘導型の移動行動の例として,屋内・屋外環境での開空間認識による障害物回避,移動する人間が存在する環境での移動障害物開回避,平面検出による卓上の認識,平面検出による床面の認識に基づく移動行動を示した.

　全身行動用ロボットプラットフォームは,実験の容易な卓上サイズのヒューマノイドと,行動開発の効率化が可能な視覚行動シミュレータを持つ視覚誘導行動の研究システムである.

　従来の動力学等のシミュレータは,精密なシミュレーションによる動作再現性を重視しているが,視覚誘導行動シミュレータはゲーム用動力学パッケージと三次元グラフィックスライブラリを用いてインタラクティブ性を持たせることで開発の効率化を目指している.視覚誘導行動のシミュレーションによる行動レベルの制御ソフトウェア開発が容易になっており,ボールを視覚で見つけて歩いていく,ボールをしゃがんで取る,視覚により段差の高さを計測し登るといった動作がシミュレータ,実機で実現できている.

　第7章「結論および考察」では,これまで各章で述べた内容をまとめ,本研究を総括する.

　ソフトウェアアプローチにより開発したロボット視覚処理システムは,実時間性を有し,これまでに図1に示すように様々なロボットに適用できる汎用性を持つ.人間生活環境では三次元視覚が重要であり,三次元視覚処理アルゴリズムとして視差画像生成,平面検出,三次元距離フロー生成を提案し,これらによるロボットの行動例として,環境の奥行き感を用いた開空間の認識による移動,三次元距離フローを用いた人間の歩いている環境で移動障害物回避,平面検出による机,段差,床面の認識に基づく行動を実現してきた.また,シミュレーション環境と実ロボット環境をシームレスに切り替えられる感覚誘導行動システムを開発し,歩行等の行動レベルからトラッキング等の動作レベルを統合したロボットの行動開発とその効率化が可能になった.

図1:視覚統合ロボットを用いた感覚誘導行動の実現

　本論文は,「知能ロボットシステムの実時間三次元視覚と感覚誘導行動に関する研究」と題し,ロボットが知的な振舞いを行う際に必須の機能である視覚において,ロボットの行動を誘導してゆくためには三次元情報を実時間で得てゆく機能が重要であり,様々なロボットに共通の感覚誘導行動のための実時間三次元視覚機能の構成法を示し,その視覚機能により誘導する行動の記述法,行動実装法,システム構成法を実験システムを構築しながら進めた研究をまとめたものであり,7章からなる.

　第1章「序論」では,本研究の背景と目的,および本論文の構成について述べてある.

　第2章「知能ロボットシステムの実時間三次元視覚と感覚誘導行動」では,ロボットにおけるこれまでの視覚研究に関して,知識,物理,注視,記憶のそれぞれに基づくビジョンという観点から分類して概観し,これからのロボットは本研究において焦点をあてている三次元情報に基づいて注視と記憶という方向のビジョンが重要になるという考えを示している.さらに,視覚に基づき行動する主なロボット研究を振り返り,本研究での実時間三次元視覚と感覚誘導行動実験における基本的な方針と進め方について述べている.

　第3章「実時間汎用ロボット視覚処理システムの構成法」では,実時間性と汎用性をそなえたロボット用の視覚システムの構成法として,ソフトウェアによりハードウェアの視覚デバイスの抽象化,マルチメディア命令の活用とキャッシュを利用した画像処理アルゴリズムの最適化などを駆使できるシステムの構成法についてまとめ,視覚処理の基本処理ライブラリの構成法について述べている.

　第4章「再帰相関演算法による実時間三次元視覚処理アルゴリズム」では,三次元空間での奥行情報を得るための二眼ステレオ,動き情報を得るためのオプティカルフロー計算においては,画面全体にわたって場所を少しづつずらしながら相関演算を繰り返す処理が利用できるが,その繰り返し相関演算の特徴から共通の部分計算を記憶しながら繰り返すことによって無駄な相関演算計算を省くことができるという再帰相関演算法について説明し,そのアルゴリズムと,キャッシュとマルチメディア命令を利用することによる高速化の効果について実験結果を示している.その高速化された演算処理により,両眼画像の視差画像の実時間生成,二次元オプティカルフローの生成,三次元物体表面の点列の三次元運動ベクトルをあらわす三次元フローの生成,三次元空間中の平面領域の発見を行う視覚処理アルゴリズムについて詳述している.

　第5章「感覚誘導行動の記述と実行システム」では,感覚誘導行動において視覚の利用のされ方を分類し,三次元視覚機能により空間をどのように表現し,動作へどのように結びつけるかの記述法とその実行システムについて説明している.空間の表現には,移動行動に対する移動可能領域のラベル,物体操作対象が置かれているテーブルのラベル,既知の物体かどうかのラベルという形で三次元空間にラベルをつける表現法を提案している.また,誘導行動の記述には,処理時間の異なる視覚処理を組み合わせるためのモデルとして,基本動作の状態遷移記述モデル,フィードバック動作レイヤにおける差分動作の重ね合わせ機構,イベント駆動される並列処理ユニットのネットワーク記述システムなどを示している.

　第6章「視覚統合ロボットプラットフォームによる感覚誘導行動の実現」では,形態の異なる複数のロボットプラットフォームに本研究の視覚システムを統合したシステムにより実現した感覚誘導行動について述べている.車輪型,四脚型,二脚型のロボット,全身の自由度数の異なるヒューマノイドロボットにおいて,床面,テーブル面の発見,移動における障害物の認識,移動経路の計画立案,移動実験について示している.

　第7章「結論」では,各章の内容をまとめ,本研究でなされた成果をまとめている.

　以上,これを要するに本論文は,知能ロボットの行動を実時間で誘導してゆくための感覚機能として不可欠となる視覚機能において,汎用性を保ちながら高速化できる三次元視覚の構成法を示し,処理時間の異なる複数の感覚処理要素を並列に利用しながら行動を誘導してゆくための記述法とその実行システムを提案し,様々な利用形態がなされる複数の異なるロボットプラットフォームにおいて実際に感覚誘導行動を実現してそれらの有効性を示したものであり,情報工学上貢献する所少なくない.

　よって本論文は博士(工学)の学位請求論文として合格と認められる.