1．研究の背景

　近年、ロボティクスの分野において、人を取り巻く環境を知的にし、その中で活動する人に対して支援を行なうことを目的とした空間知能化に関する研究分野が広がりを見せている。ロボット単体においてセンサの観測範囲の制限などのため、動的な環境変化に対応して、人間に満足感を与える程度の速度を維持した上で確実な動作を行なうことは困難であり、ロボット要素を分散配置した環境によってこのような短所を補うことができるという考えが空間知能化のきっかけとなった。現在ではこのような考えが拡張され、知的なロボット要素に加えて知的なヒューマンインターフェース要素も人間の周囲に分散配置され、ネットワークにより結合された分散ロボット、環境ロボットとして構成される新たな知能システムとして位置付けられる。

　空間知能化のためには、環境内部の人や機械の位置情報など状態を認識すること、認識した情報に基づき空間側の知能が機械を知的に制御すること、空間の形状、大きさに依存しないスケーラビリティを持つことが求められる。それらの課題の中でも、空間内の人間及びロボット等の対象物の位置・姿勢情報の獲得、個体識別に関する空間認識機能は知能化空間の基盤となる重要な技術である。本論文では、知能化空間(インテリジェントスペース：iSpace)のセンシング部分を構成する視覚センサネットワークにおいて、広域に渡る物体のシームレスな追跡を実現するため、動画像上での色情報を用いた物体追跡および視覚センサ群の協調による追跡の実現可能性について述べる。

2．研究の目的

　本研究では、動画像を処理することで得られる空間内の物体の色情報を用いて、さらに分散配置された視覚センサ群が協調することにより広域でのシームレスな物体追跡を実現し、空間知能化のための基盤となるセンシング技術を確立することである。特に、

・　位置推定の信頼度に基づいた視覚センサ群での追跡権のハンドオーバーによる広域でのカラーマーカーの追跡および知能化空間のアプリケーション例の実現。

・　視覚センサ単体での、物体に関する事前情報が無い状態から色情報に基づいた複数のプロセスの相互作用により複数物体を認識し追跡するアルゴリズムの提案。

・　複数の視覚センサでの物体情報のマッチングのためのグローバルカラーモデルの提案とその有効性の検証。

を目的としている。この研究により、複数の視覚センサが分散配置されて構築されるインテリジェントスペースのための、空間認識が可能となると考えられる。図1に本研究のターゲットとなる知能化空間の概念図を示す。

3．複数の知的視覚センサによる空間知能化

　まず、環境内に固定した視覚センサと計算機を組み合わせ、知的センサのプロトタイプを構築した。知能化空間は追跡対象となる移動ロボットのカラーマーカーおよび人間の肌色情報に関する知識をあらかじめ保持しており、各視覚センサでの単純な動画像処理により追跡が可能である。しかし、各カメラで観測できる領域が限定されているため、環境中を移動する物体の位置情報をシームレスに獲得するためには何らかのビジョンセンサの協調のメカニズムを構築する必要がある。ここでは、物体追跡を行っているセンサに対して物体を追跡する権利という概念を定義し、センサ同士の通信によってその権利を各センサ間で移動させるためのハンドオーバアルゴリズムを提案した。視覚センサと物体の間のワールド座標系における距離、及び視覚センサが取得した画像中に物体が存在するピクセル位置を用いて、観測領域内での物体追跡の評価する信頼性を定義し、追跡状態を異なるセンサ間で比較することによって、追跡権を自動的に移動させ常に最も追跡状態の良いセンサが物体位置を同定するように設計された。この研究により、環境中に存在する人間と移動ロボットの位置情報を複数の視覚センサにより構成された知能化空間によって5cm〜10cmの精度で同定できることが示された。さらに、空間知能化のアプリケーションのひとつとして、追従対象の人間と移動ロボット自身の位置情報推定に関する支援を知能化空間から受けることを前提とした、人間追従移動ロボットを開発し、分散センシングによる知能化空間の効果を実証した。図2に信頼性に基づく観測領域の分割の様子と、4個の視覚センサでのハンドオーバーによる移動ロボットの追跡結果を示す。

4．色情報に基づく複数物体追跡

　次に、単体の視覚センサにおける画像情報の処理とその結果としての新規物体の発見および追跡について説明する。前節で述べた追跡方法ではあらかじめ追跡対象の保持する色情報に関する知識を与えていたが、人間-ロボット共存のための知能化空間では存在しうる物体は多岐に渡り、事前知識なしで未知の複数の物体に対応できるような、単体カメラでの複数物体追跡アルゴリズムが必要とされる。本研究では、画像中の物体の状態に応じて、物体の存在を確定させ、色情報を獲得し追跡するプロセス(オブジェクト発見プロセス)と、物体の存在の仮定に基づいて物体領域のカラートラッキングを行なうプロセス(トラッキングプロセス)を自動的に選択することによって、物体に関する事前情報のない状態から追跡を開始できる複数物体追跡手法を提案する。トラッキングプロセスでは、適応的に生成される背景情報からの差分により物体候補領域を抽出し、抽出された領域のカラーヒストグラムからなる特徴ベクトルのオンラインクラスタリングによって物体の存在を確定する。確定した物体に関しては、オクルージョンの発生時など背景情報のみでは追跡が困難な場合、物体領域のカラーヒストグラムを利用したMeanShift法からなるトラッキングプロセスにより、追跡を継続するトラッキングプロセスが起動する。両プロセスを統合することで互いの短所を補うことのできる追跡アルゴリズムとなる。図3に実験結果を示している。

5．視覚センサ群の協調のためのカラーモデルの提案

　図3に示したような単体カメラにおける物体のトラッキングの際でも、物体を表すカラーヒストグラムモデルは物体の姿勢や大きさ、照明変化などによって変動する。そのような同一物体におけるカラーモデルの変動を含めたモデルを構築することによって、異なるカメラから様々な姿勢におけるカラーモデルが得られた際にも、その対応づけを行なうことが容易になるものと考えられる。単体カメラでのトラッキング時に毎フレームごとに生成されるカラーヒストグラム集合には、物体の姿勢などの変動による色の見えの変動が含まれている。物体の全周囲の色情報がローカルカラーモデル集合に含まれているとき、全く同一の色組成を持つ物体が複数存在しない限りは、空間内で物体を同定するのに有効な情報であると考えられる。ここでは、固有空間法をカラーモデルへ応用して、単体の視覚センサでの物体領域追跡時に得られる大量のカラーヒストグラム情報の集合に含まれる、各物体に固有な色変動に関する情報を失うことなく、簡略化したグローバルモデルとして再生成する。図4 は、グローバルカラーモデルの概念を示している。固有空間に投影されたグローバルカラーモデルを異なるカメラで観測された同一物体について比較した際、その対応づけの可能性が実験により検証された。

6．結言

　本研究では、従来のロボットについての考え方を空間全体に拡張した知能化空間を構成するための空間認識機能の実現のため、大量に分散配置された視覚センサによる、動画像上での色情報の処理による物体追跡に関して研究を行った。

　まず、知能化空間があらかじめ保持している物体の色情報に基づいた物体追跡において、複数の視覚センサによる広域でのシームレスな追跡を実現するため、物体の追跡状態に基づいた追跡権のハンドオーバー手法を提案し、実験によりその効果を確認した。

　次に、単体の視覚センサにおいて、物体に関する事前情報のない状態から、物体候補領域の色情報に基づいて自動的に物体の存在を判定するオブジェクト発見プロセスと、追跡状態に応じて適宜起動するトラッキングプロセスの相互作用により複数物体の追跡を実現する複数物体追跡アルゴリズムを提案し、実験を行った。

　さらに、単体の視覚センサで獲得されたローカルな色情報の集合から、異なる視覚センサとの同一物体の対応付けに用いるためのグローバルカラーモデルを提案し、シミュレーションおよび実画像によるデータにより、対応付けの効果を確認した。

　以上の研究成果をシステムとして統合することにより、将来的に空間知能化において最も重要な空間認識が、視覚センサ群を分散配置することによって実現できるものと考えられる。

図1　知能化空間と視覚センサの役割

図2　信頼性マップ(左)、視覚センサ群による追跡結果(右)

図3　単体カメラでの複数物体追跡結果

図4　グローバルカラーモデルの概念図

　本論文は「空間知能化のための色情報に基づく物体追跡に関する研究」と題し全6章から構成され、生活環境を知能化することで人間中心型の新しい知的システムを実現しようとする空間知能化において、最も重要なセンシング基盤である、分散視覚センサ群による色情報に基づいた物体追跡に関してまとめたものである。

　第1章は「序論」として、近年のロボティクスの分野における研究動向から、空間知能化に関する研究の背景を述べ、空間知能化のためのセンシング基盤としての視覚センサによる物体追跡を研究目的としてまとめている。最後に、論文の構成を説明している。

　第2章は「空間知能化」と題し、空間知能化のプロセスを遂行する上での問題点について言及している。知能ロボット、インテリジェント環境、センサネットワークといった空間知能化に関連する先行研究の紹介、それらにおける技術課題などについて言及し、空間知能化の位置づけを明確にしている。先行研究において使用されている要素技術、システム設計方針などを整理し、知能化空間の実現のための空間認識方法、特に空間内に存在する物体の追跡および視覚センサ群の協調を研究課題として列挙している。

　第3章は「視覚センサ群による空間認識」と題し、技術課題として挙げた視覚センサ群の協調に関して述べている。分散配置された視覚センサの協調に関しての関連研究をまとめ、視覚センサ協調による知能化空間の設計指針を議論している。認識対象物体の色情報を動画像処理から抽出することにより、物体の位置同定と追跡を行なうための視覚センサのプロトタイプを構築している。広域での対象物体追跡のための視覚センサ群の協調の手法として、各視覚センサでの対象物体の認識レベルに基づいた物体の追跡権のハンドオーバープロトコルを提案している。視覚センサを複数個配置した知能化空間を構築し、対象物体の追跡実験を行ない、広域での位置同定と追跡を安定して行うことが可能であることを実証している。また、他の分散視覚型追跡システムとの比較を行ない、シンプルな構成で分散視覚システムを実現できるという提案手法の特徴および単体視覚センサの更なる性能向上の必要性を明確にしている。

　第4章は「視覚センサ単体におけるカラーベース物体追跡」と題し、視覚センサ単体での複数物体のカラーベーストラッキングについて検討している。知能化空間では存在しうる物体は多岐に渡り、事前知識なしで未知の複数の物体に対応できるような、色情報に基づき自動的に物体モデルを構築し、複雑な環境でも物体追跡が可能なアルゴリズムを提案している。適応的に生成される背景情報に基づく物体抽出と、物体領域の色情報のクラスタリングによるボトムアップな物体発見と追跡を行なうオブジェクト発見プロセス、および物体の存在を仮定した状態からのトップダウンな物体領域の追跡を行なうトラッキングプロセスについてそれぞれ新たな手法を提案し、その効果を確認している。さらに、両プロセスを適宜自動的に選択することにより、動画像上で物体を追跡するアルゴリズムを検討し、実画像処理によりその効果を確認している。

　第5章では「視覚センサ群の協調のためのグローバルカラーモデル」と題し、複数の視覚センサ群による広域環境での物体同定のための新たなカラーモデルの必要性について議論している。見え方の異なる同一物体の対応づけを行なうため、第4章の追跡アルゴリズムによる色情報と、固有空間法を応用することにより、グローバルカラーモデルを提案している。実画像データに基づく複数物体のグローバルカラーモデル生成結果より、物体同定のための問題点を整理し、追跡時に得られる時系列的な色情報の変動を評価することにより、物体の対応付けにおける有効性を示している。

　第6章では，「結論」として、本研究で得られた成果をまとめ、残された問題と今後の研究方向を述べている。

　以上を要するに、本論文は空間知能化のために不可欠な、分散視覚センサ群のネットワーク化による広域での物体追跡を実現するため、視覚センサの協調、視覚センサ単体での追跡における諸問題に関して、色情報をベースとした知能化空間の設計方針を明確にしたもので、電気工学、ロボット工学に貢献すること大である。

　よって本論文は博士(工学)の学位請求論文として合格と認められる。