本論文はコミュニティ解析などへの応用を念頭に置いた、同一行動を行っている複数人グループの抽出とグループへ行動ラベルを与える「集団行動ローカリゼーション」に対し、集団全体から抽出された空間関係性に着目した複数人行動認識手法を提案する。

本研究の特徴は、頑健、かつ高速な集団行動ローカリゼーション手法を確立するため、集団に属する全員から抽出した空間関係性の利用といった統一的な観点から解決を試みている点にある。 まず、頑健な行動グループの記述を行うため、集団内での人位置・方向を同時に記述する行動記述子を提案した。また、高速なグループの抽出のため、集団内での人位置・方向といった位相構造を保持するように探索することで、指数時間必要な全探索と等価な出力を多項式時間で得られる探索手法を示す更に、実環境中の多くの行動グループが存在する環境を対象として撮影した画像群を用いた評価により、提案手法の有効性を示す。

以下、各章の概要を以下に示す。

第1章「緒論」においては、まず本研究の背景、目的について述べ、更に本研究で扱う集団行動ローカリゼーションとその画像処理による人行動研究における立ち位置を論じる。

第2章「集団行動ローカリゼーションの問題設定」では、まず想定されるアプリケーションの観点から集団行動ローカリゼーションの問題設定について論じ、更に集団行動ローカリゼーションに潜む困難性とその困難性を解決するための本研究のアプローチを示す。

第3章「局所変形可能なアピアランスモデルを用いた行動認識手法の検証」では、先行研究において示された、行動全体のアピアランスから直接行動認識を行う手法について実データを用いて検証を行う。特に、行動全体のアピアランスを用いた場合には、行動の構成要素となる人、物体の行動領域内における空間配置がモデル化されていることを示し、更に行動認識手法においても、行動全体の空間関係性を記述することが重要であることを論じる。

第4章「集団内の大域的空間関係性を用いた集団行動ローカリゼーション」では、第3章で示された行動認識手法設計の指針に基づき、集団行動ローカリゼーションを定式化する。まず、集団行動ローカリゼーションを画面上に存在する人からの組合せ探索の問題として定式化し、更に頑健な集団行動ローカリゼーションのため、集団に属する人全員から抽出した、集団内での人位置・方向を同時に記述する行動記述子を示す。更に複数人行動データセットを用いた実験により、行動記述子の特性について議論する。

第5章「集団内の人配置を保存した探索手法による高速集団行動ローカリゼーション」では、第4章における定式化で問題であった組合せ爆発の問題に対し、効率的な探索手法を示す。特に、集団の人位置・方向といった集団の位相構造を保持するため、集団の端点を先に定めてから探索を行うことで、全探索と等価な出力を多項式時間で得る探索アルゴリズムを示す。更に人工データ、実データを用いた実験により、提案したアルゴリズムが、実際に検知精度を損なわずに大幅な高速化を達成していることを示す。

第6章「多彩な状況における集団を含む複数人行動ローカリゼーションデータセット」では、本研究で新たに構築した、多様な環境において撮影された、多くのグループを同時に含むデータセットについて議論する。本章における実験により、多くのグループを同時に含む場合における集団行動ローカリゼーション手法の備えるべき特性について議論を行い、更に提案した高速探索アルゴリズムの有効性を示す。

第7章「結論」においては、本論文の結論として各章で述べた内容について整理を行い、更に今後の複数人行動認識手法の発展について論じる。

本論文は「集団全体の空間関係性に基づく複数人行動認識手法に関する研究」と題し、画像情報を用いた複数人行動の認識手法について論じた論文である。特に、同一行動を取る人のグループとその行動ラベルを認識する問題を「集団行動ローカリゼーション」と呼び、集団全体の空間関係性の利用という統一的な観点から、グループの認識という問題において生じるモデル化の困難さ、計算量爆発の問題に対処するための認識手法について述べた論文である。本研究でグループの認識の問題に着目する理由としては、個々人の行動のみならず同一行動を取る人のグループを認識することは、例えば強く結びつく人関係の発見や施設内で孤立した老人の発見といった、実空間でのコミュニティ解析へと繋がるためである。

論文は全7章から構成される。以下にその概要を述べる。

第1章「緒論」では、研究の背景と目的、従来のコンピュータビジョン分野における動作・行動認識研究の面からの本研究の位置づけ、本研究の構成について述べている。特に、グループの認識を同時に行う点が、従来から行われてきた個々人毎の行動認識を行うアプローチとの差異であり、頑健な認識を行うためのモデル化、計算量の両面において影響すると論じている。

第2章「集団行動ローカリゼーションの問題設定」では、本研究が取り扱う集団行動ローカリゼーションの問題設定について論じている。まず、実空間上でのコミュニティ解析を行うためには、その実現には個々人の取る行動のみならず、同一行動を取るグループを認識することが必要である点を論じ、更に、本研究で取り扱う認識粒度について述べている。更に、本研究で行ったグループ付けの正解基準について示し、人グループの正解付けと心理学分野における群化基準との関連性を示している。更に、本研究で取り組む領域とコンピュータビジョン分野におけるアルゴリズムとの関連について論じている。

第3章「局所変形可能なアピアランスモデルを用いた行動認識手法の検証」では、行動認識分野で高い性能が報告される行動全体のアピアランスモデルを用いたアプローチについて、固定視点画像で蓄積された画像群を用いて検証し、行動認識精度を得るための、集団全体の空間関係性を用いることの重要性について論じている。

第4章「集団内の大域的空間関係性を用いた集団行動ローカリゼーション」では、まず全探索を基とした集団行動ローカリゼーションの探索手法について示し、更に認識頑健性を得るため、集団に属する人全員から抽出した空間関係性、特に位置・方向を同時に記述する行動記述子を提案し、提案した行動記述子により、行動認識性能が向上することを実験により示している。

第5章「集団内の人配置を保存した探索手法による高速集団行動ローカリゼーション」では、第4章で示した全探索ベースの手法では指数時間の計算量が必要になる問題に対し、多項式時間で同等の解を得るための探索アルゴリズムを示している。特に、集団全体の空間的な位相関係、特に集団に属する人の位置関係を保存するため、集団の端となる人を先に定めてから探索を行うことで全探索と同等の解を得るための探索アルゴリズムを示し、提案したアルゴリズムが精度を損なわず、高速化を達成していることを実験により示している。

第6章「多彩な状況における集団を含む複数人行動ローカリゼーションデータセット」では、実空間のコミュニティ解析への展開を念頭において本研究で構築した、同一シーンに多数人・多数グループを含む画像データセットについて論じ、更に本研究で構築した手法の有効性を実験により示している。

第7章「結論」では、本論文の結論として各章で論じた内容を整理し、更に複数人行動認識分野についての将来展望を示している。

以上、これを要するに本論文は、同一行動を取る人グループとその行動のラベルを同時に認識する問題について、集団全体の空間関係性という統一的な観点からの解決法を示したものであり、広範な応用先を有する複数人行動理解の基盤技術としての貢献が大である。

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる。