第1章　序論

　本研究は、環境安定性の高い実用的な視覚処理の実現を目指したものである。様々な環境条件下で安定に動作する視覚処理を実現するためには、画像に含まれる膨大な情報を余すことなく扱う必要があり、本質的に多くの処理量が必要となる。過去の、特に計算機性能が低かった時代の視覚研究では、処理量を早急に減らそうとするあまり、必要な情報をも切り捨ててしまい、その結果安定性を失うことが多かった。安定性獲得のためには処理量を節約すべきでなく、逆に、処理量をかければ、比較的単純なアルゴリズムであっても高い機能と安定性を実現することが可能である。処理量の壁を取り払うためには、並列ハードウェアの活用が有効であり、ハードウェアとアルゴリズムを同時にかつ統一的に扱う視点が重要である。本研究では、視覚処理ハードウェアによって供給される大量の前処理結果を活用することによって、様々な状況下で安定に動作する高度有視覚処理を、特に「動き」を扱う運動視に関して実現することを目的とする。

　視覚の機能は、形態視と運動視とに大別できる。形態視は、静止画に含まれる形や色の情報から、主として物体が何であるかを認識する視覚機能である。これに対して本研究で扱う運動視は、動画像に含まれる動きの情報を処理する視覚機能である。運動視には、(1)移動体検知、(2)移動体追尾、(3)運動立体視の3つの機能がある。(1)と(2)は動く物体を見つけて追いかける2次元的な処理機能であり、(3)は動きから立体感を得る3次元処理である。本研究では、運動情報を抽出するための基本演算として局所相関演算に着目し、まず、第2章で、局所相関演算を高速に実行する専用LSIの設計と実現を行う。次に第3章では、局所運動情報から(1)移動体検知と(2)移動体追尾を行うアルゴリズムを構築する。第4章では、(3)運動立体視の機能に関して、局所運動情報から物体の3次元的な運動と形状とを復元するアルゴリズムを示す。最後に第5章では、実社会応用への運動視処理の適用を図る。

第2章　局所相関演算プロセッサACPの設計と実現

　本章では、大量の運動情報を高速に抽出する運動視用の視覚処理プロセッサを実現することを目的とする。運動情報を抽出する基本演算として局所相関演算に着目し、これを高速に実行する専用LSI、局所相関演算プロセッサACP(Advanced Correlation Processor)を設計・実現する。運動視においては、局所的な動きを抽出する処理と、移動物体全体あるいは画面全体の動きを求める統合処理とが必要となる。両者を一定の回路規模で処理するため、前回の相関演算結果に新たな相関演算結果を累積する累積相関法を提案する。累積相関法によれば、様々な大きさ・配置の局所画像に対する相関演算が可能となり、柔軟な運動情報の抽出が可能となる。

　ACPの相関演算回路アーキテクチャとして、メモリ直結型2次元シストリックアレイアーキテクチャを提案する。これは64の要素演算器を2次元に配置しパイプライン動作させるアーキテクチャであり、特に画像メモリを直結し同期動作させる点に特徴がある。逆に、ホストCPUからのコマンド入出力については完全非同期化を図ることで、スループットの高いプロセッサシステムを実現し、33ms間に640回の相関演算を実行できる高い性能を示した。

　ACPをさらに発展させ、CPUを内蔵したACP IIを設計し、33ms間に2390回の相関演算を実行できる極めて高い性能を実現した。ACP IIには正規化相関処理も搭載し、予め記憶した画像パターンとの高速照合を可能とした。

　局所相関演算は並列動作に適した演算であり、汎用CPUやDSPで処理するより専用プロセッサを用いた方が演算効率が高い。事実、ACPは汎用CPUに対して16.4倍、ACP IIは26.6倍の性能を示した。33ms間に2390回の相関演算を実行できるプロセッサは他に類をみない。

第3章　局所相関演算に基づく移動体の検知と追尾

　本章では、局所相関演算に基づく大量の運動情報を用いて移動物体を検知・追尾するアルゴリズムを示す。実応用場面として、侵入者を検知・追尾する侵入監視システムを想定し、ノイズに左右されない安定な検知、広い奥行き範囲での検知、対象の変形等に左右されない安定な追尾、動カメラによる追尾、自動ズームなど、実場面で要求される高い機能と安定性の実現を目指す。

　移動体を検知・追尾するアルゴリズムとして、背景差分法、フレーム間差分法、あるいは勾配法に基づく運動情報を用いる方法などが提案されているが、前述の機能と安定性を全て実現したものはない。本研究では、移動体の検知から追尾に至る一連の処理を局所相関演算を用いて統一的に実現し、前章のACP上で動作させることで処理量の壁を取り払いながら、大量の局所運動情報を積分的に活用することによって、目的とする機能と安定性を実現する。

　まず、画面全体に渡って稠密に求めた局所運動に基づく移動体検知法と、その局所運動を局所相関演算に基づいて抽出する基本オペレータ(ゼロ比較法)とを提案し、昼夜に渡る安定な移動体検知を実現した。ゼロ比較法は移動する直線パターンを抽出できるため、画像に含まれる全ての運動情報を抽出することが可能である。次に、予備追跡を行って動きの等速性を調べるアルゴリズムを提案し、波や木の葉などの自然界のノイズに反応し難い移動体検知法を確立した。移動体追尾については、移動物体の占める領域を局所運動に基づいて動的に決定する適応追尾法を提案し、変形・拡縮・部分的隠れに強い安定な追尾法を実現した。さらに、カメラのパン・チルト・ズームによって生じる背景運動を補償して、カメラを連動させた追尾処理を実現し、特にズーム中の追尾を可能とした。

　一連のアルゴリズムをACP上に実装し、実シーンに適用できる高い安定性を有することを確認した。必要な処理をできる限り省略せずに実行した結果、一周期当り8810回もの局所相関演算が必要になったが、ハードウェア(ACP)との整合性を考えてアルゴリズムを構成した結果、6フレーム周期の実時間処理を可能とし、実用性の高い運動視処理を実現した。動カメラによる実時間追尾と自動ズーム機能を有しながら、実場面に適用できる高い安定性をも備えた移動物体の検知・追尾処理を実現した例は本研究が初めてである。

第4章　逐次型因子分解法による運動と形状の3次元復元

　本章では、運動立体視の機能に着目し、多数の画像特徴を局所相関演算によって追跡した上で、行列の因子分解を利用して物体(あるいはカメラの)運動と物体形状とを3次元的に復元する手法を示す。本手法は、多数の特徴点追跡結果を用いることから、前処理の計算量は多い。しかし、一度追跡結果が得られれば、運動や形状に対する知識や条件を必要とせず、極めて安定な復元結果を得ることができることから、処理量を厭わないことで安定性を獲得する一例と言える。

　本研究では、Tomasiらによって考案されたバッチ型の因子分解法を逐次形式に改良した逐次型因子分解法を提案する。逐次型因子分解法は、あるフレームでの入力画像を得ると即座にその時点での3次元復元結果を得ることができる。過去の観測結果を共分散型行列に保持することで、フレーム毎の更新を容易にした。共分散型行列の大きさは特徴点数にのみ依存し、時間経過によって増大することがない。因子分解法で必要となる特異値分解演算を、上位の特異値のみを算出する再帰演算で置き換えることで、フレーム毎に3次元情報を更新することに成功した。

　逐次型因子分解法を、ACPによる特徴点追尾処理と組み合わせることによって、実時間(33ms周期)での安定な3次元復元が可能であることを確認した。

第5章　実社会応用への運動視処理の適用

　本章では、運動視処理を実社会応用に適用することを目的とする。運動視の応用が期待される分野として、監視分野と道路交通分野がある。監視分野について、まず侵入監視システムと災害監視システムヘの適用を図る。侵入監視システムは、侵入禁止区域内への人や車両の侵入を自動的に検知し、その挙動を追尾・観察するシステムである。具体応用として、浄水場監視システムと埠頭監視システムを取り上げ、3章で示した移動体検知・追尾アルゴリズムを適用した結果を示す。災害監視システムは、土砂の2次崩落を自動検知するものである。3章の移動体検知アルゴリズムを適用し、評価実験を行った結果を示す。一方、道路交通の分野に関して、交通監視システムと車種判別システムヘの適用結果を示す。交通監視システムは、通過車両を検知し、正規化相関演算によってナンバープレートの文字を認識するシステムである。車種判別システムは、通過車両を検知した後、車長と前輪径から乗用車・普通貨物車・大型貨物車の3種を識別するシステムである。

　以上の適用結果は、運動視処理の応用範囲が広く、実社会ニーズに応える上で、その研究意義が高いことを示している。

第6章　結論

　本研究では、局所相関演算に基づく大量の運動情報を用いることで、様々な状況下で安定に動作する高度な運動視処理を実現した。また、本処理に基づく実用システムを構築し、実社会応用への適用を達成した。

　本研究は、最新の半導体技術の元で最適なプロセッサ設計を行えば、過去多くの視覚処理研究者を悩まし続けてきた処理量の壁を取り払うことが可能であり、そうすることが従来達成し得なかった高い機能と安定性の実現に結び付くことを示したものである。本アプローチが、高度で実用的な視覚処理の実現に向けた一助となることを期待したい。

　本論文は、「局所相関演算に基づく大量の運動情報を用いた運動視処理の研究」と題し、照明条件や注視対象領域が大きく変化するような実環境に対しても実用化が可能な視覚処理システムを実現するには、大量の運動情報を早い段階で少量化し特定の情報だけを高次処理へ伝えるという方法ではなく、大量の運動情報をそのまま高速に処理してその結果を高次処理へ伝達できるシステムの実現が必須であるとの考えから、運動視の基本演算となる局所相関演算をメモリ直結2次元シストリックアレイ型プロセッサにより実現し、侵入監視や交通監視などの実用システムヘの実応用を実践することでそのシステム設計と運動視処理の方式が大変有効で強力なものであることを示した研究であり、6章からなる。

　第1章「序論」では、視覚の機能と視覚研究の経緯を述べ、本研究の目的と概要について述べてある。

　第2章「局所相関演算プロセッサACPの設計と実現」では、大量の運動情報を高速に抽出する運動視用プロセッサとして、局所相関演算プロセッサACP(Advanced Correlation Processor)とその改良版で正規化相関演算を可能としたACP IIプロセッサの設計とそれを用いた追跡視覚システムについて述べている。ACPの特徴は、局所的な動きを抽出する処理と、移動物体全体あるいは画面全体の動きを求める統合処理を一定の回路規模で処理するために演算結果を累積する累積相関法を提案している点にある。これにより様々な大きさ・配置の局所画像に対する相関演算が可能となり、動的に変形する大量の運動情報に基づいた視覚処理が可能となる。相関演算回路は、メモリ直結型2次元シストリックアレイアーキテクチャを提案し、33ms間にACPでは640回、ACP IIでは2390回の相関演算を実行できる極めて高い性能を実現した。

　第3章「局所相関演算に基づく移動体の検知と追尾」では、局所相関演算に基づく大量の運動情報を用いて移動物体を検知・追尾するアルゴリズムを示し、ACPを用いた監視システムにおいて、移動体の検知から追尾に至る一連の処理を大量の局所運動情報を積分的に活用することによって、ノイズに左右されない安定な検知、広い奥行き範囲での検知、対象の変形等に左右されない安定な追尾、動カメラによる追尾、自動ズームなど実場面で要求される高い機能と安定性を示した。

　第4章「逐次型因子分解法による運動と形状の3次元復元」では、物体(あるいはカメラの)運動と物体形状とを3次元的に復元する因子分解法において、従来はバッチ型であったものを運動中も処理ができるように逐次型に改良した方法を示し、ACPシステムによる実験を示している。この処理は、多数の画像特徴を追跡する必要があり、大量の運動情報を処理することが必要となっている例であり、一度追跡結果が得られれば運動や形状に対する知識や条件を必要とせず極めて安定な復元結果を得ることができる強力な方法となっており、処理量を厭わないことで安定性を獲得する例を示している。

　第5章「実社会応用への運動視処理の適用」では、運動視処理を実社会応用に適用した事例とその評価について述べている。運動視の応用が期待される分野として、監視分野と道路交通分野をとりあげ、浄水場と埠頭における侵入監視システムヘの適用応用例や、災害監視のために土砂の2次崩落を自動検知する実例、さらに、交通監視システムでの通過車両の検知、正規化相関演算によるナンバープレートの文字の認識、通過車両を検知と車種判別を行う実験をACPの実用システムで行い、その有効性を実応用例で示している。

　第6章「結論」では、各章の内容をまとめることで全体を総括し、本研究により重要度が明らかとなってきた点に関する展望も述べて、本研究の結論を示している。

　以上、これを要するに本論文は、本質的に多くの処理量が必要となる実用視覚システムにおいて、さまざまな環境条件下で安定に動作するシステムを実現するために、専用プロセッサに累積相関法を導入した高速局所相関演算処理システムを実装し、大量の運動情報を必要とする三次元の動きと形状の同時検出理論の実践と、対象領域サイズや照明状況が大きく異なる実環境における監視システムヘの実応用実験を示すことによって、実用可能な運動視の実現法と実用システムでの実証評価によりその高い有用性を示したもので、機械工学および情報工学上貢献するところ少なくない。

　よって本論文は博士(工学)の学位請求論文として合格と認められる。