現在、知能システムが広く普及している中で、柔軟性、適応性の充実が強く求められている。これを実現するためには、従来中心であった知識付与型知能システムから、我々生物のように、システムが自ら学習し、知識を獲得していく自律学習型知能システムへの飛躍が必要である。このようなシステムでは、自らの経験から学習する能力と学習した知識を類似した状況に適用する汎化能力が必要である。本論文は、学習・汎化能力の高いニューラルネットを利用した自律学習システムの構築に必要と考えられる学習に関する研究成果を述べたものである。この中で、筆者は(1)相関情報抽出学習、(2)時間軸スムージング学習、(3)値域拡大学習の3つの学習則を提案し、(a)センサ信号の統合の学習、 (b)センサの動作の学習、 (c)目的達成動作の学習に適用した。

　相関情報抽出学習は、複数の情報源からの信号の中で共通する情報(これを相関情報と呼ぶ)がシステムにとって重要な情報であるという考えの下で、これを学習によって獲得する方法である。図1のように、複数の階層型ニューラルネットを用意し、そこにそれぞれの情報源からの信号を入力する。そして、それぞれのニューラルネットの出力を互いに他のニューラルネットの出力と等しくなるように、つまり、他のニューラルネットの出力を教師信号として学習させる。この時、ニューラルネットの出力の値域を確保するため、値域拡大学習を適用する。具体的には、相関情報抽出学習をしながら、何回かに一回、そこまでの最大値、最小値の際の入力パターンに対し、それぞれ理想とする値域の最大値、最小値を教師信号として学習させる。

図1 相関情報抽出ニューラルネットとその学習

　図2のように2つの視覚センサを持つ移動ロボットを考え、複数の情報源からの信号として、視覚センサ信号と運動に関する信号を与えて前述の学習を行わせた。すると、ニューラルネットは、図3のように、物体の大きさ等が変化しているにもかかわらず、相関情報として視覚センサから物体までの距離の情報を、教師信号を与えなくても学習によって抽出することができるようになった。また、抽出すべき情報の次元が複数ある場合には、他の出力の偏差が小さく、自分の出力の偏差が大きい場合に値域拡大学習を適用することによって出力間の直交化が実現できる。

図2 視覚センサ信号と運動の信号から物体との距離を学習するロボット

図3 物体との距離に対するニューラルネットの出力

　我々生物は、センサからの情報を元に、将来、より良い状態になるように動作を行う。この時、センサから得られる空間的な情報から、その情報が得られる状態の時間的な位置を知ることは重要である。これを実現する学習方法が時間軸スムージング学習である。ここでは、図4のように、センサ信号を階層型ニューラルネットに入力し、その出力が時間と共に滑らかに変化するように、つまり、出力の時間に対する2階微分値を0に近づけるという学習を行う。これによって、出力が時間に対して単調に変化するようになれば、この出力は時間をコーディングしていると言える。

図4 時間軸スムージング学習

　我々の住んでいる環境では、ほとんどの空間的な情報は滑らかにしか変化しないように見える。この仮説の下では、時間的に滑らかに変化する出力は、空間情報を表現していることになる。一方、視覚や触覚などのセンサは、局所的な受容野しか持たないセンサセルをたくさん並べることによって空間的な情報を獲得している。そこで、図5のように、動く物体と視覚センサおよび階層型のニューラルネットから構成されるシステムを考える。視覚センサは、複数のセンサセルよりなり、各セルは、受容野中で投射された物体が占める面積の割合を出力し、それをニューラルネットへ入力する。そして、時間軸スムージング学習を適用する。ただし、相関情報抽出学習の場合と同様、出力の値域を確保するため、値域拡大学習を適用する。これによって、時間と共に滑らかに変化するように学習された出力は物体の位置を表現していることになる。

図5 局所センサ信号統和学習システムの構成

　センサセル30個をオーバーラップなく1次元に配置し、物体が視野内を左右に単振動している状況で学習させた場合の物体の位置に対する出力の様子を図6に示す。30個のセンサセルが局所的な受容野しか持っていないにもかかわらず、学習によってニューラルネットの出力は物体の位置を表現することができるようになった。また、この学習を利用して、頭部位置によらない物体位置の認識、前庭動眼反射、物体追跡の眼球運動等のモデルをたて、その機能を確認した。

図6 学習後の物体の位置と出力の関係

　認識や認識のためのセンサの動作は直接報酬や罰に結びつかないが、適切にセンサを動作させて正しく対象を認識できれば、適切な動作を行うことができ、報酬に結びつくと考えられる。そこで、より報酬を得るための学習アルゴリズムである強化学習を認識やセンサ動作の学習に適用することを提案した。

　図7のように、視覚センサの信号を入力とし、認識用とセンサ動作用の2種類の出力を持った階層型ニューラルネットを用意する。そして、センサ動作用出力に従ってセンサを動かし、認識用出力の値と理想認識出力との距離の時間変化量を強化信号として得られるシステムを考える。そして、その強化信号を元に、認識出力とセンサ動作を並列に学習する。

図7 能動認識の学習システムの構成

　0から9までの数字のパターンを提示して学習させたところ、学習後には、センサの初期位置を変えてもパターンを正しく認識できるところにセンサを動かしてほぼ正しく認識できるようになった。動作後の認識の正解率は99%以上となった。一方、センサを動かさないで、認識だけの学習を行ったところ、93%の正解率しか得られなかった。このことから、センサの動作まで学習させることによって、効率的な認識システムが実現できたと言える。

　報酬を得るための動作を学習するアルゴリズムである強化学習では、通常、一連の動作をした後にしか報酬が得られないため、得られた報酬からそこまでの動作をいかに強化するかが学習のポイントとなっている。Bartoらは、将来にわたる報酬の重みづけ総和(未来に行くほど重みを指数関数的に減少させる)を最大化するという観点から、その総和をセンサ信号から予測するように学習し、さらに、その予測値が大きくなるような動作を学習する方法を提案している[1]。

　筆者は、単一の報酬に対する強化学習を考えた場合、報酬を得るまでの時間で状態を評価することが妥当であると考えた。そこで、ニューラルネットにセンサ信号を入力し、評価値出力に対して時間軸スムージング学習を拡張した時間変化量を一定にする学習を行い、報酬を得た時には評価値を大きくする学習を行う方法を提案した。これによって報酬を得るまでの所要時間を評価値として学習し、この値に基づいて動作を学習する。この時の学習システムの構成を図8に示す。また、前述のBartoらの方法も、指数関数によって所要時間を表現していると解釈できることがわかった。

図8 遅延強化学習の学習システムの構成

　そして、図9のような局所的な受容野を持つセンサセルよりなる視覚センサ信号を入力とする移動ロボットを考えて、目標物に到達した時に報酬がもらえるという設定で学習させた。すると、図10のように、視覚センサの各セルは局所的な受容野しか持っていないにもかかわらず、目標物がロボットに近ければ近いほど良いという滑らかな評価関数を学習によって獲得し、ロボットが回転して目標物の方を向いてから前進するというほぼ最適な経路を獲得することができた。また、この時にニューラルネットの中間層ニューロンは空間情報をきれいにコーディングし、かつ学習に必要なところが拡大して表現されていることがわかった。また、環境やロボットの運動特性に非対称性を持たせると、それに合った学習をし、障害物を置いて、障害物のみを捉える視覚センサを持たせて学習させると、障害物を避ける動作を学習することができた。

図9 シミュレーションで用いた視覚センサ付き移動ロボット

図10 学習後の評価関数の形状(等高線)とロボットの経路(ロボット中心座標)

　自律学習のための学習アルゴリズムとして、空間と時間の対応付けを行う時間軸スムージング学習、複数の情報源の相関情報を抽出する相関情報抽出学習および値域拡大学習という3つの汎用的な学習則を提案し、センサ信号の統合や動作の学習に適用することによって、その機能を確認した。