脳がどのように機能しているかを解明するためには、脳の内部で情報がどのように表現(コーディング)されているかが重要である。本研究では、ニューロン間に伝播する、神経パルスの時間相関によって表現される情報コーディングである、相関コーディングを取り上げ、その機能および学習を検討する。

　神経パルスを扱うパルスニューラルネットワークの、基本的なネットワーク構造として、ループネットワークおよびリニアネットワークを解析する。ループネットワークとは、ニューロンによってつくられる閉回路(ループ)で、結合の方向が同じ場合を言う。

　図1(a)にループネットワークの例を示す。このネットワークでは、1部を除いて同様な構造を有する2つのモジュールによって構成されている。各ニューロンは、2つの入力からのパルスの時間的な一致を検出するコインシデンスディテクタであり、各ニューロン間の結合はパルスの伝播に対するディレイを有する。ネットワークに含まれるループのディレイと同等の間隔を有するパルス列を2種同時に入力した場合、対応するループが反応するが、それぞれの反応は、図1(b)に示すようにニューロンの出力パルス列の相関を測ることによって分離することができる。また異なるモジュールで同じ入力に反応する場合も、出力パルス列の相関によって同様の反応をしていることを識別することができる。

　リニアネットワークとは、閉回路ではなく、1次元の結合構造で、結合の向きが同じ場合を言う。もっとも単純な2つのニューロンのリニアネットワークでは、最終の出力ニューロンの出力パルス列の発火頻度が、ニューロン間のディレイで決定される入力パルス列の自己相関関数の1点に対応する。従って、図2(a)に示すように複数のニューロンを用いることによって、自己相関関数をニューロンの発火頻度として表すことかできる(図2(b))。

　任意の周期パルス列に反応するループネットワークを学習によって獲得するために、Hebb学習をパルスニューラルネットワークに導入する。ランダムなディレイで結合されたネットワークにおいても、もし入力パルス間隔列に対応するディレイの値を有するループが存在するとすると、それが独立した構造でなくとも反応を得ることができる。従って、初期的にランダムなディレイによって全結合されたネットワークに対して、特定のパルス系列に反応するのに必要な結合だけを残して他の結合を削除することを行う。特定のパルス列に対する重要度を測るために、機能的結合度を導入する。機能的結合度とは、1つの結合において定義され、その結合からの入力に対するニューロンの発火に対する貢献度である。特定の周期パルス列入力の反応に対して機能的結合度を測定し、それが0以下である結合を削除する。結果、図3に示すように、初期的なニューロン数におよび入力パルス列の周期に比例して、獲得された結合数は増えることが示された。

図1:(a)ループネットワークの例、ループ1-3-5および2-5-4(前半)、ループ1-2-5および3-5-4に対応するパルス列を与えた場合の各ニューロン同士の相関。

図2:(a)入力(ニューロンS)の自己相関を抽出するネットワーク、(b)各ニューロンの平均発火頻度(実線)と入力の自己相関関数(小円)。

図3:(a)ニューロン数に対する獲得された結合数の平均。周期3、周期5および周期7の入力パルス列について計算している。

　Hebb学習は、シナプス荷重を変化させることによって行われるが、パルスニューラルネットワークでは、結合ディレイがもっともネットワークダイナミクスに影響を与える。そこで、入力パルス列に対してディレイを適応的に変化させることを考える。すなわち、ニューロンの2つの結合の入力として、ある一定の間隔でパルス入力が起ることが多い場合、その間隔を0にするように適応が行われる。2つの入力の初期的なディレイとして、適当な差D_iがあったとすると、この差が入力パルス列のパルス間隔に同等になるように適応が進むことになる。

図4:(a)パルス列の重畳、(b)重畳したパルス列に対するディレイ適応の誤差関数。

　図4(a)に示すように、複数のパルス列を重畳した場合、元のパルス列のパルス間隔などの情報は、重畳パルス間隔列の系列的な情報としては破壊される。しかしながら、ディレイ適応を用いて、重畳パルス列に対して適応を行った場合、図4(b)の誤差関数に示されるように、元のパルス列の各パルス間隔を獲得することができる。ディレイ適応を行った場合の、ディレイ変化の安定点は、誤差関数の極小点として与えられる。パルスニューラルネットワークは、入力パルス列のパルス間隔の順序に直接反応しているのではなく、パルス列の相関に反応しているため、重畳パルス列に対しても、元のパルス列の情報を獲得することができる。

　入力パルス列に対して、パルスニューラルネットワークで獲得できる情報は、相関関数の高相関部分の時間ずれパラメータである。従って、2次の相関関数で取得できるパルス列の種類は、2次相関関数上で高相関部分が局所的となる周期パルス列に限られる。従って,より複雑なパルス列の情報を取得するためには、より高次の相関関数を扱う必要がある。3次の相関関数に対応する3ニューロンのリニアネットワークに対して、トポロジカル・マッピング学習を用いることによって、カオス力学系からのパルス列信号の情報獲得を行う。カオス力学系である、

　および、

　から、観測関数、

　を介してパルス間隔列として変換し、両力学系の信号を重畳した信号を入力として用いる。

図5:(a)3次自己相関を抽出するネットワーク、(b)トポロジカル・マッピングの結果。

　図5(a)に、トポロジカル・マッピングに用いたネットワーク構造を示す。3ニューロンのリニアネットワークを2次元状に並べた形となっている。図5(b)に、トポロジカル・マッピングによって獲得されたネットワーク構造を示す。ネットワークのディレイ構造として、もとの力学系の構造、すなわち2次関数によって表される力学系であるという情報が獲得されていることがわかる。従って、3次自己相関関数でその情報が表されるようなカオス力学系からの信号を重畳した場合でも、もとの力学系の情報を獲得することができることがわかる。

　相関コーディングを仮定した場合の学習の利点として、複数の系列を同時学習することが可能であることが挙げられる。一般的なニューラルネットワークモデルの学習では、複数の情報が与えられた場合、それらを統合する形でのみ学習が行われる。相関コーディングでは、学習は相関構造をネットワークパラメータとして獲得するものであるが、与えられた情報を分離すべきであるか、あるいは統合すべきであるかは、相関コーディングの機能として必然的に決定される。従って、学習によって獲得される構造は、与えられた情報の相関構造によって決定され、適切な情報表現として、同時学習が可能となる。

　相関コーディングと学習は、お互いに密接な関係がある。相関コーディングとは、相関関数によって表される統計量をその情報表現として用いているが、その統計量を決定する平均時間間隔をいかなる値にするかは任意である。学習によって獲得される相関構造は、学習の時定数が平均時間間隔となるような相関関数によって表されるものであり、従って、学習を行う場合は、その学習法によって相関コーディングの方法が決定されることになる。学習に用いられる結合デイレイパラメータは、相対不応性などのより速い時定数を有するダイナミクスによって変化を受ける。従って、ニューラルネットワークにおける様々なダィナミクスの時定数での相関コーディングを検討することは今後の重要な課題である。

　本論文は「ニューラルネットワークにおけるパルスコーディングと学習」と題し、7章より構成されている。

　第1章は「序論」であり、現在のニューラルネットワークモデルにおける情報コーディングの仮定と、その問題点について述べている。脳の情報コーディングとして一般的に仮定される頻度コーディングは、モジュール構造などの制限下では並列処理が困難であるという根本的な問題があり、これを克服するために、時間方向の自由度を用いることができる相関コーディングによる、情報処理および学習を検討することを述べている。

　第2章は「イベントダイナミクス」と題し、パルスニューラルネットワークをコンピュータでシミュレーションするために必要な、効率的なシミュレーション法について示している。パルスが時刻のみをパラメータとするようなイベントとして表されることに着目すれば、逐次的なアルゴリズムによってシミュレーションを行うことが可能であることを示し、ペースメーカーニューロン、2値不連続出力関数を有するような連続時間ニューロンによるネットワークがシミュレーション可能であることを示している。

　第3章は「パルスニューラルネットワークのダイナミクス」と題し、基本ネットワークとなるループネットワークおよびリニアネットワークの特性について述べている。ループネットワークは、周期的パルス列を識別するための構造であり、特定の周期パルス列に対して反応することを示している。リニアネットワークは、パルス列の一部に対して反応する構造であり、結果としてn次相関関数を近似することが可能であることを示している。また、聴覚および視覚タスクに関するモデルを立て、従来のニューラルネットワークモデルにおいて困難とされる組み合わせ処理が、相関コーディングでは実行可能であることを明らかにしている。

　第4章は「Hebb学習によるループネットワークの獲得」と題し、最も基本的な学習法であるHebb学習をパルスニューラルネットワークに適用することによって、周期パルス列に反応するループネットワークを形成する学習が可能であることを示している。また、ここで用いた学習法が生理学的な機構によって実行可能であることを、短期バースト発火ニューロンによって示し、連合性シナプス長期増強・抑制と呼ばれる生理学的現象のモデルにも対応させることかできることを明らかにしている。

　第5章は「相関コーディングと結合ディレーの適応」と題し、ネットワークダイナミクスに実質的な影響を与える結合ディレーパラメータに対して、結合の相関を抽出するように適応させるディレイ適応学習を行っている。ディレー適応は、入カパルス列に高相関部分か存在する場合、その高相関部分に対応する相関関数の時間ずれパラメータの値を取得することができる。この特性を用いて、たとえ複数の周期パルス列を重畳した場合でも、パルス列の特徴を表すパルス間隔を抽出することが可能であることを示している。さらに、ディレー適応の生理学的可能性として、神経膜のモデルを用いて、入力パルス強度、すなわちシナプス荷重パラメータが変化する場合、同時に発火パルスのディレーも変化し、シナプス荷重に対する学習によってディレー適応を行うことが可能であることを明らかにしている。

　第6章は「高次相関構造とトポロジカル・マッピング学習」と題し、二次の相関構造を有するカオス力学系から得られたパルス列に対して、複数のパルス系列の重畳変換がどのような特性を有するのかを示し、2次相関構造の重畳された信号に対してトポロジカル・マッピングを適用することによって、重畳された信号から元の力学系の相関構造が獲得されることを示している。二つのパルス列を重畳変換した系列では、パルス間隔列を情報として用いると、もとの力学系の情報を再構成することはできないが、二次相関関数を用いれば、再構成可能である。パルスニューラルネットワークは、n次相関関数に直接的に対応させることができるので、相関関数の幾何学的構造を、トポロジカル・マッピングによってネットワークパラメータとして獲得することができることが示されている。また、重畳変換では、異なる相関構造を有する信号を扱ったが、逆に同一力学系を二つのセンサで観測した場合、二つの入力から相関構造を形成させることができることを示している。これは、目や耳などの異なるセンサによって単一の対象を観測した場合、それらの情報を相関コーディングを用いて統合しうることを表している。

　第7章は「結論」であり、本研究で得られた結論と研究成果を要約して述べている。

　以上を要するに、本研究はニューラルネットワークにおけるパルス列の情報コーディングとして、相関コーディングの利点を検討し、入力パルス列の相関を基本とする時系列処理を行うための学習モデルを提案したものであり、ニューラルネットワークの分野へ貢献するところが少なくない。

　よって著者は東京大学大学院工学系研究科における博士(工学)の学位論文審査に合格したものと認める。