逐次的に行動を選択して目的を達成するのは、生物が備えている本質的な機能である。我々が、生物の逐次的行動選択を論じる時、次のようなプロセスを考えている。ある環境状態においてある行動を選択し、その選択された行動が環境状態を変化させ、その新たな環境において、次の行動を選択する。すなわち、このような状態の遷移系列の中で、生物はある目的の遂行、または目的とする環境の状態の実現、に成功または失敗する。生物システムのみならず、逐次的行動選択の本質的な問題は、ある時点の行動選択は、それによって引き起こされる直後の環境状態への遷移のみならず、それ以後の遷移にも影響を及ぼすことに起因する。即ち、ある時点での行動選択は、直後に実現した状態と同時により長い時間的スケールにおいて実現したい状態を共に考慮する必要がある。

　生物システムは、様々な特性(様々な時間的スケール・異なった種類の情報)の複数の記憶システムを持つ。例えば、人間では、短期(作業)記憶・長期記憶が挙げられる。一般的に記憶システムの基本的な機能的要素は、情報のロード・情報の貯蔵・情報の引きだし、である。長期記憶では、神経細胞の活性がロードと引き出しの時のみに必要であるのに対し、作業記憶では、この3要素全てについて必要である。そのため、長期記憶では記憶の保持が比較的容易であるのに対し、作業記憶では記憶の保持は短期的でありまた、その記憶は外乱によって失われやすい。さらに、この両者の特性の違いは、逐次的行動選択における両者の機能について、それぞれ異なった制約を与える。そのため、本研究では、それぞれの制約を鑑みて、逐次的行動選択がこの二つの異なった記憶システムでどのように実現されているかを個別に研究した。

　学術修士中原裕之提出の論文は"Sequential Decision Making in Biological Systems:The Role of Nonlinear Dynamical Phenomena in Working Memory and Reinforcement Learning in Long-Term Memory"(生物システムの逐次的意思決定:作業記憶の非線形ダイナミクスの役割と長期記憶での強化学習の役割)と題し、8章からなっている。

　生命体は、時間とともに変化する環境の中で、逐次的に行動を選択して目的を達成する機能を備えている。このような逐次的行動選択や逐次的意思決定には、時間スケール、処理すべき情報の複雑さ等において様々な種類やレベルがあるが、多くの生命体は異なる特性を持つ記憶システムを駆使して環境に対応していると考えられる。例えば人間では短期記憶ないしは作業記憶と長期記憶が挙げられる。

　論文提出者は、逐次的行動選択を実現する記憶システムの内部機構とその機能に理解の光を当てるべく計算論的立場からのアプローチを試みている。すなわち、比較的時間スケールが短く、かつ処理すべき情報の複雑度が低い場合の例として、作業記憶における外界情報の取捨選択によって実現される逐次的行動選択のモデルを、また比較的時間スケールが長く、かつ処理すべき情報の複雑度も高い場合の例として、長期記憶における強化学習とそれに基づく行動選択のモデルをそれぞれニューラルネットワークの枠組みの中で提案し、その可能性と妥当性を検討している。

　本論文の第1章は序論であり、以上のような研究の背景や本研究の目的と意義を述べている。第2章では作業記憶における逐次的行動選択のメカニズムについての分析が行われている。第3章では、後の第6章におけるモデル構築の基盤となるべき事項として、大脳基底核とその周辺部位についての生理学的・解剖学的知見や脳損傷患者の神経科学的知見を検討している。また第4章では、後の第6章で提案する強化学習のモデルとアルゴリズム導入の準備として、従来の研究経緯や提案をサーベイし、それらの限界と改善点について述べている。第5章では、後の第7章でのモデルシミュレーションで比較検討の対象とする、彦坂ら(順天堂大)の猿を用いた逐次的作業の訓練・学習実験の概要を説明している。第6章では、これらのサーベイや詳細な検討を踏まえて、大脳基底核とそれに関連する大脳皮質各部位の機能的役割についての仮説を整理提案し、これらの仮説に基づいてニューラルネットワークモデルと強化学習の具体的アルゴリズムを定式化している。第7章では、提案したモデルとアルゴリズムを用いて第5章に述べた猿の逐次的作業に関する訓練・学習実験のシミュレーションを行い、様々な点で猿の学習パフォーマンスと定性的に一致する結果が得られることを示している。第8章はまとめで、本研究で得られた成果と将来の発展方向に関する展望が述べられている。

　本論文で得られた成果の概要は以下のとおりである。

　短期記憶においては、1)シグモイド関数を入出力関係とするニューロンが自己結合を持つ場合の作動ダイナミクスを分析し、自己結合とバイアスの値のセットがサドルノード分岐点近傍にあるときには、逐次的行動選択に重要と考えられるニューロン活性値のある一定期間の保持と速やかな活性値の移動の実現が可能であることを示した。また、2)このようなニューロンからなる簡単なリカレントネットワークを持つ個体のモデルを構成し「人工生命」の分野で利用される「食物探索課題」を採用して、進化プログラミングにより個体を何世代かにわたって進化させると、各個体の自己結合とバイアスの値のセットが、上述の分岐点近傍に収束していくこと、およびそれらの個体が良いパフォーマンスを持つことから、提案された作業記憶のダイナミクスが逐次的行動選択に寄与している可能性が高いことを示した。

　長期記憶においては、3)生理学、解剖学、心理学等の広範な研究領域から得られている知見を詳細に検討した上で、大脳基底核と大脳皮質の関連する各部位との間の3つの神経ループに着目し、それぞれのループの情報処理の分担と強化学習における機能的役割についての仮説を整理提案した。また、4)これらの仮説に基づいて3つのループそれぞれをニューラルネットワークで置き換え、具体的な強化学習アルゴリズムを提示し、それら3つのネットワークの間の相互連関についても定式化した。5)これら大脳基底核とその関連部位における情報処理と強化学習の機構と機能に関する仮説とモデルは、そのモデル構築の妥当性を含めて現時点で考え得る最も先端的モデルの1つと云ってよいが、その信頼性の検証は必ずしも容易ではない。個々のループのモデルと実際の脳の内部のニューロンの作動状況との直接的な比較は現段階では困難だからである(猿の実験では強化学習におけるニューロンレベルの測定が最近開始されている)。そこで、本論文では、猿を用いた逐次的作業訓練(強化学習)の実験に着目し、大脳基底核ネットワークモデルを用いて、猿の実験における反応行動のシミュレーションを試み、その行動パフォーマンスのレベルでの比較検討を行っている。そして、短期学習の効果(毎日の学習の初期と後期のパフォーマンス差)および長期学習の効果(学習を繰り返し始めた初日、数日後、1ヶ月後のパフォーマンス差)のいずれもが実験とシミュレーションの双方で極めて類似した様式で明確に観察されること、学習された逐次系列作業とその逆順作業の間のパフォーマンス差が猿とモデルの間で定性的に良く一致すること、脳の一部部位の活動をブロックしたときの猿とモデルの対応機能を劣化させたときのパフォーマンスの変化傾向についても両者の間で良く一致すること、などを示している。これらのモデルシミュレーションによって、パフォーマンスの定性的な一致というレベルではあるが、モデルの妥当性が相当程度に検証されたといってよい。

　以上のように、本論文は生体の逐次的行動選択という複雑な意思決定過程を解明すべく、短期記憶および長期記憶のそれぞれにおいて先端的計算モデルを提案し、その可能性を検討したもので、人工知能、認知科学、脳科学などの諸学問上貢献するところが大きい。よって審査委員会は本論文を博士(学術)の学位論文として合格と判定する。