認識や知覚,意思決定などの脳の情報処理には,脳全体が関与している.しかし,今日の計測技術では,脳のすべてを計測することは難しく,その情報処理機構を完全に観測することは難しい.そこで,観測不完全な脳の情報処理機構の解明では,計測可能な,脳の一部の神経活動や動物の行動といった生体信号から,同機構を予測・推定することが有用である.例えば,(i) 計測した生体信号から,脳の情報処理機構で重要となる特徴・要素をボトムアップに抽出する.また,(ii) 脳の情報処理機構をトップダウンにモデル化し,同モデルを実際の生体信号で評価・検討する.

機械学習は,計測しない・計測できない未知の特徴量を,計測したデータから予測・推定する.例えば,(i) 教師あり学習は,計測したデータの特徴を分析し,その特徴に基づいた新規の指標で,データを分類・識別する.つまり,この学習アルゴリズムは,ボトムアップに,計測データから特徴量を抽出する.また,(ii) 強化学習やマルコフモデルは,特定のモデルに従って計測データは生成されると仮定し,データからモデルの構造・パラメータを推定する.つまり,これらの学習アルゴリズムは,トップダウンに,計測データの生成メカニズムを調べる.

このように,機械学習は,脳の情報処理機構の解明で重要な要素技術を備えている.そこで,本研究では,機械学習を用いて,脳の情報処理機構の解明に挑む.具体的には,(i) 教師あり学習を用いて,高音圧の音刺激で,聴皮質の神経細胞群の音周波数表現をボトムアップに調べる.また,(ii) 強化学習とマルコフモデルを用いて,行動戦略をトップダウンに提示し,(a) 生物の選択行動で,モデルフリーとモデルベース戦略の使い分けを調べる.さらに,(b) 選択行動での不確実性の役割を調べる.

まず,聴皮質の神経活動の解析で,教師あり学習を用いた.従来,聴皮質は周波数局在構造を持ち,特定の神経細胞が特定の周波数刺激音に選択的に反応すると考えられてきた.しかし,この周波数局在構造は,低音圧の音刺激提示時しか見られない.高音圧の音刺激提示時では,各周波数に対する聴皮質の空間的な活動は等しくなることが報告されている.そこで,本実験では,高音圧の音刺激で,聴皮質の音周波数の表現様式を調べる.

麻酔下のラットで,高音圧 (50-70 dB SPL)の音刺激提示時の聴皮質の神経活動を,24点の計測点を持つ微小電極アレイで計測した.その後,計測した神経活動から,音周波数識別に寄与する神経活動パターンを時空間的に抽出した.抽出手法を以下に示す.まず,教師あり学習のサポートベクターマシン (support vector machine: SVM)を用いて,計測した聴皮質の時空間的神経活動から,音周波数を推定した.次に,逐次的次元縮約法 (sequential dimensionality reduction: SDR)を提案・実施し,SVMの識別精度が最も高くなるように,入力データの時空間的神経活動パターンの各要素,すなわち時空間窓を,段階的に縮約した.

SDRは,入力データの時空間窓数を約4分の1に縮約し,SVMの識別精度を有意に向上させた.また,SDRで抽出した時空間的神経活動パターン (SDRパターン)の識別精度は,空間的な神経活動のみを考慮したパターンや,高発火頻度の神経活動のみに着目したパターンよりも優れていた.この結果は,刺激音周波数の識別では,神経活動の空間パターンだけでなく,時空間的パターンが重要であること,高発火頻度の神経活動だけでなく,低発火頻度の神経活動も重要であることを示唆する.ただし,SDRで抽出した神経活動を調べた結果,SDRは,高発火頻度の時空間窓を多く抽出し,識別に有利な分散的パターンを構築することがわかった.SDRパターンで,SVMの結合荷重を調べた結果,高発火頻度と低発火頻度の神経活動は,それぞれ,荒い周波数識別と,詳細な周波数識別に寄与する傾向があった.この結果は,高音圧の刺激音の周波数表現で,聴皮質の高発火頻度と低発火頻度の神経活動は,相補的な役割をすることを示唆する.低音圧の音周波数表現では,高発火頻度の神経活動が重要であることを考慮すると,聴皮質の音周波数表現は,感覚刺激に応じて変化することを示唆する.

なお,SVMの識別精度は,k近傍法 (k-nearest neighbor: KNN) や重回帰分析 (Canonical discriminant analysis: CDA) よりも優れていた.この結果は,聴皮質の神経活動の解析では,SVMが有用であることを示している.

次に,行動の解析で,強化学習とマルコフモデルを用いた.行動選択には,線条体や前頭前野,頭頂葉,中脳など,脳の様々な領野が関与している.特に,線条体と前頭前野は,それぞれ,モデルフリー戦略とモデルベース戦略といった異なる学習アルゴリズムに寄与することが報告されている.しかし,これら複数の戦略を,脳がどのように使い分けて,行動を決定するかは,未だわかっていない.そこで,本実験では,学習段階に注目し,学習に応じた行動戦略の推移・選択を調べる.具体的には,まず,自由選択課題時のラットの選択行動を,モデルフリーとモデルベース戦略で解析する.次に,ラットの課題達成度に応じて,どちらの戦略がラットの行動に適合するかを調べる.

自由選択課題では,ラットは,左右どちらかの穴を選択し,報酬である餌を確率的に得る.この報酬確率の条件を,本実験では,2種類用意した.一方は,20から230試行で報酬確率の切り替わる条件 (報酬変動条件),他方は,報酬確率一定の条件 (報酬一定条件)である.報酬変動条件と報酬一定条件は,任意の試行順序で提示した.なお,報酬一定条件でのみ,光刺激を提示したことで,ラットは,各試行の報酬条件を知ることができる.また,報酬変動条件の報酬確率として,本実験では4つの報酬確率状態を用いた.

ラットの選択行動を解析した結果,報酬変動条件で,ラットは,報酬確率に応じて,左右の選択頻度を変化させた.一方,報酬一定条件で,ラットは,報酬確率の高い選択肢を,常に80%以上選択した.この結果は,ラットは,報酬条件依存的に行動を変化させることを示す.

行動解析では,モデルフリー戦略とモデルベース戦略として,それぞれ,強化学習のQ学習 (Q-learning)と,隠れマルコフモデル (hidden Markov model: HMM)を用いた.Q学習は,左右の選択肢の価値,すなわち行動価値を,過去の行動や報酬の履歴で徐々に更新する.一方,HMMは,課題に対するモデルを用いて,行動を予測・決定する.本実験では,同モデルとして,報酬変動条件の4つの報酬確率状態を用いた.つまり,モデルベース戦略では,ラットは,(i) 4つの状態を完全に覚えている,(ii) 現在の状態を推定して行動を決定する,と仮定した.

報酬変動条件で,選択の定まっていない学習途上では,ラットの行動はモデルベース戦略に適合した.一方,報酬変動条件で,特定の選択を80%以上行うとき,常に特定の選択をする報酬一定条件のときの両者,すなわち,学習の進んだ段階では,ラットの行動はモデルフリー戦略に適合した.これらの結果は,ラットの行動戦略は,学習に応じて,モデルベースからモデルフリーに切り替わることを示唆する.

最後に,前述の実験と同様に,ラットの行動を機械学習で解析した.生物はしばしば,環境から不完全な情報しか得ることが出来ない.従って,脳は,不確実性を考慮して,行動結果を予測し,行動を決定しなければならない.このような予測・行動選択は,近年,強化学習アルゴリズムに基づいて脳で行なわれるという報告がある.しかし,従来の強化学習は,不確実性を無視しており,行動選択での不確実性の役割は,未だわかっていない.そこで,本実験では,不確実性の役割を調べるために,自由選択課題時のラットの行動が,不確実性を考慮したベイジアンQ学習 (Bayesian Q-learning)と不確実性を無視した通常のQ学習 (standard Q-learning)のどちらに適合するかを調べる.

本実験の自由選択課題で,ラットは,左右どちらかの穴を選択し,報酬を確率的に得る.なお,左右の選択肢の報酬確率として,本実験では6つの状態を用意した.各状態で,ラットが,報酬確率の高い選択肢を80%以上選択した時,報酬確率を,他の状態に切り替えた.

自由選択課題時のラットの行動を解析した結果,その選択行動はベイジアンQ学習に良く適合した.この結果は,ラットは,行動選択で不確実性を考慮することを示す.また,ベイジアンQ学習の自由パラメータを調べた結果,不確実性は,ラットの行動を促進することがわかった.ただし,左右の選択肢の報酬確率が高い状態では,ラットの行動は,ベイジアンQ学習に比べて,通常のQ学習に適合した.この結果は,高報酬確率の状態では,不確実性はラットの行動に影響しない,または,行動を抑制することを示唆する.これらの結果は,不確実性は,環境依存的にその役割を変えることを示唆する.

本論文では,機械学習による研究手法を用いて,感覚刺激に応じて聴皮質の音周波数表現が変化することをボトムアップ的に示唆した.また,学習段階に応じて,学習アルゴリズムが変化すること,課題条件に応じて,学習アルゴリズムのパラメータの役割が変化することをトップダウン的に脳の計算モデルを提示することで示唆した.これらのケーススタディーから,脳の情報処理機構が,様々なアルゴリズムやパラメータ,さらには,個々の神経細胞を動的に使い分けていることを検証する手段として,機械学習による解析を確立した.

本論文は,脳の情報処理機構を明らかにすべく,実験動物から得た神経活動パターンと行動のデータを対象にして,デコーディングによる解析手法を試み,その有効性を論じている.本論文は,序論(第一章),神経活動パターンの解析(第二章,三章),行動の解析(第四章,第五章),考察(第六章),結論(第七章)からなり,全七章で構成される.

第一章の「Introduction」では,脳の情報処理機構の解明を目指す研究に関して,従来手法の問題点を議論し,本論文の研究目的を導出している.当該分野では,脳の計算アルゴリズムやパラメータを適宜仮定し,それらにより,実際の神経活動や行動の計測データを説明する手法が有望である.ただし,従来研究では,単一のアルゴリズム・パラメータしか仮定していないことが多い.脳の柔軟な情報処理では,アルゴリズムやパラメータは,時々刻々と状況に応じて変化し得るはずである.そこで,本論文では,脳の情報処理機構は,様々なアルゴリズムやパラメータ,さらには,個々の神経細胞を動的に使い分けていると仮定した.この仮説を実証するための有望な手段として,機械学習が概説されている.

第二章の「Dynamic system of neural activities」では,聴皮質の神経細胞群では,音周波数表現に寄与する神経活動の特徴は,音圧に応じて異なることを,サポートベクターマシンを用いた次元縮約法で示している.低音圧の音周波数では,高発火頻度の神経活動が重要である.一方,高音圧での音周波数表現では,時空間的な神経活動パターンが重要であること,また,高発火頻度とともに低発火頻度の神経活動も重要であることを示している.特に,低発火頻度の神経活動は,詳細な周波数識別に寄与することを示唆している.

第三章の「Identification of an appropriate decoder for analyzing neural activities」は,第二章の次元縮約手法の有用性を評価している.サポートベクターマシン・k近傍法・重回帰分析を用いて,音周波数のデコーディング精度を比較したところ,サポートベクターマシンが,他の識別器よりも優れており,聴皮質の解析では,サポートベクターマシンが有用であることを示している.

第四章の「Dynamic system of algorithms」では,自由選択課題時のラットの選択行動を,モデルフリー戦略とモデルベース戦略で解析している.その結果,学習途上では,ラットの行動はモデルベース戦略に適合した.一方,学習成立時では,ラットの行動は,モデルフリー戦略に適合する.これらの結果から,ラットの行動戦略は,学習に応じて,モデルフリーからモデルベース戦略に動的に切り替わることを示している.

第五章の「Dynamic system of parameters」では,不確実性を考慮したベイジアンQ学習と,不確実性を無視した通常のQ学習を用いて,ラットの選択行動を解析している.その結果,ラットの行動は概して,ベイジアンQ学習に適合すること,また,ラットの行動に適合するベイジアンQ学習では,不確実性は選択行動を促進することから,ラットは不確実性選好であることを示している.ただし,報酬確率の高い環境では,ラットの行動には通常のQ学習が適合する.これらの結果は,不確実性の役割は環境に依存することを示している.

第六章の「General discussion」では,前章までの知見を総括・考察するとともに,将来の研究の展開を議論している.本研究で試みられた手法の妥当性を議論したうえで,機械学習を利用した研究手法は,脳の計算モデルをトップダウン的に仮定して,実際の実験データと比較・検討する研究戦略にも,計測データから脳の計算モデルをボトムアップ的に提案していく研究戦略にも有用であることを論じている.

第七章の「Conclusion」は,本論文で得られた知見を総括している.本論文では,デコーディングによる研究手法を用いて,感覚刺激に応じて個々の神経細胞の役割が変化すること,学習段階に応じて学習アルゴリズムが変化すること,学習条件に応じてアルゴリズム内の特定パラメータの役割が変化することを示した.これらのケーススタディーから,脳の情報処理機構が,様々なアルゴリズムやパラメータ,さらには,個々の神経細胞を動的に使い分けていることを検証する手段として,デコーディングによる解析を確立した.

本論文は,脳の情報処理機構のように,動的かつ複雑なシステムを解明するために,デコーディングによる解析を確立した点に,学術的な貢献が認められる.これは,神経科学分野に留まらず,工学的・情報学的にも顕著な価値を有する.

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.