中脳ドーパミンニューロンは報酬予測誤差信号をコードすると考えられている.報酬予測誤差信号とは予測していた報酬と実際にもらった報酬の差分であり,学習理論や機械学習の分野では学習を駆動する信号とされている.ドーパミンニューロンはこの信号を使って刺激―報酬連合の強度の更新に関わっていると考えられている.先行研究では,報酬そのものの種類に依存しない,報酬予告刺激の感覚モダリティに依存しないなど,ドーパミンニューロンの応答が純粋な報酬情報をコードしていることが強調されてきた.そのため,報酬情報を持った感覚刺激の特性によって,どのようにドーパミンニューロンの応答性が変化するかについての知見はほとんどなく,用いられた条件刺激はほとんど単純なものばかりであった.しかしながら,実際の環境には知覚的に単純な刺激から複雑な刺激まできわめて多くの刺激が存在しているので,知覚的に複雑な刺激に対する応答性の理解は実環境でのドーパミンニューロンの振舞いを知るうえで重要であると考えられる.そこで本研究では大脳皮質での知覚的意思決定が弁別するのに必要とされているランダムドットモーション刺激(注1)の方向を条件刺激として採用し,認知課題遂行中のサル中脳ドーパミンニューロンの応答性にどのような影響を与えるかという点について検討した.特に注目した点は以下の2点である.

ドーパミンニューロンの応答潜時は比較的早いが(約100ミリ秒),弁別にもっと時間がかかる刺激と連合して遅く入ってくるような報酬情報も表現できるか? 大脳皮質を経由してくるような報酬情報について表現できるか?

知覚的意思決定において行動選択がバイアスするような場合,ドーパミンニューロンの応答性も影響を受けるか? ドーパミンニューロンは刺激―報酬連合と行動―報酬連合のどちらを反映しているか?

2頭のオスのニホンザルを用い,ジュースを強化子として,即時反応型のランダムドットモーション方向弁別課題を訓練した.モーション刺激の方向は2種類(左右),コヒーレンスは4種類とした.報酬の効果をみるため,非対称報酬スケジュールを採用した.すなわち,あるブロックではたとえば右方向のモーション刺激が大報酬と連合され,左方向のモーション刺激が小報酬と連合された.方向の影響を統制するため,次のブロックでは報酬―方向連合を逆転させた.サルは眼球運動によって,モーション刺激の動き方向を報告した.課題訓練終了後,中脳に位置するドーパミンニューロンからタングステン微小電極による単一ニューロン活動記録を行なった.記録部位については実験終了後,組織学的検証を行なった.

課題正答率はコヒーレンスが高くなるとともに上がっていた.また一番簡単な高コヒーレンス条件を除き,方向判断は大報酬方向に偏ることを示した.サッカード潜時はコヒーレンスが高くなるとともに短くなり,大報酬方向へサッカードするときの方がより短かった.以上より,サルの行動は報酬―方向連合の影響を受けることが分かった.

本実験においてランダムドットモーション方向を条件刺激にしたときにはドーパミン応答は先行研究で見られた一過性応答より時間的に延長した応答を示した.その応答のうち,初めの成分は課題条件(コヒーレンスと方向;報酬期待値が決まる)によらず一定の応答であったが,後の成分は課題条件に依存して,応答の大きさが変わった.このことはモーション刺激の弁別前後で変動する報酬予測を反映しているという仮説を立て,解析したところ,早期成分,後期成分はそれぞれモーション刺激の検出と弁別の時点での報酬予測誤差信号と対応していることが分かった.さらに早期成分はモーション刺激出現のタイミングの影響を受けていることを示した.これはドーパミン応答時間情報の影響を受けるという先行研究の知見と一致する.これらの結果はドーパミンニューロンが逐時的に報酬予測誤差信号をコードしていることを示す.以上より,1つ目の質問の答えは,ドーパミンニューロンは遅く入ってきた報酬情報も表現できる,である.しかしその応答パターンはこれまで知られていた単峰性の鋭い一過性応答ではなく,モーション刺激弁別の経時的過程に従うように2つの成分に分けられるという応答パターンであった.

さらに誤答試行を解析した結果,ドーパミン応答が選択した行動の影響を受けないことが分かった.信号検出理論に基づくモデルを使った解析により,ドーパミンニューロンは右か左かというようなカテゴリカルな方向に基づく報酬予測を反映しているのではなく,試行毎にばらつきのある感覚野の神経活動そのものに基づく報酬予測を利用して,報酬予測誤差信号をコードしていることが分かった.以上より,2つ目の質問の答えは,ドーパミンニューロンは選択した行動の影響を受けない,である.たとえ非対称報酬スケジュールにより選択バイアスが生じても,ドーパミンニューロンは行動の影響を受けずにモーション刺激そのものに基づく報酬予測を反映して応答していると考えられる.これらの結果から,脳は曖昧な刺激に対して,悉無律的に報酬予測をするのではなく,曖昧な形のままで報酬予測をしていることが示唆される.

ランダムドットモーション方向を条件刺激として,サル中脳ドーパミンニューロンより単一ニューロン活動記録を施行した結果,ドーパミンニューロンは外部環境より入ってくる刺激に対して時間的に忠実に報酬予測誤差信号をコードすること,またこのとき脳内では刺激を表現している感覚野の神経活動のばらつきをそのまま反映するように報酬予測されていることが分かった.したがって,外部環境に忠実かつ行動の影響を受けない刺激―報酬マッピングの形成にドーパミンニューロンが関与していることが示唆される.このような客観的な刺激―報酬マッピングは環境の持つ生物学的意味をバイアスなく理解して適応的に行動していくうえで重要なのかもしれない.

(注1)ランダムドットモーション刺激とは多数のドットのうち,きまった割合(コヒーレンスと呼ぶ)のドットが同じ方向に動く一方で,残りのドットはランダムに動く刺激である.あるビデオフレームで同じ方向に動くドットはランダムに選ばれるため,コヒーレンスが十分に低ければ,1つのドットだけを追って全体の方向を知ることはできない.したがって,正しく全体の動き方向を弁別するためには局所運動情報の時空間的に統合しなければならず,損傷実験や電気生理実験により,高次視覚野が必要であることが分かっている.

本研究は知覚的意思決定を要するような曖昧な条件刺激に対して、脳内でどのような報酬情報処理が行われているかを明らかにするため、認知課題遂行中のニホンザルを被験体として、報酬情報処理に重要な役割を持っていると考えられている中脳ドーパミンニューロンより単一ニューロンレベルで記録した細胞活動を解析したものであり、下記の結果を得ている。

1.本実験ではニホンザルに報酬条件を操作したコヒーレントモーション弁別課題を訓練し、モーション刺激の方向を報酬量と連合させている。この課題遂行中のサル中脳ドーパミンニューロンより単一ニューロン活動記録を行った結果、モーション刺激の方向によって、ドーパミンニューロンの応答性が変化することが分かった。この結果は、ドーパミンニューロンが、弁別に大脳皮質視覚野を必要とするような比較的高次の刺激特徴と連合した報酬情報についてもコードできることを示している。

2.本実験において、モーション刺激に対するドーパミン応答は、先行研究で見られた鋭い一過性応答に比べ、より延長した形をとることが分かった。この応答の前半部分は課題条件(モーションの方向とコヒーレンス、本実験においてはその試行の報酬期待値と対応する)によらなかったが、後半部分は課題条件による差が認められた。本実験における報酬予測はモーション弁別の過程で動的に変化していくことを考慮した解析により、モーション刺激に対するドーパミン応答は両方の部分ともにその時点での報酬予測誤差をコードしていることが分かった。

3.刺激は「小報酬方向」を指示しているにも関わらず、サルが「大報酬方向」を選んでしまった誤答試行において、ニューロン活動が刺激に依存しているのか、行動の影響を受けるのかを解析した結果、ドーパミン応答は選んだ行動の影響を受けず、刺激に依存した応答を示すことを見いだした。さらに信号検出理論に基づくモデルから推定された報酬予測誤差とドーパミン応答が良く相関していることを示した。この結果はドーパミンニューロンが「大報酬方向」や「小報酬方向」のようなカテゴリー的な情報に基づく報酬予測を利用しているのではなく、知覚的意思決定に使われているような連続的な感覚野由来の信号に基づく報酬予測を利用していることを示唆している。

以上より、本論文ではドーパミンニューロンの報酬予測誤差信号が脳における感覚刺激の情報処理にそのまま基づくような報酬予測を反映しており、選択した行動の影響は受けないことを明らかにした。本研究は、単一ニューロンレベルでの先行研究がほとんどなかった曖昧な条件刺激に対する脳内報酬系のニューロン応答を明らかにしており、複雑な状況における報酬表現の神経機構の解明に重要な貢献をなすと考えられ、学位の授与に値すると考えられる。