音は大きくピッチ・ラウドネス・音色の3要素にわけられ、更にその中でも最も複雑な側面を持つ音色は、振幅や周波数の比較的長い時間での変化を図示したものの包絡線であるtemporal envelopeと、音を周波数分析した結果の包絡線が表すspectral envelopeにわけられる。このspectral envelopeは、発音体の物理構造との強固な対応関係から、音色の中でも特に重要な要素であり、話者や楽器によって特有の形をもっており、音色の異なる印象を与えることが知られている。我々が、聴覚情報のみから話者や楽器の特定ができるのも、音色のスペクトル情報から音源の脳内表象を復号化する脳内過程が働いているためだといえる。

音色知覚に関する先行研究は数多くあるが、早期段階における音色処理の神経基盤についての見解は未だ定まっていない。そこで、実験1では音色を決めるspectral envelopeに注目し、F0とspectral envelope以外の音響要素が全て揃うよう音量やtemporal envelopeを加工した24種類の定常複合音を、健聴被験者に対し無視条件下で両耳提示した時のN1mを204チャンネル全頭型脳磁計を用いて計測した。F0は成人男性・女性の声の標準値に基づき110Hz及び220Hzの2種類とし、spectral envelopeは自然音であるvocal音とinstrumental音、spectral envelopeが直線となる合成音(linear音)各4種の総計12種とした。

解析1では、計測されたN1mピーク潜時、振幅、等価双極子の局在を分析し、spectral envelopeの情報処理は従来考えられていたよりも早く、潜時100ms前後で既に行われており、nonvocalかvocalかはN1m ピーク潜時がF0依存性を持つか否かに、nonlinearかlinearか(spectral envelopeの山であるformant構造の有無)はN1mの振幅の大小と推定された等価双極子の左半球での前後方向の局在に反映され、音色によってN1m成分に与える影響が異なるという知見を得た。

上記で示されたvocal音に対するN1m ピーク潜時のF0非依存性が、vocal音特異的な性質であるのかを精査するために、解析2では同一カテゴリーに属する各刺激音のN1m ピーク潜時について分析を行った。その結果、F0依存性については先行報告同様の知見が得られた。刺激音毎のピーク潜時の有意差は、vocal音では両半球で、nonvocal音では右半球のみで認められ、左右半球の優位性はN1mの振幅だけではなく潜時にも反映する可能性が示唆された。更に、N1m潜時のF0非依存性は、vocal音のみでなく一部のnonvocal音でもみられ、これらのnonvocal音は、F0依存性をもつnonvocal音より高周波成分(>1kHz)の相対パワー値が有意に大きかった。以上より、N1m ピーク潜時は同一カテゴリー内の刺激音間でも差が認められ、spectral envelopeの傾きが小さい音で潜時が早まる傾向がみられた。ピーク潜時のF0非依存性は、従来の報告のようなvocal音に特異的なものではなく、nonvocal音に対しては個々の音の高周波パワー比が関与している可能性が示唆された。

このような音色カテゴリーごとの特徴がN1mピーク潜時以外にも反映されているかを調べるために、解析3ではその後の極小値を与えるN1mオフセット潜時について潜時と振幅の分析を行った。その結果、vocal音及びlinear音に対するオフセット潜時はピーク潜時と同様の動態を示したが、instrumental音はvocal音同様F0依存性を持たず、F0によるN1m潜時への影響はvocal音、instrumental音、linear音の順で大きくなることがわかった。ピークからオフセットまでの長さは、F0よりもspectral envelopeの影響を受け、特にformant構造のある音は聴覚情報処理時間が延長することが示された。また、ピーク振幅は解析1同様フォルマント構造の有無による差、オフセット振幅は左右差が認められ、オフセット潜時には半球ごとに分化した処理が開始されている可能性が示唆された。

実験1より、spectral envelopeの形は事象関連電位の早期成分であるN1mに反映されることが示された。Spectral envelopeの形がlinearかnonlinearかはN1m振幅と推定された等価双極子の局在、及びN1m下降脚の長さに、nonvocalかvocalかは個々の音に対するN1mのピーク潜時の差が現れる半球(右半球のみか両半球か)、及びピーク潜時がF0依存性を持つか否かに反映されると考えられるが、このピーク潜時のF0依存性は音色カテゴリーの違いのみではなく個々の音の高周波成分の大きさも関与している可能性がある。

音色の知覚、すなわち音源の脳内表象を復号化し「聞こえた音が何の音であるか」を知覚するためには、聞こえた音と脳内で予測された音(内的モデル音)とを対応付けるパターンマッチングのプロセスが必要である。実験1の結果をはじめ、音声特異的な反応についての報告はあるが、聴覚系は音声のみならず、多様な時間的、周波数変化を伴う自然界に存在する様々な音へも対応しなければいけない。このため、音の処理は非常に効率的に行われていることが考えられ、非音声に対しても音声と類似した処理が行われていることが推測される。音声については、母国語に含まれる母音に対して現れる特異的なMMN反応は、左半球に存在する記憶痕跡を参照したマッチングの結果生じるという報告がある。そこで、実験2では非音声に対しても音声と類似したパターンマッチング機構が存在するかを調べるために、視覚刺激として2種類の長さの異なる素材(竹・金属)でできた筒を木製の小槌で叩いているように見える仮現運動画像を、聴覚刺激としてそれぞれの筒を実際に叩いた音を用いた視聴覚課題を提示した時の脳磁場を計測した。被験者は画像と音刺激が一致しているかをボタン押しで判断した。

同じ条件(AV一致、F0不一致、材質不一致、F0・材質不一致)ごとに加算平均した得られた波形のうち潜時50-200 msにおけるRMS値に対し解析を行った結果、潜時51-55msで条件間のばらつきと右半球の有意に大きい反応が、潜時81-114msで右半球の有意に大きい反応が、潜時140-150msではF0・材質不一致条件がAV一致条件より有意に大きい反応が示された。潜時50ms頃では右半球のMT野、後頭頂葉で行われる一番初期の視聴覚における相互作用が反映され、視覚刺激と聴覚刺激の一致/不一致を弁別するための前段階の処理が行われている可能性が考えられる。潜時80-114msはN1mピーク前後であるが、これは非音声に対する右半球優位の反応が示されていると考えられる。そして、潜時140-150msで示された有意差はMMN様の反応が反映していると考えられる。

実験2より、非音声に対しても音声同様なパターンマッチング処理機構が存在し、潜時150ms頃という早い段階で処理が行われていることが示唆された。このパターンマッチング機構の神経基盤として2つの可能性が考えられる。1つ目は、補足運動野や聴覚連合野を介しトップダウン入力された聴覚イメージを参照している可能性、2つ目は母国語の習得や視覚と音の対応付けなど潜在的な学習の結果としてA1に保持された音のパターンの長期記憶痕跡を参照している可能性である。

以上より、音色認知過程の初期段階である潜時100ms頃においてスペクトル情報を基にしたパターン抽出が意識前過程として行われていること、その直後の潜時150ms頃において抽出されたパターンによるマッチング処理が行われていることが示され、この処理にはA1が大きく関与していることが示唆された。また、この処理には既に音声/非音声や、音への注意の有無による違いが反映されており、早い段階から複合的な処理が行われている可能性が考えられる。しかし、聴覚伝道路の神経核のトノトピー構造による周波数選択的な処理や、A1から蝸牛外有毛細胞へと投射される蝸牛基底膜振動を制御する遠心性フィードバック機構の存在を考えると、このパターン抽出処理は皮質投射前から行われ、そのパターンを基にしたスペクトル分析が皮質投射後に行われている可能性が示唆される。この著しく早い段階からの処理機構の存在は、太古より動物たちが敵から逃れるために音色から瞬時に音源を同定する事が極めて重要であったと想像されることからも妥当であり、spectral envelopeは聞こえた音が何の音なのかを瞬時に識別するためのマーカーとして利用されてきたと考えられる。

本研究は、太古より動物たちが外敵から身を守るために用いており、現代では会話を用いたコミュニケーション時に話者の同定や単語の聞き取りを行うために必要である、音色知覚の過程における脳活動を明らかにするため、健聴被験者を対象にした計測より得られた聴性誘発脳磁界反応の解析を試みたものであり、下記の結果を得ている。

1.音のピッチを決める基本周波数(F0)と音色の静的要因であるspectral envelope以外の音響要素が全て揃うように加工した24種類の定常複合音を、無視条件下で両耳提示した時のN1mを204チャンネル全頭型脳磁計を用いて計測した。F0は成人男性・女性の声の標準値に基づき110Hz及び220Hzの2種類とし、spectral envelopeは自然音であるvocal音とinstrumental音、spectral envelopeが直線となる合成音(linear音)各4種の総計12種とした。計測されたN1mピーク潜時、振幅、等価双極子の局在を解析した結果、spectral envelopeの情報処理は潜時100ms前後で既に行われており、nonvocalかvocalかはN1m ピーク潜時がF0が高くなるほどピーク潜時が短縮するというF0依存性を持つか否かに、nonlinearかlinearか(spectral envelopeの山であるformant構造の有無)はN1mの振幅の大小と推定された等価双極子の左半球での前後方向の局在に反映され、音色カテゴリーによってN1m成分に与える影響が異なることが示された。

2.上記1で示されたvocal音に対するN1m ピーク潜時のF0非依存性が、vocal音特異的な性質であるのかを精査するために、同一カテゴリーに属する各刺激音のN1m ピーク潜時について解析を行った結果、N1m ピーク潜時は同一カテゴリー内の刺激音間でも差が認められ、spectral envelopeの傾きが小さい音で潜時が早まる傾向がみられた。ピーク潜時のF0非依存性は、従来の報告のようなvocal音に特異的なものではなく、nonvocal音に対しては個々の音の高周波パワー比が関与しうることが示された。

3.上記1及び2で示されたような音色カテゴリーごとの特徴がN1mピーク以外にも反映されているかを調べるために、その後の極小値を与えるN1mオフセットについて潜時と振幅の解析を行った。その結果、vocal音及びlinear音に対するオフセット潜時はピーク潜時と同様の動態を示したが、instrumental音に対するオフセット潜時はvocal音同様F0依存性を持たず、F0によるN1m潜時への影響はvocal音、instrumental音、linear音の順で大きくなることが示された。ピークからオフセットまでの長さは、F0よりもspectral envelopeの影響を受け、特にformant構造のある音は聴覚情報処理時間が延長することが示された。また、ピーク振幅は上記1と同様にformant構造の有無による差、オフセット振幅は左右差が認められ、オフセット潜時には半球ごとに分化した処理が開始されている可能性が示唆された。

4.音色の知覚には、聞こえた音と脳内で予測された音(内的モデル音)とを対応付けるパターンマッチングのプロセスが必要であると推測され、これに対して音声特異的な反応についての報告はなされている。しかし、聴覚系は音声のみならず、多様な時間的、周波数変化を伴う自然界に存在する様々な音へも対応しなければいけないため、非音声に対しても音声と類似した処理が行われていることが推測される。この非音声に対する音声と類似したパターンマッチング機構が存在するかを調べるために、視聴覚課題を提示し、画像と音刺激が一致しているかをボタン押しで判断している時の脳磁界反応を204チャンネル全頭型脳磁計を用いて計測した。視覚刺激として2種類の長さの異なる素材(竹・金属)でできた筒を木製の小槌で叩いているように見える仮現運動画像を、聴覚刺激としてそれぞれの筒を実際に叩いた音を用いた。同じ条件(AV一致、F0不一致、材質不一致、F0・材質不一致)ごとに加算平均した得られた波形のうち潜時50-200 msにおけるRMS値に対し解析を行った結果、非音声に対しても音声同様なパターンマッチング処理機構が存在し、潜時150ms頃の脳活動にその処理が反映されていることが示唆された。

以上、本論文は潜時約100msに現れるN1m反応の違いから、音色の静的要素であるspectral envelopeの形や傾きが重要なパターンの1つであり、このパターン抽出処理は潜時100msまでには行われていること、潜時約150ms頃の脳活動にspectral envelopeなど音の情報から抽出されたパターンを基にした聞こえた音と内的モデル音とのマッチングが反映されている可能性を明らかにした。本研究は未だ統一見解が定まっていない、音色認知の神経基盤の解明に重要な貢献をなすと考えられ、学位の授与に値するものと考えられる。