脳の情報処理様式に着目して直観的情報処理や柔軟な学習機能を工学的に実現しようとするニューラルネットワーク技術は実用化研究の段階に入りつつある。その中でニューラルネットワークのダイナミックスに基づく連想メモリーは、学習によって記憶構造が自動的に形成され高速な連想が実現できることから高度な知識情報処理装置のキーデバイスとしてその実用化が期待されている。1980年代中頃から半導体集積回路によるニューラルネットワークのLSI化に関する研究が行われるようになり、様々な回路方式のニューラルネットワークLSIが提案・試作されているものの未だ実用化されているものは少ない。特に大規模な信号フィードバックがある連想記憶ニューラルネットワークに関しては、情報のコード化により離散時間で演算処理を行う従来のバイナリデジタル回路方式ではネットワークの緩和過程を繰り返し演算で表現する必要があり演算処理量が膨大となる結果、数百から数千程度の処理並列化では実用的なネットワーク規模の連想メモリーデバイスを実用化するのに不十分である。一方、アナログ回路方式によれば少ない素子数で高い情報密度の処理回路が構成でき演算機能とメモリー機能を一体とした完全並列処理回路構成によってフィードバック信号の相互作用を実時間で表現することで高い集積度と共に極めて高い演算処理速度が実現できるが、アナログ集積回路においては素子の微細化が進むに従って素子特性バラツキが増大し演算精度が劣化して連想性能が顕著に低下する問題があり大規模な連想記憶アナログニューラルネットワークLSIの実用化を阻む大きな障害となっている。そこで我々は、アナログニューラルネットワークLSIの優位性を保ちつつ演算精度劣化の問題を克服するために学習機能をチップ上に集積化する研究を行った。学習機能をチップ上に実装することは、連想メモリーとしての記憶過程が高速に実行可能になると同時に、オンチップ学習機能による素子特性バラツキの補償を実現して素子の微細化に伴う連想性能の低下を防ぎ、高集積で大規模な連想記憶アナログニューラルネットワークLSIを実現可能とする。

　まず、計算機シミュレーションによって連想メモリーの機能表現に最低限必要なシナプス荷重値精度が6bit程度であることを明らかにし、実際に試作されたバイナリデジタル回路方式ニューラルネットワークLSIを6bit精度に換算して我々が試作したアナログ回路方式ニューラルネットワークLSIとの回路面積および速度性能を比較した。その結果、アナログ回路方式LSIの方が集積度で約300倍、処理速度で約500倍優位であることが確認された。しかし、連想記憶アナログニューラルネットワークLSIの連想性能は、素子特性バラツキが3%を超えると徐々に低化しはじめ、ゲート長が0.3〜0.4mレベルになると急速に劣化することが計算機シミュレーションによる評価で明らかになった。そこでチップ上に学習機能を設けた場合の連想性能を計算機シミュレーションによって評価した結果、学習による自己補償機能により素子特性バラツキが30%程度までは高い性能を維持できることが確認できた。また素子微細化に伴う素子特性バラツキの程度を予測して学習機能を搭載した連想記憶アナログニューラルネットワークLSIの素子微細化限界を評価した結果、デジタルLSIの微細化限界と同程度の、最小線幅0.15mレベルまでの微細化が可能であることが見積もられた。

　チップ上に学習機能を搭載することで素子特性バラツキのみならず回路の非線形特性に対しても自動補償機能が働くと予想されることから、学習回路を簡略化して学習機能の高集積実装が可能になると考えられる。そこで、アナログ量のシナプス荷重値をキャパシターの蓄積電荷量で表現しチャージポンプ回路による荷重値修正回路とその修正指示パルス信号を発生する簡単な論理回路で学習回路を構成した、極めてコンパクトな学習機能実装シナプス回路を提案した。またニューロン回路については、その属性と教師データを任意に設定でき学習時にその属性と学習フェーズに従ってニューロンの出力を教師データあるいは入力に基づく状態値か選択制御する学習機能を備えた回路構成を提案した。これら学習回路における簡略化された学習ルールや荷重修正回路の非線形特性などの学習性能へ与える影響を計算機シミュレーションによって評価した結果、学習の収束時間が約2倍程度遅くなるものの、学習性能や連想性能には顕著な劣化を生じないことが確認された。また提案したシナプス荷重値表現回路は、トランジスターを飽和領域で動作させる回路構成によって、電源電圧が±10% 変動してもシナプス荷重値は3%以内の変動に抑えられることを回路シミュレーションによって確認した。これら提案した学習回路構成を採用することで学習機能を搭載した連想記憶アナログニューラルネットワークLSIは、0.15mレベルで1チップに数千万シナプスを集積し数百テラ(10¹²)CPS(Connections Per Second)の処理速度に到達できることが見積もられた。

　提案した学習回路を採用して実際に3種類の連想記憶アナログニューラルネットワークLSIを試作し基本性能を評価した。まず1.0mCMOS,2層ポリSi,2層金属配線プロセス技術を用いて、125ニューロンと10Kシナプスを集積した学習機能搭載アナログニューラルネットワークLSIを試作した。次に、複数のチップ同士を接続してネットワーク規模を拡張できるマルチチップ拡張機能を実装した、336ニューロンと28Kシナプスを集積した学習機能搭載LSIを試作した。更に、0.8mCMOS,2層ポリSi,2層金属配線プロセス技術を用いて、シナプス荷重値の高速リフレッシュ機能を実装した400ニューロンと40Kシナプスを集積した学習機能搭載LSIを試作した。試作したこれらのチップは全て連想記憶ニューラルネットワークを構成しており、テストパターンによる学習機能および連想機能の評価によって、ニューロン数の10%〜13%に相当する数のパターンを記憶できることが確認された。また、室温における学習パターンの記憶保持時間は数100ms程度であり、学習に要する時間のほぼ100倍程度の期間は記憶が保持できることが確認された。またニューロンの出力信号波形観測によってニューロンの反応時間を測定した結果、シナプス結合演算処理速度は1×10¹²CPSに達していることが確認された。これら試作したニューラルネットワークLSIの集積規模および処理速度は世界最高性能レベルである。

　複数のチップを接続して更に大規模なネットワークを実現するために、ニューロン機能分散表現マルチチップ拡張方式とそのチップアーキテクチャーを提案した。このマルチチップ拡張方式は同一のニューロン機能を各チップで分散表現する回路構成を用いて接続配線数を半減すると共に拡張接続による速度性能の劣化を招かない特長を有している。実際に試作したマルチチップ拡張機能搭載アナログニューラルネットワークLSIを用いて2チップ拡張ネットワークを構築し拡張性能を評価した結果、チップ間の素子特性バラツキによるニューロン回路特性の不一致や、チップ間接続線間に寄生する抵抗、容量、インダクタンスなどの不良因子は、各チップの学習機能によって自動的に補償されることが確認され、数百チップまでの拡張が可能であることが明らかになった。また、ニューロンの信号波形を観測して拡張接続するチップ数によらず各ニューロンの反応時間が一定であったことから、拡張接続によりスピード性能の劣化が生じないことを確認した。その結果このマルチチップ拡張システムの演算速度性能は、拡張接続するチップ数に比例して向上することが期待できることになる。そこで、18チップまで搭載可能なニューロボードを試作し、18チップを拡張接続して構成された1000ニューロン、100万シナプスのニューラルネットワークで連想性能を評価し20×10¹²CPSの演算速度と数百パターンを記憶できることを確認した。

　高集積化のために採用したシナプス荷重値のキャパシターによるダイナミックストレージ方式の揮発問題を克服するためにマクロリフレッシュ方式を提案した。このリフレッシュ方式は、記憶したパターン毎に全シナプスを並列にリフレッシュ操作しリフレッシュに要する時間を記憶したパターン数に比例するようにしたことから、シナプス数に比例する従来のリフレッシュ方式に対してシナプス数の1/2乗に比例した時間でリフレッシュすることが期待でき、大規模なニューラルネットワークに対して特に有効となる。またこのマクロリフレッシュ方式は、リフレッシュ制御専用のサブネットワークと学習制御信号の変調回路を付加するだけで実現することができ、各シナプスには何ら回路を付加する必要が無いことから、シナプス回路の占有率が高い大規模なニューロチップほどリフレッシュ機能搭載時の回路面積増加率を小さく押えられる効果がある。試作したリフッレシュ機能搭載アナログニューラルネットワークLSIのリフレッシュ性能を評価した結果、200ms毎にリフレッシュ操作を繰り返した場合に10倍以上の保持時間延長ができることが確認された。

　これら一連の研究によって、高集積化および大規模並列処理に優れた連想記憶アナログニューラルネットワークLSIは、学習機能をチップ上に実装することで素子特性バラツキを補償し連想性能および動作マージンを高められることが実証された。そしてチップ上に実装した学習機能によって将来、従来のデジタルLSIと同様に素子の更なる微細化に対しても十分に高い信頼性と拡張性を確保できることが見積もられた。

　脳の情報処理様式に着目して高度な情報処理機能を工学的に実現しようとするニューラルネットワーク技術は実用化研究の段階に入りつつある.その中でニューラルネットワークのダイナミックスに基づく連想メモリーは,学習によって記憶構造が自動的に形成され高速な連想記憶が実現できることから高度な知識情報処理装置の基本技術としてそのLSI化が期待されている.

　このようなLSI化の試みの中で,アナログ回路方式の連想記憶ニューラルネットワークLSIは集積度と連想速度で優れているものの演算精度と動作マージンの低さがその実用化を阻んでいる.

　本論文は,学習機能をアナログ集積回路上に実装することによって,高集積化および大規模並列処理に優れた連想記憶アナログニューラルネットワークLSIを実現したものであり,「学習機能を搭載した連想記憶アナログニューラルネットワークLSIに関する研究」と題し,7章よりなる.

　第1章は「序論」で,本研究の背景と目的について述べている.

　第2章は「ニューロ連想メモリーデバイスの高集積化」と題し,学習機能をチップ上に搭載することの有効性について論じている.まず,アナログ回路方式の連想記憶ニューラルネットワークLSIは,デジタル回路方式と比べて集積度で約300倍,処理速度で約500倍優位であることを見積もっている.また,連想記憶アナログニューラルネットワークLSIの連想性能は素子特性バラツキが3%を超えると徐々に低化しはじめ,ゲート長が0.3〜0.4mレベルになると急速に劣化することを計算機シミュレーションによる評価で明らかにしている.そして,チップ上に学習機能を実装した場合の連想性能は,学習による自己補償機能によって素子特性バラツキが30%程度までは高い性能を維持できることを確認している.その結果,学習機能を搭載した連想記憶アナログニューラルネットワークLSIは最小線幅0.15mレベルまでの微細化が可能であると見積もっている.

　第3章は「学習機能を搭載したニューラルネットワークの高集積化」と題し,学習機能を高集積に実装するための回路構成について論じている.チップ上に学習機能を搭載することで素子特性バラツキのみならず回路の非線形特性に対しても自動補償機能が働くことから,学習回路の簡略化による高集積化が可能と考え,チャージポンプ回路による荷重値修正機能とその修正指示パルス信号を発生する簡単な学習制御回路で構成する極めてコンパクトな学習機能装備シナプス回路を提案している.また,属性と教師データを任意に設定できる学習機能装備ニューロン回路も提案している.そして,これら簡略化された学習回路に基づく学習性能を計算機シミュレーションによって評価し,顕著な劣化を生じないことを確認している.また提案したシナプス表現回路が電源電圧±10%変動に対して荷重値変動を±3%以内に抑えられることを回路シミュレーションによって確認している.これら提案した学習回路構成によって学習機能を搭載した連想記憶アナログニューラルネットワークLSIは,0.15mレベルで1チップに数千万シナプスを集積し数百テラCPS(Connections Per Second)の処理速度に到達できると見積もっている.

　第4章は「学習機能搭載ニューロチップ」と題し,試作した3種類の学習機能搭載アナログニューラルネットワークLSI,すなわち1.0mCMOS,2-Ploy,2-Alプロセス技術を用いて試作した125ニューロンと10Kシナプスを集積した学習機能搭載ニューロLSI,マルチチップ拡張機能を実装し336ニューロン・28Kシナプスの学習機能搭載ニューロLSI,更に,0.8mCMOSプロセスを用いて高速リフレッシュ機能を実装し400ニューロン・40Kシナプスの学習機能搭載ニューロLSIについて述べている.そして試作したチップでのテストパターンによる学習および連想機能の評価によって,処理速度は1テラCPSに達しており,ニューロン数の10%〜13%に相当する数のパターンを記憶できることを確認している.また,室温における記憶保持時間は数100ms程度であり,学習に要する時間のほぼ100倍程度の期間は記憶を保持できることを確認している.

　第5章は「マルチチップ拡張機能搭載ニューロチップ」と題し,ネットワーク規模を拡張するためのマルチチップ拡張機能について論じている.すなわち,ニューロン機能を分散表現するマルチチップ拡張方式を提案し,実際にチップを接続して拡張性能を評価し,数百チップまでの拡張が可能であることを確認している.また,拡張接続するチップ数によらず各ニューロンの反応時間が一定であり拡張接続によるスピード性能低下がないことを,そして,18チップを拡張接続したニューロボードを試作し,1000ニューロン,100万シナプスのニューラルネットワークを構成して20テラCPSの演算速度と数百パターンを記憶できることを確認している.

　第6章は「記憶情報リフレッシュ機能搭載ニューロチップ」と題し,シナプス荷重値の高速リフレッシュ方式について論じている.シナプス荷重値のキャパシターによるダイナミックストレージ方式の揮発問題を克服するためにマクロリフレッシュ方式を提案している.このリフレッシュ方式は,記憶したパターン毎に全シナプスを並列にリフレッシュ操作することから,シナプス数の1/2乗に比例した時間でリフレッシュすることが期待でき,大規模なニューラルネットワークに対して特に有効となる.またリフレッシュ機能を搭載することによるチップ面積増加率もネットワーク規模の増大に伴い少なくなる.試作したチップでリフレッシュ機能を評価し,200ms毎のリフレッシュ操作で10倍以上の保持時間延長ができることを確認している.

　第7章は「総括」と題し,本研究で得られた一連の結果について総括している.

　以上を要するに,本論文は,集積度と連想速度で優位なアナログ回路方式による連想記憶ニューラルネットワークLSIに学習機能を高集積実装する研究を行ない,学習機能を搭載することで素子特性バラツキを補償でき連想性能および動作マージンが高められることを実証したものである.よって本論文は博士(工学)の学位請求論文として合格と認められる.