学位論文要旨詳細

学位論文要旨


No		126139
著者（漢字）		坪下,幸寛
著者（英字）
著者（カナ）		ツボシタ,ユキヒロ
標題（和）		ヒステリシスを有するニューロンで構成されたニューラルネットワークによる漸次的な情報抽出
標題（洋）		Graded Information Extraction by Neural Networks with Hysteretic Neurons
報告番号		126139
報告番号		甲26139
学位授与日		2010.03.24
学位種別		課程博士
学位種類		博士(科学)
学位記番号		博創域第556号
研究科		新領域創成科学研究科
専攻		複雑理工学専攻
論文審査委員		主査：　東京大学　教授　岡田,真人　東京大学　教授　山本,博資　東京大学　教授　深井,朋樹　東京大学　教授　杉田,精司　東京大学　准教授　國廣,昇
内容要旨		要旨を表示する 1.はじめに情報検索では, しばしば文書の内容を単語の集合で近似する. この文書の内容を特徴づける単語のことをキーワードと呼ぶ. 従来の自動キーワード抽出[1] では, 文書内に現れる単語を, "重要度"により定量化し, その重要度順にキーワードとする. しかし, 個々の文書には, 著者それぞれの癖や考え方, 単純なミスにより, バイアスやノイズが含まれている. 単純に個々の文書に着目した重要度では, そのようなノイズやバイアスを取り除くことはできない. そこで本研究では, 個々の単語をニューロンに対応させたニューラルネットワークの非線形力学系に着目する. ニューロン間の結合は, 様々な分野の文書テンプレートがそれぞれアトラクタとなるように設定する(図1 左側). 初期状態の活性パターンとして, 入力文書を設定し, 単純に従来のHopfield型連想記憶を適用すると, 初期状態依存性がないために, 文書テンプレートそのものが読みだされてしまう(図1 左側). 初期状態の文書の特徴を残し, ネットワークに蓄積された情報を反映させる手法として, 我々は, 入力の履歴効果を持つ漸次的持続活性(Graded Persistent Activity, GPA)[3]を連想記憶に導入することを提案する(図1 右側). 本研究では, GPAを再現する神経機構モデルとして, ニューロンがヒステリシスを有するネットワーク(Hysteretic Neuron Network, HNN)に着目する.[4] 2.キーワード抽出に基づく文書検索に対する適用 HNNが初期入力を反映した, キーワード抽出を実現していることを確認するため, 共起性に基づく単語のネットワークに双安定ニューロンモデルを適用した[5]. GPAとして読み出された単語群は, 初期状態として表現された文書の意味内容を適切に表すキーワード群となっていることを確認した. しかしながら, 双安定ニューロンでは, 2値の出力しか表現できないため, キーワード抽出性能を劣化させている可能性があった. そこで, 次に, GPAが単一細胞レベルで生成されるという報告[6] に関連して提案された多安定ヒステリシスニューロンモデル[7],[8] をHNNに適用した[9]. 文書はそれぞれの単語のその文書に対する相対的な重要度で定義されたベクトルとして表現できる[1]. すなわち, 文書は, となる. ここで, は, 単語の文書における相対的な重要度である. 質問文も同様にしてベクトルに変換できる. 質問文に対する単語の相対的重要度をとすると質問文のベクトル表現は, となる. 文書の質問文に対する適合性は. この二つのベクトルの類似度(例えばコサイン)によって評価できる. 単語ネットワークは, 共起性に基づいて構築した. このようなネットワークは, それぞれの分野の文書集合の平均(テンプレート)が, アトラクタとなると考えられる. 各単語に多安定ヒステリシスニューロン[7],[8] を, 各単語間のリンクにシナプス結合を対応させ, 単語ネットワーク内で活性伝播を行わせる. すなわち, 質問ベクトルに対して、単語の初期値は、で定義され、修正質問ベクトルは, 活性伝播の収束状態として与えられる. 様々なダイナミクスにより活性伝播を行わせた場合の検索精度の違いを検証した. 比較を行ったのは, 次の3つのモデルである。 i) 線形活性伝播モデル(LSA: Liner Spreading Activation model): Pageにより提案されたPersonalized PageRankに用いられている手法として知られている[10]. 質問ベクトルを, ネットワークに常に外力として入力し続けることにより, 質問文依存の情報抽出を実現している[11]. ii) 双安定ニューロンモデル(BSA: Spreading Activation with Bistable neuron dynamics): 双安定ニューロンで構成されたネットワークダイナミクス[5] を用いて質問文ベクトルを修正した. iii) 多安定ヒステリシスニューロンモデル(MSA: Spreading Activation with Multi-hysteretic neuron dynamics): 多安定ヒステリシスニューロンで構成されたネットワークダイナミクスを用いて質問文ベクトルを修正した. この三つの活性伝播と, ベースラインとして質問ベクトルをそのまま利用した場合(BL: Base Line)を加え, 性能比較をおこなった結果を図2に示す. このように, 多安定ヒステリシスニューロンモデル(MSA)を用いた場合が, Personalized PageRank(LSA), および双安定ニューロンモデル(BSA)を用いた場合と比較して, 高い平均精度を示した. この結果は, 多安定ヒステリシスニューロンを用いたHNNがキーワード抽出に有効であることを例証する. 3.ダイナミクスの理論的考察次に, HNNの生成するGPAの物理的な状態を明確化し, 系のアトラクタに与える影響を定量的に把握するために, HNNのダイナミクスの理論的考察を行った. HNNはボルツマン分布に従わないため, 系はエネルギー関数を持たない. そのため, 通常の平衡統計力学を適用することができない. 本研究では, マスター方程式を出発点とする動力学的な解析を行った. まず, HNNが生成するGPAが, 物理的にはどのような状態であるかを明確にするため, Hushimi-Temperly モデルにおいて解析を行った. ヒステリシス特性によって, 系は, 強い強磁性的傾向を見せ, 緩和時間が非常に遅い連続領域が形成された. HNNが生成するGPAとは, この連続領域内で状態変化が非常に遅いために, 有限時間内で, 連続不動点として観測される現象であると考えられる. この連続不動点は, 温度T=0の極限では, 中立安定なアトラクタとなる. 次に, 代表的な離散アトラクタモデルとしてHopfield連想記憶モデル[2]を取り上げ, HNNのアトラクタに与える影響を調査した[12]. 記憶パターン数がニューロン数に対してO(1)の場合の巨視的状態方程式を求め, 相関パターン [13] を記憶した場合の, 混合状態[14] , および, 記憶パターンの安定性を調査した. その結果, ヒステリシス特性は, 系の全てのアトラクタの熱ノイズに対する安定性を向上させるが, 相図の定性的構造には影響を与えなかった. 4.まとめ本研究で得られた知見は次のとおりである. (1)HNNは, それぞれの初期入力(文書, 質問)に対して, ネットワークの構造を反映したキーワードを抽出する. (2)緩和時間が非常に遅くなる連続領域が生成される. HNNが生成するGPAとは, 統計力学的には, 状態の変化が非常に遅いために, 有限時間内では連続不動点として観測される現象であると考えられる. (3)系に存在する全てのアトラクタの熱ノイズに対する安定性を増大させるが, アトラクタの定性的な構造は変化させない. 文書検索課題では, 熱ノイズは考慮されていない. すなわち, 温度T=0.0 の極限における結果である. HNNはT=0.0 の極限において, ヒステリシスの大きさに比例した中立安定な連続領域を生成する. これが初期状態依存性を発生させていると考えられる. [1] Salton, G., &. McGill, M. J. (1983). Introduction to Modern Information Retrieval, New York: McGraw-Hill.[2] Hopfield, J. J. (1982). ProNAS, 79, 2554-2558.[3] Romo, R., Brody, C. D., Hernandez, A., & Lemus, L. (1999). Nature, 399 470-473.[4] Aksay, E., Gamkrelidze, G., Seung, H. S., Baker, R., & Tank, D. W. (2001). Nature Neurosci., 4, 184-193.[5] Koulakov, A. A., Raghavachari, S., Kepecs, A. & Lisman, J. E. (2002). Nat. Neurosci., 5, 775-710.[6] Tsuboshita, Y., & Okamoto, H. (2007). Neural Networks, 20 705-713.[7] Egorov, A. V, Hamam, B. N., Fransen, E., Hasselmo, M. E. & Alonso, A. A. (2002). Nature 420, 173-178.[8] Goldman-Rakic, P. S. (1995). Neuron 14, 477-485.[9] Loewentein, Y. & Sompolinsky, H. (2003). Nat. Neurosci. 6 961-967.[10] Teramae, J. & Fukai, T. (2005). J. Comput. Neurosci. 18, 105-121.[11] Fransen, E., Alonso, A. A. & Hasselmo, M. E. (2002). 1 Neurosci. 22, 1081-1097.[12] Tsuboshita, Y., & Okamoto, H. (2009). Neural Networks, 22, 922-930.[13] Page, L., Brin, S., Motwani, 'R., & Winograd, T. (1998). Stanford Digital Library Technologies Project.[14] Anderson, J., R., Pirolli, P., L. (1984). 1 Exper. Psychol.10, 791-798.[15] Wang, X.-J. (1999). 1 Neurosci., 19, 9587-9603.[16] Tsuboshita, Y., & Okada, M., (2010), to be published from J. Phys. Soc. eTpn, 78 (2).[17] Amari, S., (1977). Biol. Cybern., 26, 175-185.[18] Amit, D.J., Gutfreund, H., & Sompolinsky, H. (1987). Phys. Rev. A, 35,, 2293-2303. 図1 左側: 連想記憶右側: 漸次的持続活性図2 テストコレクションMedline 1033 (ftp://ftp.cs.cornell.edu/pub/smart/med/) 付属の30の質問課題に対する平均精度(MAP: Mean average precision) [1] の比較.
審査要旨		要旨を表示するヒステリシスを有するニューロンで構成されたニューラルネットワーク(Hysteretic Neuron NetWork,HNN)は,神経生理学的発見である漸次的持続活性(Graded Persistent Activity,GPA)を説明する神経回路モデルとして近年注目を集めている.本論文では,初期状態の特徴を残し,ネットワークに蓄積された情報を反映させる手法として,入力の履歴効果を持つGPAを連想記憶に導入することが提案されている.本論文の目的は,次の二点である.すなわち,1)HNNを情報検索に適用した場合の工学的な有用性を検証する.2)HNNの抽出する情報の性質を理論的に解析する.本論文の二章,三章では,HNNの情報検索への適用について述べられている.四章,五章では,HNNに対する統計力学的な手法による理論解析について述べられている.さらに,六章では,HNNの行う情報抽出とベイズ推定との関係が議論されている. 本論文の導入では,まず,情報検索における自動キーワード抽出の課題について述べられている.情報検索では,しばしば文書の内容を単語の集合で近似する.この文書の内容を特徴づける単語のことをキーワードと呼ぶ.従来の自動キーワード抽出では,文書内に現れる単語を"重要度"により定量化し,その重要度の順にキーワードとする.しかし,個々の文書には,著者それぞれの癖や考え方,単純なミスにより,バイアスやノイズが含まれる.単純に個々の文書に着目した重要度では,そのようなノイズやバイアスを取り除くことはできない.本論文では,この問題を解決するため,個々の単語をニューロンに対応させたニューラルネットワークの非線形力学に着目している.ニューロン間の結合は,様々な分野の文書テンプレートがそれぞれアトラクタとなるように設定される.初期状態の活性パターンとして,入力文書を設定し,単純に従来のHopfield型連想記憶を適用すると,初期状態依存性がないために,文書テンプレートそのものが読みだされる.初期状態の文書の特徴を残し,ネットワークに蓄積された情報を反映させる手法として,本論文では,入力の履歴効果を持つGPAを連想記憶に導入することが提案されている.さらに,本論文では,GPAを再現する神経機構モデルとして,HNNに着目している. 本論文の第二章,第三章では,情報検索における研究課題の一つである文書からのキーワード抽出にHNNを適用した事例について述べられている.まず,HNNが初期入力を反映した情報抽出を実現していることを確認するため,共起性に基づく単語のネットワークに双安定ニューロンモデルを適用した事例について述べられている.GPAとして読み出された単語群は,初期状態として表現された文書の意味内容を適切に表すキーワード群となっていることが確認されている.さらに,2値の出力しか表現できない双安定ニューロンモデルの欠点を解消するため,GPAが単一細胞レベルで生成されるという報告に関連して提案された多安定ヒステリシスニューロンモデルをHNNに適用している.さらに,既存の文書検索テストコレクションを用いて,Personalized PageRankなどの線形的な活性伝播を用いた従来技術との定量的な比較実験が行われている.多安定ヒステリシスニューロンモデルを用いた場合が,Personalized PageRank,および双安定ニューロンモデルを用いた場合と比較して,高い性能を示すことが確認されている.この結果は,多安定ヒステリシスニューロンを用いたHNNがキーワード抽出のような,初期入力を反映した情報抽出に有効であることを例証する.脳科学から得られたニューロンモデルをこのように工学的に応用して実用性を示した研究は他に例がない. 本論文の第四章,第五章では,HNNの生成するGPAの物理的な状態を明確化し,系のアトラクタに与える影響を定量的に把握するために,HNNのダイナミクスの統計力学的解析が行われている.HNNはボルツマン分布に従わないため,系はエネルギー関数を持たない.そのため,通常の平衡統計力学を適用することができない.本論文では,マスター方程式を出発点とする動力学的な解析が行われている.まず,HNNが生成するGPAの物理的状態を明確にするため,Hushimi-Temperlyモデルにおいて解析が行われている.ヒステリシス特性によって,系は強い強磁性的傾向を見せ,緩和時間が非常に遅い連続領域が形成されることが理論的に示されている.この知見に基づき,本論文では,HNNが生成するGPAとは,この連続領域内で状態変化が非常に遅いために,有限時間内で,連続不動点として観測される現象であると考察がなされている.次に,代表的な離散アトラクタモデルとしてHopfield連想記憶モデルを取り上げ,HNNのアトラクタに与える影響が調査されている.記憶パターン数がニューロン数に対してO(1)の場合の巨視的状態方程式が求められ,相関パターンを記憶した場合の,混合状態,および,記憶パターンの安定性が議論されている.その結果,ヒステリシス特性は,系の全てのアトラクタの熱ノイズに対する安定性を向上させるが,相図の定性的構造には影響を与えないという知見が得られている.また,連想記憶の記憶容量がヒステリシス特性によって変化しないことが計算機実験によって示されている.これは,ヒステリシス特性によって系の記憶容量が増加するという従来の報告を覆す発見である. 本論文の第六章では,HNNによる情報抽出と,ベイズ推定との関連性が議論されている.ネットワークのリンク情報を事前知識,そして,推定すべきキーワードの劣化情報を入力と定義し,事後分布としてキーワードを推定する問題として定式化が行われている.さらに,抽出すべき理想のキーワード群が,ネットワークリンクを相互作用とした強磁性的Ising模型のBoltzmann因子に従って生成されるものと仮定した場合の平均性能が,統計力学的手法の一つであるレプリカ法を用いて理論的に導出されている.さらに,平均性能は,入力とアトラクタとの中間状態で最大となることが示されている.この結果から本論文では,HNNによって生成されるGPAのような中間状態が,情報科学的に有用な状態であることが示唆されている. 以上のように,本論文は,HNNに対する応用的な側面,理論的な側面から多くの新たな知見を獲得することに成功している.これらの研究は,HNNを用いた情報抽出の工学的な実用性を示唆しており,様々な情報検索課題への適用性を考察する上での足掛かりとなることが期待される. なお,本論文第二章,第三章は岡本洋と,第四章,第五章,第六章は,岡田真人との共同研究であるが,論文提出者が主体となって解析,実験及び検証を行ったもので,論文提出者の寄与が十分であると判断する. したがって,博士(科学)の学位を授与できると認める.
UTokyo Repositoryリンク