本論文では、人間の演奏から楽譜を自動的に書きおこす自動採譜、及び、人間の演奏に合わせて伴奏を演奏する自動伴奏、の2つの音楽情報処理技術について論じる。自動採譜は音楽コンテンツの制作の支援、楽譜の浄書、音楽情報検索のために用いられ、また、自動伴奏は楽器練習や演奏支援システムに用いられる等、両者とも様々な用途への応用の可能性があり、高性能化への要請が大きい。

　自動採譜も自動伴奏も、テンポやミスタッチ等の変動を含む人間の音楽演奏を対象にした推定問題である。実際、人間の演奏には、演奏者の意図や無意識に行われる振る舞いによりテンポやリズム等が変動する。本研究は、演奏者の演奏の生成過程を確率的にモデル化し、このモデルを用いてMAP(最大事後確率)推定を行うことで自動採譜の重要な課題であるリズム認識や自動伴奏に課題である楽譜追跡を実現できることを示す。

　本研究では、まず、自動採譜の主要な課題である「リズム認識」を議論する。これは、演奏された各音の長さから楽譜として記すべき拍節構造を推定する課題である。楽譜から演奏が生成される過程を確率的な生成過程と考えると、リズム認識は観測された音長から音の音価を推定する確率的逆問題として捉えられる。これは、音声認識が観測した発生した音声の信号から得る特徴量の時系列から音素というシンボル列である文章を推定する問題と同型であり、音声認識で用いられている統計による学習が可能な確率モデルによるモデルベースのアプローチをリズム認識でも有効に活用できる可能性が考えられる。音声認識との対応は、演奏された音長の変動に関する隠れマルコフモデル(hidden Markov model, HMM)でモデル化される演奏の確率モデル、及び、リズムの確率文法としてN-gram モデルでモデル化されるリズム生成モデルは、それぞれ連続音声認識の音響モデルと言語モデルに対応付けて考えられる。このことから、連続音声認識と同様の方法で、モデルの統計学習と確率モデルによる推定手法を用いて行える。

　次に、テンポが未知である場合のリズム認識は、実演奏で演奏される音長からテンポと音符が持つ長さの情報である音価の2つの要素を推定する問題となる。これは一般には、解を一意に決定的ない不良設定問題であるが、音楽的訓練を受けた者が音楽を聴いてリズムとテンポを理解できる。その理由のひとつは、音楽を聴くときに、テンポは時間に対して緩やかに変化するものと仮定しながら、音長の時系列を典型的なリズムパターンに当てはめて聞くからであると考えられる。この音楽に関する基礎的な特性を手掛かりに、リズムとテンポを確率モデルでモデル化することでリズムとテンポの同時推定を事後確率最大化推定として定式化できる。これはリズムとテンポの推定を交互に繰り返す反復計算法により解くことができる。電子ピアノによる演奏をMIDI(Musical Instrument Digital Interface) 信号により記録したMIDIファイルを用いてリズム認識の性能評価実験を行い、実際にリズム認識が有効であることを確認した。

　そして、リズム認識手法が自動採譜に応用できることを示すために、リズム認識結果に確率的手法を用いた調認識を施すことで演奏を楽譜に変換できることを、実演奏を記録したMIDIファイルを対象に確認した。

　一方、演奏曲の楽譜が未知である場合の推定問題がリズム認識であるのに対し、楽譜追跡は、演奏曲の楽譜が既知である場合に演奏されている時点での楽譜情報上の位置を推定する問題である。楽譜をもとに演奏を行う場合、実際の演奏では楽譜にない音を演奏したり楽譜にある音を演奏したりするように演奏誤りによって楽譜と演奏との対応付けは自明ではなく、また、弾き直しや飛ばしのように、演奏順序も厳密に楽譜通りであるとは限らない。このため、適切な演奏に対応する楽譜上の箇所をリアルタイムに求める問題は自明な問題ではない。本研究では、演奏誤りや演奏順序を確率的にモデル化し、楽譜追跡を確率的に最も尤もらしい演奏位置を求める問題として定式化し、解いた。実際に実演奏に対して評価を行い、その有効性を検証した。

　この楽譜追跡は、自動伴奏に応用できる。合奏を行う場合のように演奏曲の楽譜が演奏も伴奏も既知である場合は、演奏者の演奏箇所がリアルタイムに分かれば、それに合わせて伴奏させる事が可能であり、その結果、テンポ変動やミスタッチ、弾き直しを含む演奏者の自由な演奏に追従する自動伴奏システムを実現できる。実際に、楽譜追跡に演奏者に追従する伴奏再生処理を加え、伴奏システムを実現し、システムとして動作することを確認した。

　以上から、演奏の生成過程を確率モデルでモデル化し、与えられた演奏に対するMAP推定を行うことで、リズム認識及び楽譜追跡が行えることを論じ、これを用いて自動採譜と自動伴奏が実現できることを実証した。

　本論文では、人間の演奏から楽譜を自動的に書きおこす自動採譜、及び、人間の演奏に合わせて伴奏を演奏する自動伴奏、の2つの音楽情報処理技術について論じている。

　第一章では、序論として自動採譜と自動伴奏の重要性と従来の研究について記述している。自動採譜は音楽コンテンツの制作の支援、楽譜の浄書、音楽情報検索のために用いられ、また、自動伴奏は楽器練習や演奏支援システムに用いられる等、両者とも様々な用途への応用の可能性があるなど、著者は本論文で扱われている課題の重要性を主張している。

　第二章では、自動採譜や自動伴奏に関連する演奏者の演奏のモデル化に関する従来の研究を整理している。

　第三章では、本研究における基本的指針である人間の音楽演奏生成過程を確率的に扱うことで、自動採譜や自動伴奏を実現する枠組みについて論じている。自動採譜も自動伴奏も、テンポやミスタッチ等の変動を含む人間の音楽演奏を対象にした推定問題である。実際、人間の演奏には、演奏者の意図や無意識に行われる振る舞いによりテンポやリズム等が変動する。本研究は、演奏者の演奏の生成過程を確率的にモデル化し、このモデルを用いてMAP(最大事後確率)推定を行うことで、自動採譜の重要な課題であるリズム認識や、自動伴奏の課題である楽譜追跡を実現できることを示している。

　第四章では、自動採譜の主要な課題であるリズム認識を議論している。本論文では、演奏された各音の長さから楽譜として記すべき拍節構造を推定する課題をリズム認識としている。楽譜から演奏が生成される過程を確率的な生成過程と考えると、リズム認識は演奏として観測された音長から音の音価を推定する確率的逆問題として捉えられる。これは、音声認識が、観測した音声の信号から得る特徴量の時系列から音素というシンボルの系列である文章テキストを推定する問題であるのと同型であり、音声認識で用いられている、統計による学習が可能な確率モデルによるモデルベースのアプローチを、リズム認識でも有効に活用できる可能性が考えられる。音声認識との対応は、演奏された音長の変動に関する隠れマルコフモデル(hidden Markov model, HMM)でモデル化される演奏の確率モデル、及び、リズムの確率文法としてn-gram モデルでモデル化されるリズム生成モデルは、それぞれ連続音声認識の音響モデルと言語モデルに対応付けて考えられる。このことから、連続音声認識と同様の方法で、モデルの統計学習と確率モデルによる推定手法を用いて行える。

　第五章では、テンポが未知である場合のリズム認識を論じている。この問題は、実演奏で演奏される各音符の音長から、音価(音符の楽譜上の長さ) とテンポ(演奏速度)の2つの要素を同時に推定する問題と捉えられる。これは、一般には解を一意に決定できない不良設定問題であるが、音楽的訓練を受けた者ならば音楽を聴いてリズムとテンポを理解できる。その理由の一つは、音楽を聴くときに、テンポは時間に対して緩やかに変化するものと仮定しながら、音長の時系列を典型的なリズムパターンに当てはめて聞くからであると考えられる。このような、音楽に関する基礎的な特性を手掛かりに、リズムとテンポを確率モデルでモデル化することでリズムとテンポの同時推定を事後確率最大化推定として定式化できる。これはリズムとテンポの推定を交互に繰り返す反復計算法により解くことができる。電子ピアノによる演奏をMIDI(Musical Instrument Digital Interface) 信号により記録したMIDIファイルを用いてリズム認識の性能評価実験を行い、実際にリズム認識が有効であることを確認した。さらに、テンポが楽曲中に突然変化するような場合も、事後確率最大の解として音価とテンポが同時推定できること、および収束が保証される反復解法アルゴリズムを導いた。

　第六章では、リズム認識手法が自動採譜に応用できることを示している。リズム認識結果に確率的手法を用いた調認識を施すことで演奏を楽譜に変換できることを、実演奏を記録したMIDIファイルを用いて確認した。

　第七章では、楽譜追跡について論じている。楽譜追跡とは、演奏曲の楽譜が既知である場合に演奏されている時点での楽譜情報上の位置を推定する問題である。楽譜をもとに演奏を行う場合、実際の演奏では楽譜にない音を演奏したり楽譜にある音を演奏したりするように演奏誤りによって楽譜と演奏との対応付けは自明ではなく、また、弾き直しや飛ばしのように、演奏順序も厳密に楽譜通りであるとは限らないため、楽譜追跡技術が必要とされている。本研究では、演奏誤りや演奏順序を確率的にモデル化し、楽譜追跡を確率的に最も尤もらしい演奏位置を求める問題として定式化し、解いた。実際に実演奏に対して評価を行い、その有効性を検証した。

　第八章では、前章で論じた楽譜追跡を用いて自動伴奏ができることを論じている。合奏を行う場合のように演奏曲の楽譜が演奏も伴奏も既知である場合は、演奏者の演奏箇所がリアルタイムに分かれば、それに合わせて伴奏させる事が可能であり、その結果、テンポ変動やミスタッチ、弾き直しを含む演奏者の自由な演奏に追従する自動伴奏システムを実現できる。実際に、楽譜追跡に演奏者に追従する伴奏再生処理を加え、伴奏システムを実現し、システムとして動作することを確認した。

　これらの成果により、自動採譜や自動伴奏の課題の本質が演奏における変動の扱いにあり、確率モデルを用いたトップダウンのアプローチにより有効な解法が与えられることを示した。特に、与えられた演奏に対するMAP推定を行うことで、リズム認識及び楽譜追跡が行えることを論じ、これを用いて自動採譜と自動伴奏が実現できることを実証した。これは、現在の音楽情報処理研究において新しい方向性を与える基礎的な成果と位置づけられると考えられる。

　よって本論文は博士(情報理工学)の学位請求論文として合格と認められる。