従来,信号処理の分野において,ノイズは信号を阻害するものであり,除去すべきものであるという認識が広く持たれてきた.コンピュータビジョンの分野においても,画像や映像のノイズ除去は黎明期から積極的に研究されてきたトピックであり,今日においてもなお重要な課題の1つとして扱われている.

一方,ノイズをただ排除するのではなく,ノイズの特性に着目し,積極的に利用することを目指す研究が近年注目されてきている.微小信号とノイズの振る舞いに関する研究は天文学の分野で興り,その後物理・化学・生物分野においても同様の研究が報告されている.

このような背景を踏まえ,本研究では画像や映像を対象としたノイズ特性の推定とその応用を目指す.先に述べたように,コンピュータビジョンの分野においても画像や映像に含まれるノイズの解析は伝統的な研究分野であるが,その多くはノイズ除去に関する研究であった.しかし,画像や映像の取得の背景には物理的・光学的な特性が隠れている以上,信号処理の過程で含まれるノイズの特性には信号に関する有益な情報が含まれていると考えられる.本研究では物理的ノイズと計測誤差なる起源を異にする2種類のノイズを対象とし,各ノイズに関してその特性を推定し,応用することを目指す.いずれのノイズも信号や推定値の精度を悪化させる原因ともなるが,その振る舞いを正しくモデル化し,特性を推定することにより,取得した画像や映像の理解に役立てることができることを示す.

まず1つ目のノイズとして,物理的なノイズに着目した応用例を提案する.具体的には固定カメラで撮影された映像を対象とし,ノイズレベル関数と呼ばれる画素値の平均と分散を結ぶ関係式を改ざんの手がかりとして,映像内の改ざんを検出する手法を提案する.提案手法は与えられた映像からノイズ特性を求め,各領域のノイズレベル関数を推定する.ノイズレベル関数はカメラや撮影時のパラメータに依存するため,ノイズレベル関数の一貫性を評価することによって他の映像から貼り付けられた領域を検出することができる.

はじめに静止シーンの仮定の下で提案手法の基本的な有効性を検証する.静止シーンでは各画素の時間方向の輝度変動はノイズのみに起因するので,時間方向に平均と分散を計算し,各画素のノイズ特性を求めることによりノイズレベル関数を推定することができる.改ざん箇所のノイズ特性はノイズレベル関数の推定において外れ値として振舞うため,ロバスト推定を用いて推定を行う.推定された関数からある閾値以上離れたノイズ特性をもつ画素は改ざんと見なすことができる.しかし,ロバスト推定は決定論的な関数の推定手法であるため,判別境界付近の画素を正しく検出することが難しい.そこで次に,ノイズ特性の確率的なモデルを仮定し,最尤推定の枠組みを用いた推定手法を提案する.改ざんの有無を潜在変数とする混合分布モデルを導入し,EMアルゴリズムを用いて改ざんの事後確率とノイズレベル関数の推定を同時に行うことにより,確率的に改ざんの確率を推定する.

続いて移動物体への対応を目指し,提案手法を拡張する.移動物体の場合,実空間において対応する点を追跡しながら分散を計算する必要があり,単純な時間方向の計算によってノイズ特性を求めることができない.しかし,前景の移動物体を画素精度で追跡することは技術的に困難であるので,領域的な追跡によってノイズ特性を求めるアプローチを取る.固定カメラを仮定すると,背景のノイズレベル関数は静止シーンと同様に求めることができる.空間的な分散にはノイズとテクスチャの成分が含まれるが,ノイズの成分は背景のノイズレベル関数から推定することができる.よって,残ったテクスチャの成分の時間的な一貫性を検証することにより,ノイズ特性の一貫性を検証することができる.

次に2つ目のノイズに対する応用例として,計測誤差に起因するノイズの特性と伝播に着目して,アルゴリズムの推定精度を向上させることを目指す.コンピュータビジョンのアルゴルズムの多くは用いる値の一部を既知と仮定し,実際の実験では予め校正により値を求めておく.しかし,現実的には校正にも誤差が混入し,アルゴリズムの推定値にも影響を与えるが,一般に校正誤差の影響はアルゴリズムには組み込まれていない.本研究では照度差ステレオからの形状復元に着目し,照明方向の校正誤差を考慮した形状復元の手法を提案する.照度差ステレオの多くは照明の方向を予め別の手法によって校正しておくが,光源方向の推定にも誤差が生じるため,その影響は推定された形状の法線や復元形状にも伝播する.

ノイズを考慮した形状復元の手法はこれまでに研究されてきているが,これらの手法は勾配に対して正規ノイズが混入した確率モデルを仮定し,最尤推定の枠組みで3次元形状を復元する.しかし,勾配に対するノイズモデルは経験的な仮定であり,また勾配は遮蔽輪郭線において発散するため,有限精度の計算機には不適である.一方,本研究では光源方向の校正誤差にもとづく確率モデルを導入し,校正誤差が物体形状の推定に与える影響を検証する.単位ベクトルである光源方向や法線の揺らぎを球面上の正規分布であるフィッシャー分布によってモデル化する.フィッシャーノイズモデルにもとづく最尤推定を用いた形状復元の手法を提案し,校正誤差を考慮することによって形状復元の精度を向上させることを目指す.

以上のように,本研究では異なる特性を持つノイズを対象としながらも,そのノイズ特性を推定することにより,画像・映像の理解や計算精度の向上に役立てることができることを示す.長年に渡ってノイズ除去の手法が研究されている一方,ノイズ除去には物理的・技術的限界がある以上,本研究で提案するノイズの積極的な活用は,情報処理の新たな方針を与えるという点で重要であると言える.

本論文は「画像・映像理解のためのノイズ特性推定とその応用」と題し,カメラで取得した画像や映像のノイズ特性を推定し,有効に利用する枠組みを提案したものであり,全体で7章により構成されている.

第1章「序論」では,本研究の背景として,本研究が着目するノイズの特性とその有効性について触れ,論文で提案する物理ノイズおよび計測誤差の2種類のノイズの特性に着目した応用例の概要について述べている.

第2章は「ノイズ特性の一貫性にもとづく映像の改ざん検出」と題し,映像の真正性評価を目的としたノイズ特性の応用手法についての概要が述べられている.まず,研究の背景として近年のデジタルデータに対する真正性評価の重要性について触れ,続いて本論文が提案する静止シーンおよび動的シーンに対するノイズ特性を手がかりとした改ざん検出手法の概要を述べている.次に電子透かしや改ざん検出といった既存の真正性評価手法を紹介し,提案手法の位置づけと利点を整理している.

第3章「静止シーンの改ざん検出」では,静止シーンを対象とした改ざん検出の手法が提案されている.本研究では改ざんの手がかりとして映像に混入するノイズの特性の一貫性に着目し,ノイズ特性をノイズレベル関数として記述している.静止シーンの仮定のもとでは各画素のノイズ特性が画素値の時間的な平均と分散の関係として記述されることを示し,ノイズレベル関数を推定する手法が提案されている.ここで,改ざん映像では異なるノイズ特性が混在して観測されることから,ノイズレベル関数の推定問題を混合確率分布モデルとして表現し,確率モデルを用いた推論によって改ざんの確率を推定している.実験室環境および屋内外で撮影された映像から作成された改ざん映像に対して検証実験を行い,画素単位で改ざんの確率が推定できることが示されている.

第4章「動的シーンの改ざん検出」では,前章で提案された改ざん検出の手法の動的なシーンへの拡張について述べられている.移動物体を含む動的シーンでは,静止シーンの場合とは異なり各画素の時間的な平均と分散からノイズ特性を求めることができないため,領域的な追跡によってノイズ特性を求める枠組みを提案している.ここで,領域的な分散を計算すると,ノイズによる分散の他に陰影やテクスチャによる分散の成分が混在するため,各成分を分離する処理が追加されている.改ざんの手がかりとしては,分離されたテクスチャの分散と輝度の間にある関係性に着目し,その振舞いから改ざんの度合いを評価している.人工映像および実映像に対して提案手法を適用し,動的シーンにおいてもノイズ特性が改ざんの指標として有効であることが示されている.

第5章は「計測誤差を考慮したアルゴリズムの提案」と題し,計算機科学全般における誤差の取り扱いについて整理している.特に実験の事前処理である校正に混入する誤差がアルゴリズムの推定精度に与える影響について言及し,校正誤差を考慮したアルゴリズムを構築することによって推定精度を向上させることができると主張している.ここで提案する枠組みの具体的な事例として,照度差ステレオにおける光源方向の校正誤差が復元された形状誤差に与える影響について論じている.照度差ステレオから推定された勾配から3次元形状を復元する既存手法の問題点を指摘し,校正誤差を考慮した形状復元手法の枠組みを提案している.

第6章「光源方向の校正誤差を考慮した照度差ステレオからの形状復元」では,前章で提案された形状復元手法の詳細を述べている.提案手法は,照度差ステレオで事前に校正される光源方向と推定される物体の法線が3次元単位ベクトルであることに着目し,単位ベクトルに対する回転的な揺らぎを記述するフィッシャー分布によってこれらの値の誤差モデルを構築する手法を提案している.提案手法の妥当性を示すため,光源方向の校正値と照度差ステレオから推定された法線の角度誤差を解析し,それぞれフィッシャー分布で記述されることが示されている.また,フィッシャーノイズモデルにもとづく3次元形状復元の手法を提案し,人工画像および実画像を用いた照度差ステレオに対して提案手法を適用することによって,本研究が提案する校正誤差を考慮したアルゴリズムの有効性が示されている.

第7章「結論」では,研究全体を総括し,論文で提案された手法の貢献をまとめた上で,今後の課題と展望について議論している.

以上これを要するに,本論文では,データに混入するノイズの特性に着目し,その特性を正しくモデル化・推定・応用することにより,ノイズを映像の改ざん検出や照度差ステレオによる形状復元に有効に利用する枠組みを提案するものであり,電子情報学上貢献するところが少なくない.

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.