序論

　計算機を用いて制作された画像は、すでに映画やテレビなどの映像産業に欠かせないものとなっている。従来のコンピュータグラフィクスに関する研究の主な目的は、実際のカメラで撮影したものと同様に現実感のある画像を生成することであった。しかしながら、イラストレーションやセルアニメーションのような、実写とは異なる形式の画像が必要とされることも多い。そこで、計算機を用いてリアルではない画像や映像を生成する技術の必要性が認識され、盛んに研究されるようになってきた。これらの技術は、一般にノンフォトリアリスティック・レンダリングと呼ばれる。

　このような背景を踏まえ、本論文では油彩画風画像を生成する手法を提案する。一般に絵画では、奥行き感の表現やオブジェクトの描き分けが重要である。本論文では、これらの効果を実現できる手法を提案することを目的とする。また、絵画風のアニメーションについても多くの問題が残されている。絵画風アニメーションでは、オブジェクトの動きに絵筆の跡を追従させないと、シャワードア効果として知られている問題が生じることが知られている。本論文では、この問題について検討し、解決する手法を提案することを目的とする。

絵画風画像の生成手法

　油彩画や水彩画などの絵画は、紙や布などの支持体の上に絵具を配置することで描かれる。ペインティングシステムは、この工程を計算機上で行うもので、仮想的なキャンバス上にマウスなどを用いてユーザが絵を描いていく。

　これに対して、素材となる画像や映像を入力し、その素材に絵画風の効果を加えるためのシステムも考えられる。ノンフォトリアリスティック・レンダリングに関する研究で提案される手法は、このタイプのシステムが多い。このような手法を用いると、何も描かれていないキャンバスから絵画風画像を生成するのと比較して、より容易に絵画風の効果が伴った画像が得られる。

　素材に絵画風の効果を加える手法は様々なものが提案されてきた。本論文の第2章では、絵画風の効果をどのように実現するか、という観点で既存の手法を概観した。本論文では、ブラシストロークモデルを用いた手法、物理的なシミュレーションを用いた手法、および、テクスチャマッチングの3分類を採用した。

油彩画におけるタッチとブラシストロークモデル

　油彩画の中でも、モネやルノワールといった印象派の画家が描いた絵画群は今日でも人気が高い。印象派の画家は、屋外の風景など身近な対象を主題とし、光や色彩の主観的な再現を目標としていた。このような光や色彩の表現のために、筆触分割と呼ばれる新たな技法が生み出された。この技法は、原色に近い色の細かなタッチを併置する手法である。本研究では、油彩画の中でも特に印象派絵画に着目し、素材となる画像を油彩画風画像に変換する手法として、このタッチの効果を画像に加えることとした。

　実際に印象派の画家が用いたタッチを分析したところ、多くの絵画では、比較的細く短いタッチが用いられていることが分かった。このような理由から、本研究では、絵筆の一描きに相当するブラシストロークをキャンバス上に順に合成するブラシストロークモデルを採用した。またブラシストロークの形状として長方形を用いることとした。

　長方形のブラシストロークは、位置・大きさ・向き・色の各属性によって制御できる。これらの属性の決定にあたっては、画像モーメントを用いたブラシストロークの属性決定法を用いることとし、この手法について述べた。

奥行き情報を利用した絵画風画像の生成手法

　実際に絵画を描く際には、奥行きに応じて描き方を変えることで、絵画を見る人が3次元空間内でのオブジェクトの相対位置を適切に表現することが重要とされている。しかしながら、計算機を用いて単一の2次元画像から奥行きを推定することは非常に困難であり、奥行き感に富んだ絵画風画像の生成は難しかった。また、入力画像内で似た色のオブジェクトが隣接している場合、これらを別のオブジェクトとして描き分けることが重要である。しかしながら、単一の2次元画像のみを入力とする場合、画像中のオブジェクトごとに自動的に領域分割するのは困難である。

　そこで、本論文では、これらの問題を解決するために、入力として2次元画像とともに各ピクセルにおける奥行き情報を用いる。このような奥行き情報は、2枚の画像からステレオマッチング法によって計算できるほか、レンジファインダなどの機器によって直接計測することも可能であり、比較的容易に入手できるデータであると考えられる。

　本論文では以下の2点の解決法を提案する。

　第一に、奥行き感に富んだ絵画風画像を生成するために、ブラシストロークの位置における奥行きの値に応じてブラシストロークの大きさを変化させる手法を提案した。これを実現するために、画像モーメントによるブラシストローク属性の決定法を拡張し、画像モーメントを算出する際の部分領域の大きさを変化させる手法を考案した。

　第二に、奥行き情報を用いてオブジェクトを分離するために、従来の画像モーメントを用いたブラシストローク属性の決定法を拡張した。従来の手法では、似た色のオブジェクトが隣接している場合、1つのブラシストロークで近似する範囲内に2つのオブジェクトが含まれてしまい、1つのブラシストロークで近似してしまう。それに対し、描こうとしているオブジェクトの奥行きで、色の類似度を重み付けする。この手法により、色と奥行きの両方が類似している領域を算出できる。さらに、奥から手前という順序でブラシストロークを塗り重ねると、物体の輪郭を保存できることを示した。これらの手法を併用することで、似た色のオブジェクトが隣接している場合でも、奥行きの違いを利用してオブジェクトを描き分けられることが確認できた。

絵画風画像モーフィング

　絵画風アニメーションを制作する場合には、オブジェクトの動きにブラシストロークを追従させることが必要であるが、ビデオシーケンスの場合には、フレームが進行するにつれて起こるオブジェクトの動きを正確に抽出するのは難しく、そのため、オブジェクトの動きに追従できないブラシストロークが残ってしまう「シャワードア効果」として知られる問題があった。

　この解決策としては、入力された2次元ビデオシーケンス中にキーフレームを設定し、キーフレーム間でのオブジェクトの対応関係を与えて動きを記述する手法が考えられる。本章では、2枚のキーフレーム間での位置対応関係のみに限定して議論を進めた。すなわち、2枚の2次元画像と画像間の位置対応関係を入力とする絵画風アニイメーションである、絵画風画像モーフィングについて議論した。これは、2枚の2次元画像と位置対応関係を与えて、ある画像から別の画像へと連続的に変化するアニメーションシーケンスであり、シーケンス中の全てのフレームが絵画風画像となっているものである。

　本手法は、絵画風画像モーフィングを生成する際の、次の2つの問題点を解決するものである。

　第一に、フレーム間のコヒーレンシーを維持するために、シーケンスを通してブラシストロークの属性が連続的に変化することが望まれる。そこで、シーケンスの中間において格子状に配置されたサンプリング点を、第一フレームと最終フレームにおけるサンプリング点に写像し、その位置で入力画像をサンプリングしブラシストローク属性の組を生成する。シーケンス中のフレームでは、このブラシストローク属性の組を補間したブラシストロークを用いることで、連続的に変化するモーフィングシーケンスが生成できる。

　第二に、各フレームはブラシストロークの大きさの順に塗り重ねるのが望ましいが、ブラシストロークの大きさはフレームごとに変化するために、ブラシストロークを塗り重ねる順番が入れ替わってしまい、ポップアップと呼ばれる現象が生じてしまう。この問題を解決するために、ブラシストロークを3次元空間内に傾けて配置する手法を提案した。このようにすることで、大きさの近いブラシストロークは空間的に干渉するため、大きさが小さくなるブラシストロークが手前に出てくる際に、キャンバス上にブラシストローク全体がある瞬間に突然出現する可能性が低くなる。この結果、大きい面積を持つ領域が突然描かれるポップアップを軽減できる。

結論

　第2章で既存の絵画風画像の生成手法を概観し、第3章で印象派絵画の特徴とそれを実現するためのブラシストロークモデルについて述べた。第4章で、奥行き感のある画像を生成したり、似た色で隣接しているオブジェクトを分離して描くために、奥行き情報を利用する手法を述べた。第5章で、絵画風のアニメーションを生成する際の問題点を検討し、その解決策について提案した。ここでは特に、2つの2次元画像と画像間の位置対応関係を入力とする絵画風アニメーションである、絵画風画像モーフィングについて議論した。

　これまでのコンピュータグラフィクスでは仮想空間を対象とした写実的な描画法が一般的であった。しかし、近年では映像表現の多様性に対する要求から、テクニカルイラストレーションや芸術作品などを描くための非写実的描画技術が必要とされている。本論文は、現実風景を入力として印象派の油彩画風画像を出力する映像作成法について考察し、新たな技術を開発・提案したものである。

　本論文は全6章から構成されている。まず第1章において、コンピュータグラフィクスにおける絵画風画像への社会的要求や技術課題などを指摘している。第2章では、絵画風画像生成に関する既存の手法を比較検討し、ブラシストロークモデル、物理シミュレーション、テクスチャマッチングの3種に分類するとともに、各手法の特徴を明らかにしている。

　第3章は、ブラシストロークモデルの優位性を確認するとともに、本論文の背景技術について説明している。印象派絵画の特徴としては、現実世界に即した主題、ならびに原色に近い細かなタッチによる筆触分割が挙げられる。このことから本論文では、印象派風の画像を生成する手法として、長方形形状のブラシストロークの集合を構成するモデルが適していることを指摘している。さらに、長方形のブラシストロークの属性を、入力画像から算出される画像モーメントによって自動的に決定する手法が示されている。この手法は論文提出者が新規に開発したものであり、以降の章で提案される新技術の基礎となっている。

　第4章では絵画風画像の奥行感と複数物体の描き分けについて議論している。実際の絵画においても奥行感や複数物体の描き分けは重要な要素であるが、単なる2次元画像が入力される場合には非常に困難である。そこで、3次元スキャナやステレオマッチングなどで獲得できる奥行画像の利用を提案している。奥行画像とは各ピクセル値が対象までの奥行距離を表す画像であり、これを風景画像と組合せて利用するというものである。ブラシストロークの大きさを奥行距離に合わせて制御することで奥行感を実現し、さらに奥行と色の両方の情報をもとに物体を分離し、奥から手前という描画順序によって物体を描き分けることに成功している、

　5章では、絵画風の動画像生成のうち、全フレームが絵画風画像からなる絵画風画像モーフィングについて考察している。絵画風画像の生成で良質な結果を得るためには、一般の絵画の描き方と同じく、大きなブラシストロークを先に、小さいものを後に、という描画順序が必要である。しかしながらこの描画順序に対する要求は、絵画風の動画像におけるフレーム間でのブラシストロークの連続性の要求とは、相反する性質をもっている。本論文では、この2つの相反する要求のために生ずる現象、すなわち、大きなブラシストロークが突然に出現する現象をポップアップと名づけ、その確認と定量的な解析を行なった後、それを除去ないし軽減する手法を提案している。この手法では、本来は2次元図形であるブラシストロークを3次元形状として扱い、3次元空間内で傾斜して配置してから描画する。本論文では多数のフレームについて、画像差分量を評価値として傾斜割合に関する詳細な評価実験を行ない、この方式の有効性を示すとともに、最適な傾斜割合についての理論的な考察を行なっている。最後に結論として、第6章で上記の各章で示された知見や技術について整理している。

　以上のように本論文は、現実風景から印象派風の画像を生成する際の問題点を指摘するとともに、それらの問題点を解決する新たな技術の開発に成功しており、高く評価できる。特に第5章の絵画風画像モーフィングは、これまでにない新しい課題であり、ポップアップ現象の確認とその解決法を示したことは、本論文の独創性と先進性を表す証左の一端とみなすことができる。したがって、本審査委員会は博士(学術)の学位を授与するにふさわしいものと認定する。