ディジタルスチルカメラ(DSC)は高解像度化と同時に機能の多様化が進み、今日では、その機能の1つとして動画記録が一般的となっている。撮像素子が高解像度になるほど読み出しにかかる時間が長くなるため、動画記録の場合は間引き読み出しが行われる。しかし、単純な間引きは折返し歪を生じ、ジャギーなどの画像劣化の原因となる。

従来、DSCで記録される動画の画像サイズは、静止画と比べて非常に小さいものであった。次第に画素数やフレームレートが大きくなりつつあり、近年ではVGAでビデオレートの動画記録が可能な高解像度のDSCも登場した。これらのDSCは、CCD上において画素混合が行われている。画素混合とは、隣接する複数の画素値をCCD上で加算することである。読み出す画素数を半分にすることで、読出し時間を半分にしている。また、単純な間引きと比べて、折返し歪を減少させる効果がある。ただし、単板式撮像素子ではカラーフィルタアレイが用いられるため、カラーフィルタ上で同色の画素同士を混合する。

間引きも画素混合も行わない通常読み出しの場合、CCDから読み出されたデータはデモザイキング処理が行われ、全ての画素にR、G、Bの揃ったカラー画像が作成される。デモザイキングとは、カラーフィルタアレイによって欠落した色成分を補間する処理である。画素混合が行われる場合、CCDから読み出された画像はデモザイキング処理を経て、通常読み出し時よりも小さいサイズで記録される。

デモザイキングに関しては、偽色の低減や鮮鋭度の向上を目的とした多くの研究が行われている。線形補間などの一般的な補間手法を基にし、エッジの保存や色相関の性質を考慮して改良された手法が多い。偽色とは、白黒の細線部などの周囲に赤や青などの色がにじんで見える現象であり、単板式撮像素子に固有の問題である。色相関とは、局所的な範囲では3色の色信号間に強い相関が存在する性質である。

本論文では、さらに高解像度の動画記録を目的とし、反復法を用いた画素混合の復元手法を提案する。画素混合は情報を捨てないため、単純な間引きと比べて良好に復元されると考えられる。しかし、これまでは、画素混合の復元について検討されていなかった。また、デモザイキングとの統合、偽色を抑制するための後処理についても併せて述べる。さらに、撮像素子側の処理として、劣化の少ない画素混合方式と、そのCCDにおける実現方法を提案する。また、出力側の処理として、撮像画像を直接圧縮するための圧縮手法について論じる。

まず、画素混合の復元手法について述べる。画素混合の復元は、0次補間、線形補間などの一般的な補間手法によって行うことができる。しかし、失われた高周波成分が復元されないため、鮮鋭度が失われ、ジャギーなどの劣化が生じやすい。そこで、高周波成分を復元するため、超解像法のひとつであるLandweber反復法を適用する。画素混合は平滑化に相当するため、失われた高周波成分を復元する超解像的手法を適用することができる。Landweber反復法は、gを入力する劣化画像、fを復元される出力画像とし、劣化作用素Aとその共役作用素Tを用いて次式で表される。〓画素混合の復元に適用するために、劣化モデルAとして、画素混合とCCDに付けられている光学LPFを併せて考慮する。g、fはそれぞれ画素混合画像と復元画像を表すものと考える。初期画像として、画素混合画像の線形補間を用いる。ただし、上式の計算は、R,G,B画像について独立に行う。

画素混合の復元を行った場合、復元画像からのデモザイキングは、復元による誤差が拡大しやすい。そこで、復元とデモザイキング処理を統合し、同時に行う。上に示した反復法による復元は、劣化モデルを変更することで、画素混合画像からの復元とデモザイキングの同時処理に適用することができる。劣化作用素Aを画素混合+カラーフィルタによるサブサンプリング+光学LPFの操作とし、fをデモザイキング画像として適用する。

偽色を抑制するための後処理の必要性について以下に示す。反復法による復元は、各色画像ごとに独立して計算を行い、色相関を考慮していない。光学LPFには、折り返し歪みの抑制と偽色の低減の効果があるが、ベイヤ配列のカラーフィルタは再現可能な周波数帯域がR、BとG画像で異なる。そのため、反復法によって復元される周波数帯域が異なり、偽色が再び生じると考えられる。そこで反復法で得られたデモザイキング画像に対して、色相関を用いた後処理を行う。

後処理は、R,B画像のそれぞれの画素において縦，横方向の相関値を求める。そして、相関の高い方向に関するハイパスフィルタをG画像に施し、得られた値をR,B画像に加える。これは、エッジの保存と色相関を考慮している。G画像は後処理を行わず、反復法によるデモザイキング画像をそのまま用いる。

実験は、標準画像、サーキュラゾーンプレート、DSCのRAW出力画像を用いて行った。RAW出力画像とは、デモザイキング前の画像を非圧縮で出力した画像である。画素混合、復元、デモザイキングは計算機上で行った。比較のために、0次補間、線形補間を用いて混合前の画像を復元し、従来の手法によってデモザイキングを行った画像も作成した。また、原画像と比較したデモザイキング画像の平均2乗誤差を計算した。

実験の結果、0次補間を用いた画像はジャギーが目立ち、線形補間を用いた画像は鮮鋭度が低くなった。反復法を用いた結果、ジャギーが目立たず鮮鋭な画像が得られ、後処理によって偽色が低減した。平均2乗誤差については、反復法を用いた手法は、補間手法を用いた場合よりも誤差が小さく、後処理によってさらに小さくなった。

次に、劣化の少ない画素混合方式について述べる。垂直画素混合は、3色とも2行下の画素との混合である。これはG画像において最近傍の同色画素との混合ではないため、劣化が余分に生じると考えられる。そこで、G画像について斜め下の画素と混合する斜め画素混合を提案する。斜め画素混合を行った画像に対して復元を行うと、従来の垂直画素混合の場合よりも良好な結果が得られる。

CCD上で斜め画素混合を行う手法として、インターライン型CCDに対して、偶数行の画素は右側の垂直CCDに読み出し、奇数行の画素は左側の垂直CCDに読み出すように改良する。この改良により、Gだけを転送する垂直CCDとR,Bを転送する垂直CCDに分離される。そして、Gの垂直CCD上で隣接するデータを混合し、R,Bの垂直CCD上で1つおきのデータを混合すると、Gの斜め画素混合とR,Bの垂直画素混合を行うことができる。

さらに、CCDの駆動方法の改良も必要である。垂直CCDにおいて、4行のうち2行の入れ替えを行い、R,Bの垂直画素混合を行う。入れ替えは、垂直CCDに読み出すタイミングをずらすことで行うことができる。垂直CCDを制御する電極は、すべての列で共通であり、列ごとに異なる制御を行うことができない。このため、Gの列も同様に入れ替えを行う。

さらに、列ごとに異なる行同士で混合を行うために、最下行においてGの垂直CCDだけ1行分タイミングを遅らせる。そして、水平CCDに転送するときに2行ずつ混合を行うと、Gの列だけ1行上の行同士が混合され、列ごとに異なる行での混合を行うことができる。Gの列だけ1行分タイミングを遅らせるためには、例えばGの垂直CCDの最下行に1行追加する手法が考えられる。これらの改良により、Gの斜め画素混合とR,Bの垂直画素混合を同時に行うことができる。

次に、撮像画像を直接圧縮するための圧縮手法について述べる。従来のDSCにおいては、デモザイキング画像にJPEG圧縮を施し、メディアに記録する。デモザイキングはデータ量を増やすため、JPEG圧縮における処理量が大きくなる。また、JPEG圧縮は通常YUV色空間で行い、色差成分U、Vに対して間引きを行っている。これは、デモザイキングによる補間後に間引くという点で、効率が良くないと考えられる。そこで、デモザイキング前に圧縮して記録し、解凍後にデモザイキングを行う方式を論じる。これは高速処理が可能になるという利点があるが、圧縮によって生じる劣化が、補間によって拡大するという欠点がある。そのため、適切な圧縮率を選択する必要がある。

デモザイキング前の画像は1画素につき1色しか持たないため、通常の画像圧縮手法をそのまま適用することができない。そこで、デモザイキング前の画像に対して、各色毎にグレー画像としてJPEG圧縮する手法と、近傍のRGB3画素をまとめてカラー画像とし、残りの1画素（G画像）をグレー画像としてJPEG圧縮する手法を検討する。実験の結果、これらの手法は圧縮率を大きくするとデモザイキング画像の平均2乗誤差が大きくなるが、視覚的には劣化の目立ちにくい画像が得られることが分かった。

本論文では、画素混合画像に対する復元とデモザイキング手法を提案し、有効性を確認した。また、劣化の少ない画素混合方式とCCDにおける実現方法を示した。さらに、デモザイキング前に画像圧縮を行うことが高速処理のために有効であることを示した。これらによって、単板式撮像素子において撮像される動画の高解像度化が可能であることを示した。

本論文は、「単板式撮像素子における圧縮読み出しからの復元に関する研究」と題し、6章よりなる。現在のデジタルスチルカメラ（DSC）では、広く単板撮像素子が用いられている。その多画素化に伴い、動画像出力にあたっては画素混合と呼ばれる手段により、同色の画素の平均をとりサイズの小さな画像を出力することが行われる。なお、単板撮像であるため、カラーフィルタアレイが用いられ、さらに動画出力のための画素混合を行い同色の色を平均することから、著しいサブサンプリングが行われ、画像を拡大すると著しい画質劣化が生じている。本論文では、従来からのカラーフィルタの復元問題をさらに推し進め、カラーフィルタと画素混合の両者の組み合わされた劣化の復元について論じている。また、ベイヤ配列のカラーフィルタに対し、復元のために望ましい画素混合手法についても解析している。さらに、JPEGにて圧縮保存した画素混合データに対する復元処理についてもその特性を評価している。

第1章は「序論」であり、本論文の目的、論文の構成について述べている。進展著しいDSCに関して、その撮像過程、カラーフィルタを用いた単板撮像素子の仕組み、画素混合による動画出力などの最近の技術の特徴についてまとめている。

第2章は、「関連研究の概要」と題し、本論文に関わる関連の技術のサーベイを行っている。CCD上で行われる画素混合技術に関しての詳細、カラーフィルタアレイでの単板撮像画像に対する色の補間技術であるデモザイキング技術に関する技術動向、超解像などの画像復元技術に関して論じている。

第3章は、「画素混合の復元とデモザイキング」と題する。まず、画素混合画像からの復元を行うために、撮像過程のモデル化を行い、光学ローパスフィルタの存在、カラーフィルタとしてのベイヤ配列，画素混合での劣化のモデル化を行っている。画素混合の効果をテスト画像に対し確認し、復元手法として、線形補間と反復復元を提案している。そして、反復復元では、デモザイキングと画素混合の復元を統一的に扱うことができることを示している。さらに、偽色の除去のために、色相関を用いた後処理も提案した。以上の手法を、DSCによる実データおよびHDTVの標準動画像に対して適用し、提案手法が有効であることを評価している。

第4章は、「斜め画素混合」と題し、画素混合手法について論じている。現在の画素混合は、Ｇ画素については最も近い画素どおしの混合とはなっておらず、大きな劣化を許容している。本論文の主題のように、画素混合前の大きさに復元するためには、より適切な画素混合の方式が望ましい。そこで、Ｇ画素については、斜め位置にあるもの同志を混合することでより劣化の少ない効果的な画素混合が可能となることを提案した。シュミレーションにより斜め画素混合からの復元の評価も行っている。さらに、具体的にCCD上での電荷読み出しの操作手順を明示し、実現可能な方式であることを確認している。

第5章は、「デモザイキング前のJPEG圧縮」と題し、DSCシステムに本手法を組み込む場合のJPEG圧縮との組み合わせについての問題について論じている。通常のDSCでは、データ量を抑えるために、デモザイキング後にJPEG圧縮が行われる。本論文での復元処理は計算量を必要とするため、DSCの外で行うとした場合、JPEGを効果的に利用するためには、画素混合の画像へ適用する必要がある。その場合には、復元処理はJPEG圧縮された画素混合データに施すこととなる。以上の仮定の下で、画素混合画像にJPEGを施してから、復元を行う処理の評価を行い、JPEG後にも良好な復元が行えることを示した。

第6章は、「結論」であり、本論文の成果と今後の課題をまとめている。

以上これを要するに、本論文では、デジタルスチルカメラの新しい特徴である動画出力において必要とされる画素混合処理を施した画像に対し、劣化モデルに基づく復元手法を導いたものである。さらに、復元にとって望ましい画素混合手法についても論じるとともに、デジタルスチルカメラにとって望ましいJPEG圧縮との組み合わせの効果についても評価検討している。本論文は、画素混合画像に対する復元を初めて論じたものであり、画像工学へ寄与することが期待され、基盤情報学への貢献が少なくない。

従って、博士（科学）の学位を授与できると認める。