The recent rapid popularization of digital cameras allows people to capture a large number of digital photographs easily, and this situation makes automatic avoidance and correction of ``failure'' photographs important. While exposure and color issues have been mostly resolved by the improvement in automatic corrective functions of cameras, defocus, motion, and camera shake blurs can be handled only in a limited fashion by current cameras. Camera shake blurs can be alleviated by an anti-camera shake mechanism installed in most cameras; but for focus, although a particular scene depth can be focused with an auto-focus function, objects at different depths cannot be captured sharply at the same time. Moreover, defocused images can often result due to the failure of auto-focusing. In addition, blurs caused by object motion, i.e., motion blurs, are only avoided by increasing the shutter speed and sensor sensitivity when cameras detect motions in a scene.

This dissertation proposes a method for removing defocus and motion blurs for digital cameras. Since deblurring is generally an ill-posed problem, and hence an image processing approach alone has limitations, the proposed method includes modifications of camera optics. In this regard, this dissertation pursues low cost implementation, aiming at applications to consumer products. That is, small modifications to existing cameras or mechanisms that can be directly derived from existing ones will be adopted.

For removal of defocus blurs, a method is proposed for estimating the defocus blur size in each image region by placing red, green, and blue color filters in a camera lens aperture. As captured image will have depth-dependent color misalignment, the scene depth can be estimated by solving a stereo correspondence problem between images recorded with different wavelengths. The depth is directly related to the defocus blur size, and deblurred images can be produced by deconvolving each region with the estimated blur size. The modification requires only inexpensive color filters.

For motion blur removal, this dissertation proposes to move the camera image sensor circularly about the optical axis during exposure, so that the attenuation of high frequency image content due to motion blur can be prevented, facilitating deconvolution. The proposed method may be implemented using a sensor-shift system of an anti-camera shake mechanism. The frequency domain analysis of the circular sensor motion trajectory in space-time shows that the degradation of image quality is equally reduced for all objects moving in arbitrary directions with constant velocities up to some predetermined maximum speed.

Moreover, this dissertation proposes a method for speeding up deconvolution computation for efficient deblurring. Deconvolution quality is known to be improved by taking into account derivative distributions of natural images. While existing methods take time to repeat derivative and convolution operations, the proposed method achieves similar image quality with 1/10 computation time by taking derivatives beforehand and by working in the gradient domain.

In addition, a set of intuitive user interfaces are provided with which the user can interactively change the focus settings of photographs after they are captured, so that she/he can not only obtain an all-in-focus image but also create images focused to different depths. In the case where only photographs captured with conventional cameras are available, the proposed interface provides the means to estimate blur in a user-assisted manner.

近年のデジタルカメラの普及により、誰もが容易かつ大量にデジタル写真を撮影することができるようになってきた。こういった大量の写真の中には、「失敗」写真も多く、これらの「失敗」写真の自動回避、自動修正が重要な課題となってきている。本論文は、こういった「失敗」写真の自動修正の一環として、失敗の代表例である、焦点ボケとモーションボケの除去法を提案したものであり、「SINGLE-SHOT IMAGE DEBLURRING WITH MODIFIED CAMERA OPTICS(カメラ光学系の加工による単一画像からのボケの除去)」と題され、5章からなり英文で書かれている。

第1章は、「Introduction(序論)」と題され、研究の動機づけや問題の定義、関連研究、ならびに本論文の寄与などを述べている。

第2章は、「Image Processing Approach to Image Deblurring (画像ボケへの画像処理的アプローチ)」と題され、カメラ光学系の加工をせずに事後の画像処理のみでボケ除去を提案している。画像を先に微分しておいた輝度勾配空間で逆畳み込み処理を行う高速逆畳み込みや画像中の一様でないボケを扱う局所ボケ推定方などの手法を提案し、これを利用してユーザーの介在を受けながら撮影後に写真の焦点設定を対話的に変更できる手法を提案している。

第3章は、「Defocus Blur Removal using a Color-Filtered Aperture (色フィルターアパちゃーを利用した焦点ボケ除去)」と題され、カメラのレンズ開口部に赤緑青の色フィルターを挿入し、奥行きに応じた色ずれからステレオマッチングの手法を適用して、画像の領域ごとに距離を推定し、ボケを修正した画像を生成する手法を提案している。

第4章は、「Motion Blur Removal using Circular Sensor Motion (センサーの回転運動によるモーションボケ除去)」と題され、露光中にカメラの撮像センサーを光軸に垂直に円運動させることにより、モーションボケによる画像の高周波成分の減衰を低減し、逆畳み込みによるボケの除去を容易にする手法を提案している。

第5章は、「Conclusions and Future Work (結論と残された問題)」と題され、本論文のまとめと今後の研究の方向性について述べている。

以上これを要するに、本論文は、デジタルカメラの焦点ボケとモーションボケの除去法を 画像処理により処理した後にユーザーの介在で修正する手法、カラーフィルターの挿入により焦点ボケを除去する手法、センサーの回転運動によりモーションボケを除去する手法などを手案しており、コンピュータ科学上貢献するところが大きい。

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる。