画像信号をはじめとする実際の信号は急峻に変化する成分を持つ非定常・非ガウス性であることから、雑音除去などのフィルタ処理には非線形ディジタル信号処理が適している。しかし、一般に非線形ディジタルフィルタは広く用いられている線形ディジタルフィルタと比較して処理が複雑であり、その実装にあたっては既存の線形信号処理を主目的としたハードウェアでは処理速度の面で問題となることが多い。また高速化のために非線形アルゴリズムの専用LSI化が必要となると、システム構成の柔軟性、ハードウェア化への開発コストといった観点から好ましくない。したがって、マルチメディア端末の各家庭・職場への普及や小型な携帯機器などへの搭載に向けて、現在用いられている信号処理専用プロセッサ(DSP:Digital Signal Processor)とコスト・消費電力などの点でほぼ同等でありながら、多様な信号処理を実現する方法を確立することが必要である。

　本研究では現在主流となっている線形ディジタルフィルタを非線形的に拡張した構造で実現される、ハードウェア化に適した非線形ディジタルフィルタの構成を提案する。次にこの非線形ディジタルフィルタの画像通信への応用例を示し、さらに既存のハードウェア技術をもとに実用レベルを踏まえた上での実装化を行う。

　図1は線形フィルタ演算が非線形関数によって接続された構成を持つ非線形フィルタで、これを非線形.線形組み合わせ型ディジタルフィルタと呼ぶ。この構成はニューラルネットワークをはじめ多くの非線形フィルタの一般型を表すものである。こうした非線形システムの設計では自由度が大きくその最適化は非常に困難である。そこで、このフィルタの基本要素を定め、この基本要素に基づいて非線形-線形組み合わせ型フィルタの構成を検討する。

　この基本要素に、信号処理において一般的に要求されるエッジを保存しながら雑音を除去する機能を持つε-フィルタを取り入れる。ε-フィルタはx(n)を入力、y(n)を出力とすると、非線形関数Fを用いて

で与えられ、非線形一線形組み合わせ型ディジタルフィルタに含まれる構成を有する。このε-フィルタ演算のハードウェア構成に着目すると図2のように表され、一般的な線形フィルタとの違いは乗算器の前段に非線形変換器Fと減算回路が入っている点だけである。したがって、広く利用されている線形フィルタ演算を行う場合には変換回路をコントロールして出力特性を線形に切り替えるだけでよいため、新たなハードウェアの追加はわずかである。この性質はDSPのアーキテクチャと同様にひとつの減算、非線形変換、積算をパイプライン化してコアを構成した場合も同様にあてはまる。このように従来の線形演算の構成に非線形演算器を拡張した構造を有するプロセッサを非線形ディジタル信号処理プロセッサと呼び、この構成で実現できるフィルタを以下での非線形一線形組み合わせ型フィルタの基本要素とする。

　この基本要素を複数用いた非線形-線形組み合わせ型フィルタとしてカスケード型・成分分離型の2通りの構成を検討する。

　まず図3に示すように前段、後段のフィルタがそれぞれ線形あるいは非線形のフィルタで接続されたCascaded Nonlinｅar(CN)フィルタを考える。非線形フィルタではカスケード接続した場合、それぞれの層で異なった働きを持たせることが可能である。例として線形歪み及び加法性ガウス雑音によって劣化した信号の推定問題を考える。従来のWienerフィルタなどのMSE(Mean Square Error)を最小化する線形フィルタでは、原信号の非定常性に関しては考慮されない。そこで、CNフィルタでは、推定問題を劣化過程の復元と雑音除去の2種類の問題と捉え、カスケード接続された2つのフィルタがそれぞれの役割を担うように設計し、急峻な変化成分を持つ信号に対しての復元特性の改善を図った。

　各段のフィルタ係数の設計にあたってはCNフィルタ全体をひとつの多層ネットワークモデルで表すことが可能であることから、Back Propagationアルゴリズムを用いた最適化手法を適用した。また非線形関数に対しては区分線形関数によって近似し、同様に学習による最適法を用いた。図4の1次元信号に対する実験結果より、信号の復元推定が非線形基本要素のカスケード構成により向上していることがわかる。

　次に、フィルタ基本要素によって信号を分離するComponent Separating(CS)フィルタの構成を考える。CSフィルタは図5(a)に示すように入力信号を非線形フィルタの出力信号とその入力信号との差分信号に分割する非線形成分分離器(NSS:Nonlinear Signal Separator)を用いて、図5(b)のように信号を複数の成分に分割し、その分割された各成分に対して異なるフィルタで信号処理を行う構造になっている。この信号成分の分離により、入力信号中に含まれる特定の成分のみの除去や保存といった信号処理が可能になる。

　図6はNSSを3層用いて信号を分離した例である。ε-フィルタの非線形関数Fに閾値型の形状を利用して信号を分離すると一定振幅以下の高周波成分の抽出が可能である。そこでNSSを図6(a)のように接続し、各NSSで抽出する振幅成分を変えると、図6(b)の各分離信号成分の出力結果に見られるように周波数のみでなく振幅の大きさにも依存した信号成分の抽出が可能である。

　以上の非線形-線形組み合わせ型フィルタの構成をもとに画像通信における3種類の応用例を提案する。

　最初に基本要素のε-フィルタをJPEG、MPEGなどの離散コサイン変換を用いて圧縮符号化された画像に生じる歪みの除去を行う方法を示す。ブロック符号化による歪みにはブロック間及びブロック内で生じる2種類の雑音があり、いずれの場合も画像の平坦領域における微小変化は目立ちやすいという視覚効果に起因して目障りなものとなっている。そこで復号された画像の局所領域における分散値から評価した雑音の大きさと処理する画素のブロック内における位置に応じてε-フィルタの非線形関数の形状を適応的に変化させ、平滑化する振幅成分の大きさを制御するフィルタを設計した。実験の結果、図7に示すように主観的評価、客観的評価の双方で大きな画質の改善が得られた。

　次にCNフィルタを用いた例として劣化した画像の復元処理法を示す。CNフィルタを構成する非線形フィルタの係数を人間の視覚効果を反映するようにフィルタ窓内での位置、入力信号値との差分値、及び局所分散の3つのパラメータに依存するように選択し、各係数の非線形関数の形状を学習させて設計した。実験より図8にみられるように、CNフィルタによってMSEの向上が確認された。また、主観的評価においては後段に非線形フィルタを接続したCNフィルタにおいて優れた結果が得られた。

　3番目の応用例は顔画像処理である。従来、通信システムにおいては送り手側の持っている情報をいかに正確に受けて側に伝えるかが性能として問われた。しかしテレビ電話、ビデオ会議などの顔画像通信システムでは、人間の心理を考慮する必要がある。すなわち、人間誰しも自分の顔をできるだけ美しくみせたいという欲求があるため、自分の顔を美観化して相手方に伝えるシステムへの需要が高まると考えられる。そこで顔画像において心理的欲求上望ましくない肌の皺やしみ、にきびや湿疹といった成分を隠すことを目的に、非線形フィルタを利用した。

　一般に顔を主体とした画像において不必要な成分は肌などの平坦部における小さな変化である。一方で、人間の自然な肌の質感には微弱な振幅成分が重要である。そこで、輪郭及び微弱な振幅の信号成分を保存しながら小振幅成分を除去するCSフィルタを設計し顔画像に適用した。また、入力画像の肌部以外の領域において歪みが加わらないことが望ましいことから、カラー入力画像に対しては肌色領域検出によって処理領域を抽出した。図9に示される実験結果から、元の顔画像の表情を十分に残しながら不必要な成分が自然に除去され、自然な顔画像の美観化が可能であることが明らかになった。

　こうした応用例から、提案した非線形フィルタ構成が画像通信の前処理および後処理の双方で有用であることを確認した。

　最後に提案した線形一非線形組み合わせ型ディジタルフィルタを、実際のディジタルカメラでの利用をふまえてDSPへの実装作業を行った。一般に携帯型ディジタルカメラ用CCDで撮影した画像では画素間の色補間処理等に伴って画像の鮮明さが失われるため、それを補正するエッジ強調処理が必要となる。そこでCNフィルタの構成を利用してエッジ強調を主な目的とした非線形フィルタを、撮影した画像データをJPEGファイルに変換するパイプライン処理部に図10に示すように導入した。

　実装にあたってはTexas Instruments社製のディジタルスチルカメラ用プロセッサTMS320DSC21の評価ボードを用いた。このTMS320DSC21はTMS320C5000シリーズのDSPとハードウェアエンジン及びコントロール用RISCを持つ低消費電力型プロセッサであり、処理能力は500MIPSである。実際のコード設計ではハードウェアエンジン部を用いることにより、フィルタ処理全体の高速化を行った。実験では画素数1280×960のCCDカメラを接続して撮影を行い、処理結果の評価を行ったところ図11の例のようにJPEGで高圧縮化された画像においても画質の鮮明化が確認された。また、全パイプライン処理に要するシャッター間スピードは約1.5秒と実用的な範囲で実現することができた。

　以上、情報・通信分野において求められる「心地よいコミュニケーション」に必要な信号処理として非線形.線形組み合わせ型ディジタルフィルタを提案し、その構成と画像通信への応用例、及びDSPによる実装例を示した。実装例に示されるように提案した非線形ディジタルフィルタは演算量を大きく増加させることなく実現可能であり、今後のマルチメディア通信において求められる多様なアプリケーションを処理する手法として有用であると期待される。

図1非線形・線形組み合わせ型ディジタルフィルタの一般型

図2 ε-フィルタのブロック構成図

図3 CNフィルタの構成

図4 CNフィルタによる実験結果　(a)トレーニング信号、(b)原信号、(c)入力劣化信号(MSE=134.8)、(d)最適線形フィルタ(MSE=187ρ)・(e)最適非線形フィルタ(MSE=97.6)、(f)CNフィルタ(NL+L)(MSE=83.1)、(g)CNフィルタ(L+NL)(MSE=74.6)、(h)CNフィルタ(NL+NL)(MSE=62.9).

図5 CSフィルタの構成(a)非線形成分分離器 (b)CSフィルタの一般型

図6 多層NSS構成の例(a)多層NSSの構成(b)多層NSSの出力結果

図7 ブロック雑音除去処理結果(a)原画像、(b)入力劣化画像(JPEG符号化bit rate=0.367bit/pixel,PSNR=33.23dB)、(c)3×3ガウシアンフィルタ(PSNR=33.61dB)、(d)提案手法(PSNR=34.00dB)

図8 画像修復処理結果(a)入力劣化画像(MS恥192.48)、(b)最適線形フィルタ(MSE=113.72)、(c)最適非線形フィルタ(MSE=104.09)、(d)CNフィルタ(NL+L)(MSE=99.38)、(e)CNフィルタ(L+NL)(MSE=95.83)、(f)CNフィルタ(NL+NL)(MSE=95.74)

図9 顔画像美観化処理結果,(a)原画像,(b)CSフィルタによる処理結果

図10 ディジタルカメラ用パイプライン処理のブロック構成図

図11 TMS320DSC21EVMによって撮影されたJPEG画像(a)フィルタ処理を含まないパイプラインでの処理結果(b)CNフィルタによる処理を含むパイプラインでの処理結果

　本論文は、「Nonlinear Digital Signal Processing Oriented for Hardware Implementation and Its Applications to Image Communication」(和訳:ハードウェア化に適した非線形ディジタル信号処理とその画像通信への応用)と題し、7章からなる。非線形ディジタルフィルタは画像、音声といった突発的な変化を含む非定常性を持つ信号に対し、非線形性、適応性、不確実性を伴った信号処理に適している。本論文は、モバイル技術の発展に伴って一層求められるハードウェア化に適した非線形信号処理を論じ、マルチメディア情報通信環境におけるアプリケーションと実装法について示したものである。

　第1章は「序論」で、非線形ディジタル信号処理の特徴を述べるとともに、その実用化に対しての問題点を指摘・分析することで、本研究の目的と意義を明らかにしている。

　第2章は、「非線形一線形組み合わせ型ディジタルフィルタの提案とそのハードウェア構成」と題し、非線形ディジタルフィルタの一般型とその構成要素のハードウェア構成を述べている。一般に非線形ディジタルフィルタは線形フィルタと比較して構成が複雑であり、その実装はコスト面から困難である。ここでは非線形ディジタル信号処理の構成にあたってε-フィルタ、Ranked-orderフィルタの2つのフィルタを構成要素として採用する手法を提案している。また、それぞれのフィルタを実現する新しいハードウェア構成を示し、現状の信号処理プロセッサに小規模な回路の追加によって実装可能であることを明らかにしている。

　第3章は、「カスケード型非線形ディジタルフィルタ」と題し、フィルタ構成要素をカスケード接続した構造を有する非線形フィルタを提案している。線形歪み及びガウス性白色雑音によって劣化した信号の復元においては、劣化原信号成分の復元及び雑音除去の2種類の処理が求められる。本フィルタはこれらの処理をカスケード接続されたフィルタそれぞれにおいて分離して行うことにより、非定常性信号の復元特性が改善することを述べている。さらに各フィルタパラメータの最適化手法を提案し、1次元信号に対するシミュレーションから突発的な変化の復元に適した性質を有することを実証している。

　第4章は、「成分分離型非線形ディジタルフィルタ」と題し、フィルタ構成要素を用いて信号成分を分離して、各成分を独立に処理するフィルタ構成に述べている。フィルタ処理においては特定の信号成分のみの抽出、保存、除去がしばしば求められる。本フィルタによって信号成分を従来線形フィルタで実現される周波数領域の分離のみならず、信号の振幅等にも依存した信号分割を行うことを提案し、広い周波数領域、エッジ部、信号の突端部など特定の性質をもつ部分での雑音除去に有効であることを明らかにしている。

　第5章は、「画像通信における非線形一線形組み合わせ型ディジタルフィルタの応用例」と題し、実際のマルチメディア通信において有効な3つのアプリケーションを提案している。まず適応型ε-フィルタによるブロック符号化に伴う歪みの除去法を提案している。次にカスケード型非線形ディジタルフィルタを用いた画像修復処理法を示し、主観評価に優れた復元画像が得られることを述べている。3つ目に人間の顔に対して抱く心理を考慮した新しい応用例として顔画像美観化処理を成分分離型非線形ディジタルフィルタによって実現する方法を提案している。いずれのアプリケーションにおいても複雑な反復処理や判定、大規模なメモリ空間などを必要とせず容易に実現が可能な手法である。

　第6章は、「非線形一線形組み合わせ型ディジタルフィルタの実装」と題して、実際のディジタルスチルカメラ用評価ボードを用いて信号処理プロセッサにフィルタ構成要素をライブラリとして実装し、実際の製品における提案手法の有用性を明らかにしている。特にディジタルスチルカメラの撮影時に求められる解像度復元処理を目的としてカスケード型非線形ディジタルフィルタをパイプライン処理内に利用する手法を示している。実験より実用にあたって十分に高速な処理で撮影画質が改善されることを明らかにしている。

　第7章は、「結論」と題して、本研究で得られた主要な成果についてまとめるとともに、今後の展望について考察したものである。

　以上、本論文は、ハードウェアへの実装を容易とする非線形ディジタル信号処理方式の開発を目的として、カスケード型非線形ディジタルフィルタおよび成分分離型非線形ディジタルフィルタを提案し、画像処理応用においてシミュレーションを用いてその有効性を示すとともに、信号処理プロセッサに実装することにより実用性を検証したものであり、電子工学の発展に貢献するところが少なくない。よって、本論文は、博士(工学)の学位請求論文として合格と認められる。