ノンパラメトリック回帰は、直線回帰や重回帰のような従来の線形回帰を基本に据えて発展したものである。その過程で次のような多くの概念や知見を生み出した。

　(1)連続的に変化する対象から離散的なデータを得た場合は、エイリアシング誤差と呼ばれる誤差が発生することは避けられないので、ノンパラメトリック回帰の基本である平滑化は、測定誤差の有無に拘わらず、補間よりも有効である。

　(2)コンピュータ技術が発達した今日、変数の数が少ない式やモデルが扱いやすいとは必ずしも言えない。むしろ、人間がデータを眺めながらフリーハンドで描くような曲線や曲面の方が利用価値が高い。そこで、変数の数が多くても、予測能力が高い回帰式やモデルが望ましい、という方針に基づいて、ノンパラメトリック回帰が生まれた。

　(3)平滑化の方法として最もよく知られている移動平均は、不適切な推定値を導くことがある。そのため、データに対する重みのつけ方をより自然なものにしたのが、二項フィルターである。

　(4)ハット・マトリックスは、平滑化におけるデータに対する重みづけを線形回帰における一般的な議論に拡張することで生まれた、応用範囲の広い概念である。

　(5)平滑化や補間の手段としてスプライン曲線がよく知られているが、使いにくい点も多い。そこで、一つの推定値を求めるために一つの局所的な一次式を求める、という方針をとるLOWESSと呼ばれる方法が開発された。

　(6)最小二乗法にバイアスを加える、という方針で平滑化を行うのがスムージィング・スプラインである。

　(7)推定値の滑らかさの程度を調整する定数である、スムージィング・パラメータを最適にするためには、クロス・バリデーションやジェネラライズド・クロス・バリデーションが有効である。

　隣り合う残差の相関がゼロになるような推定値のうち、最も滑らかな推定値を採用する、という方針に基づく平滑化手法を提案する。この方法の中では、データが推定値に近い、という方針は陽には表現されておらず、誤差が正規分布に従う、というような仮定も置いていないため、幅広いデータに対応できる。

　回帰を行うにあたって、異常値の存在は重要な問題である。そこで、可能性回帰と呼ばれる方法をわずかに修正して、「平行な2本の直線の間にかなりの数のデータがある、という条件の下で、2本の直線の切片の差を小さくする」という方針の回帰手法を開発した。この方法は、異常値の有無や数がはっきりしない大量のデータに対応するための有力な手段であり、LOWESSに応用することも容易である。

　古典的な重回帰をノンパラメトリック回帰の文脈に沿って一般化したものが、アディティブ・モデルである。直交する基底を使ってアディティブ・モデルを構成する二つのアルゴリズムを提案する。一つは、あらかじめ直交する基底を用意しておいて最小二乗法によってアディティブ・モデルを求める方法であり、もう一つは、シュミットの直交化法を用いてデータから直交する基底を導き、最小二乗法を使わないでアディティブ・モデルを構成する方法である。

　環境要因を独立変数とした場合、スカラーではなく分布であると考えられることが多い。また、独立変数が既知の誤差を含んでいる場合、それを独立変数が分布を持つ、という形で表現することが可能である。そこで、ジェネラライズド・スムージィング・スプラインを用いて、分布で表現された独立変数を持つデータに対応する平滑化を行うアルゴリズムを導いた。

　スプライン関数を用いた平滑化や補間の方法を一般化し、「実際のデータと、『仮想データ』をカーネルを用いて重み付き平均を行って平滑化した推定値とが近い(または、同じ)値をとる」という方針をとると、補間、平滑化、アディティブ・モデルの導出を統一した形式で実現するアルゴリズムが得られる。特に、この方法を用いた2次元の平滑化は、これまでに開発されてきた方法に比べ、一般性が高く、アルゴリズムが単純である。

　第6節で提案した方法を利用する際には、データの性質にふさわしいカーネルの組合せを求めなければならない。そこで、最近のノンパラメトリック回帰の発展の中で注目を集めている、ターボ・アルゴリズムと呼ばれる方法を利用してカーネルの組合せを求める手法を開発した。この方法は、本質的な部分が最小二乗法なので非線形な最適化に伴う煩わしさがなく、様々なカーネルを候補とするので、少ない数で高い精度の推定を行うカーネルの組合せを求めることができる、並列計算にも適した単純なアルゴリズムである、などの特徴を持つ。

　気象データを用いてトウモロコシの絹糸抽出日を予測するための手法としてよく知られたものに、毎日の気象条件の関数としてその日の生育率を定義し、それを足し合わせたものがある値を超えたときに作物がある生育ステージを迎える、という仮説を用いる方法がある。この方法を用いて高い精度の予測を実現するためには、生育率を与える関数として適切なものを用いなければならない。そこで、第II章 第5節で述べた方法を応用して、生育率を与える関数を求める方法を開発し、福島県畜産試験場と都城農業試験場で得られたデータを用いた解析を行った。その結果、この方法を用いるとスムージィング・パラメータの調整だけで生育率を表す関数が得られるため実用性が高い、独立変数として二つの気象要素を用いることもできる、この方法はジェネラライズド・スムージィング・スプラインの応用の一つとみなすことができるので数学的な内容が十分に分かっている、などか特徴であることが分かった。

　第II章 第6節で示した方法を用いて、福島県における水稲の収量を予測するための、気象要素を独立変数とするノンパラメトリックな関数を求めた。その結果、重回帰を用いた場合に比べると、特に、収量が平年より大きくはずれた場合の予測能力においてノンパラメトリック回帰が優れていることが分かった。この結果を利用して、1993年の9月の始めの時点での収量予測を試みたところ、この年の福島県における収量は400kg/10aを下回る深刻なものになることを予測することができた。

　第I章 第6節の中で提案したアルゴリズムのうち、アディティブ・モデルを求める方法を応用した、気象条件の長期的な変動が水稲の収量に及ぼす影響を解析した。その結果、1850年以降の気温の上昇が1896年から1930年の収量の上昇にかなりの影響を及ぼしていること、1940年代から1950年代は気温が低い時期だったが技術の向上がこれを打ち消したこと、気温の不規則な変動の大きさは時期によってかなり異なることも重要であること、などの知見が得られた。