信号估计中的核回归方法

开篇：润墨网以专业的文秘视角，为您筛选了一篇信号估计中的核回归方法范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘 要：核回归方法是比较常用的一种非参数估计方法。讨论了核回归方法在一维信号估计中的理论与应用，实验比较了高斯核函数的平滑参数h及多项式阶数N对估计效果的影响。结果是在相同阶数N下，较小的h使所有的估计点都收敛到观察值，反之则是一个N阶多项式拟合。在相同h下，阶数N越大，误差越小，计算量也较大，但重构效果的提升并不明显。И

关键词：非参数估计；核回归；重构；平滑参数；加权

中图分类号：TN911 文献标识码：B

文章编号：1004-373X(2008)11-024-02オ

Kernel Regression in Signal Estimation

WAN Qing,XIE Qinlan

(Department of Electronics and Information Engineering,South-Central University for Nationalities,Wuhan,430074,China)オ

Abstract：The kernel regression method now is the most popular non-parametric estimation method.This paper discusses the theory and application of the kernel regression method in the 1-D signal estimating,and compares the influence how the smoothing parameter h of Gaussian kernel function and the polynomial order N impact the estimation effect through experiments.Result shows that,under same order N,estimators converge to observations as h decreases and on the contrary,they form a polynomial with order N,under same h,higher order N leads to small errors with more computational cost,but effect is not obvious.

Keywords：non-parametric estimation;kernel regression;reconstruction;smoothing parameter;weightオ

1 引 言

在实际应用中，真实信号的表达式往往十分复杂，而进行观察的同时伴随有噪声，为了去除噪声，对信号进行采样，对这些观察数据进行数学处理来估计原始信号是比较常用的方法。

一维信号的观察模型可以表示如下：

И

yi=f(xi)+nii=1,…,P[JY](1)

И

这里f(•)为回归函数[1]，yi表示第i个采样点xi处的观察值，ni是独立同分布的零均值噪声(回归函数可以是N维的)。核回归的目标是通过观察数据yi估计未知(回归)函数f(•)。同时，该过程也可以看作是对目标函数进行去噪的过程。

2 信号估计的核回归方法

假设回归函数f(•)局部N阶平滑，为了估计在任意点x处的函数值f(x)，将x附近的采样点xi的值f(xi)在x处展开为N阶泰勒级数：

お

f(xi)[WB]f(x)+f′(x)(xi-x)+12!f″(x)(xi-x)+…

[DW]+1N!f(N)(x)(xi-x)N

=β0+β1(xi-x)+β2(xi-x)2+…+βN(xi-x)N[JY](2)

И

上式是将函数局部拟合为N阶多项式。估计的目标就是f(x)，即β0。д饫锊捎玫墓兰品椒ㄊ亲钚《乘法，即：

オ

min{βn}∑Pi=1[WB]\[yi-β0-β1(xi-x)-β2(xi-x)2-…

[DW]-βN(xi-x)N\]21hK(xi-xh)[JY](3)

И

式中K(•)为核函数，其作用是控制不同采样点的权重：距离x较近的点，权值越大。h为核函数的径向宽度参数，也称为平滑参数[1]。核函数的形式可以是任意的，只要满足如下两个条件：

И

∫R1tK(t)dt=0,∫R1t2K(t)dt=c[JY](4)

И

即关于零点对称且在零点取最大值。常用的核函数为高斯核[2]:

И

K(u)12πexp(-12u2)[JY](5)

И

下面分别以N=0及N=1为例讨论核回归方法的具体形式。

(1) N=0时，式(3)变为:

И

minβ0∑Pi=1\[yi-β0\]21hK(xi-xh)[JY](6)

И

设f(β0)=［yi-β0］21hK(xi-xh)，则式(6)的解就是求f′βo(β0)=0的解，Ы庵得：

И

β0=∑Pi=1Kh(xi-x)yi∑Pi=1Kh(xi-x)[JY](7)

И

(2) N=1时，式(3)变为:

И

minβ0∑Pi=1\[yi-β0-β1(x1-x)\]21hK(xi-xh)[JY](8)

И

与N=0情况类似，设:

お

f(β0,β1)=∑Pi=1\[yi-β0-β1(x1-x)\]21hK(xi-xh)[JY](9)И

分别求Е陋0,β1У钠导数并令其为0:

由以上分析可以看出，核回归方法不需要信号的具体形式而直接估计点的函数值，同时也可以方便地估计各阶导数，使用起来更灵活，应用范围更广。

3 仿真实验与结果

设一个待估计函数f(x)=114(x+1)(x-2)(x-7)(x-9)，Ф云浼尤刖值为0，方差为0.5 dB的高斯白噪声，然后进行均匀采样，获得［-1，9］之间的112个采样点。选取高斯核来估计原函数在采样点的函数值，对不同的平滑参数h及阶数N进行仿真，通过均方根误差(RMSE)来衡量估计的效果。由于平滑参数与回归阶不相关，因此首先比较在同一回归阶下不同平滑参数的影响，其次比较在同一平滑参数下不同回归阶的效果，并分析两者的作用。

[HTH]实验[STHZ]1[STBZ] [HTSS]固定N=0，对不同的h进行实验，实验结果如图1所示。图1中(a)，(b)，(c)，(d)，(e)，(f)所取的h分别为0.01，0.1，0.5，1，2，4，相应的RMSE分别为1.23，0.51，0.88，1.8，4.1，6.25。根据实验结果可以看出，当h=0.01时，估计结果是经过所有采样点的曲线；而当h=4时，估计结果趋近于常数。由此可以看出，h过小导致偏差较小，方差较大；而h过大则导致偏差较大，方差较小。因此过大或过小的平滑参数都将导致均方误差较大。

图1 不同平滑参数h的仿真结果

[HT5”]注：图1中蓝色线条表示原始函数，绿色点表示经过采样的观察数据，红色线条表示重构函数。[HT10.SS]

[HTH]实验[STHZ]2[STBZ] [HTSS]固定h=1，对不同的阶数N进行实验，实验结果如图2所示(注：图中的表示法同图1)。图2中(a)，(b)，(c)，(d)的阶数分别为N=0，1，2，3，相应的RMSE分别为1.73，1.15，0.58，0.54。由实验2可以看出，阶数N越大，重构效果越好。然而，随着阶数的提高，计算更为复杂，计算量也更大，但重构效果的提升并不明显，譬如从N=0到N=1，RMSE降低33.5%；N=1到N=2，误差降低49.5%；而N=3相对于N=2，只降低了6.8%。

图2 不同展开阶数N的仿真结果

4 结 语

本文探讨了核回归方法在一维信号中的应用。与经典的参数估计方法不同，它充分利用了观察数据提供的信息，对信号或系统的先验知识要求不多，其对任意点的估计就是对所有观察数据进行加权，即每个观察数据对估计结果都有贡献，因而它更符合实际应用中先验知识所知不多的情况。

另外研究了影响估计效果的两个主要因素[CD2]平滑参数h和回归阶数N，并实验比较了这两个参数对估计结果的影响。在未来的工作中，将着重解决如何在计算量及重构效果之间进行取舍来自适应地选择这两个参数这一重要问题。

参 考 文 献

［1］Wand M P,Jones M C.Kernel Smoothing ［M］.ser.Monpgraphs on Statistics and Applied Probability.New York:[LL]Chapman & Hall,1995.

［2］Silverman B W.Density Estimation for Statistics and Data Analysis［M］.ser.Monographs on Statistics and Applied Probability.New York:Chapman & Hall,1986.

［3］Hiroyuki Takeda,Sina Farsiu,Peyman Milanfar.Kernel Regression for Image Processing and Reconstruction ［J］.IEEE Trans.Image Process,2007,16(2):349-366.

［4］Hardle W,Muller M,Sperlich S,et al.Non-parametric and Semi-parametric Models ［M］.ser.Springer Series in Statistics.New York:Springer,2004.

［5］Nadaraya E A.On Estimating Regression［M］.Theory Probabil,1964.

注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。