最小二乘法的无偏性
最小二乘法的介绍,可以参考 最小二乘法的多角度理解 这篇文章。
只有两个参数的情况下:
已知X=
,Y=
两个向量数据。我们假设Y中的元素与X中的元素满足线性关系
中间的步骤可以参考文章 最小二乘法的多角度理解
最后,二乘法的解是:
、
是获得的估计值,这两个估计值是无偏的。本文讨论这两个估计值的无偏性。
根据无偏定义,就是要求证明下面两个是成立的:
开始证明:
这个公式证明中,我们用到的是:
结论
,这个很容易证明,留给大家自己证明吧。这个结论的意思就是,方差的期望还是方差本身,没有变。
上面的证明当中,由于分子
,所以你会发现另外一个结果:
也就是说,当X与Y呈线性关系,那么,X,Y协方差的期望是其中一个方差乘以线性关系一次项系数。
现在证明了
的无偏性,那么
的无偏性就留待大家证明了。
赞 (0)