透彻理解协方差矩阵

协方差及协方差矩阵有着特别广泛的应用,在多元高斯分布、高斯过程、卡尔曼滤波等算法中多有用到,本文从协方差、协方差矩阵讲起,并重点讲解协方差矩阵在高斯分布中的用法及意义,也是讲解高斯过程、贝叶斯优化的铺垫。

协方差(Covariance)

X、Y两个随机变量的协方差在和中用于衡量两个变量的总体。用来刻画两个随机变量之间的相关性:

假定我们不知道潜在的概率分布,我们取n个样本来计算:

分别计算这n样本的两个变量的均值,这两个变量的协方差可以用下式来计算:

由于变量都有量纲,如果消除各自量纲影响,将协方差除以两个变量的标准差,则可得相关系数:

协方差矩阵

随机向量:

我们计算所有元素的两两协方差,形成协方差矩阵:

这是一个对称矩阵,对角线是每个变量的方差。如果是对角阵,

协方差矩阵形式如下:

协方差矩阵与多元高斯分布

多元高斯分布概率密度的推导

设多元高斯分布如下:均值向量为μ,协方差矩阵为Σ

与一元高斯分布对比,概率密度函数形式有所变化,这个变化是怎么来的,我们通过二元高斯分布来推导一下这个密度函数的由来。

对于二元高斯分布,我们设定:

现在我们推导两个变量的高斯分布的密度函数公式:

这个联合概率密度函数是各自概率密度函数的乘积,这表明两个变量是独立的。这个独立性反映在我们的协方差矩阵中,就是只有对角线元素不为零,两个变量是独立的,所以联合概率密度可以表示为两个变量概率密度的乘积

二维高斯分布函数图像

我们看相互独立的两个变量的二维高斯分布图像在XoY平面投影的函数表达式

令:

得:

显然这是一个椭圆曲线的表达式。

我们看两种情况,一种协方差矩阵是对角阵(变量相互独立),另一种是协方差矩阵是非对角阵(变量有关联)

  • 如果高斯随机向量具有对角线的协方差矩阵(所有变量都是不相关的,那么概率密度函数曲面在X0Y投影的椭圆曲线的两个轴平行于坐标轴。
  • 如果高斯随机向量的协方差矩阵是非对角阵(一些变量是相关的),那么概率密度函数曲面在X0Y投影的椭圆曲线的两个轴仍然是相互重直,但与坐标轴并不平行。

我们用matlab来形象展示一下:

下图是两个变量的均值都是零,协方差矩阵为:

其三维曲面如下:

在XOY平面的投影如下:

本文主要讲解了协方差矩阵及其在高斯分布中意义和用法。协方差矩阵在高斯过程中有着非常重要的意义,如果不能很好的理解协方差矩阵,就不能很好的理解高斯过程。

(0)

相关推荐