从概率到贝叶斯滤波（下）

数学语文吧

语文是米饭，数学是菜谱！

123篇原创内容

公众号

从概率到贝叶斯滤波（上）

02

贝叶斯滤波

2.1 贝叶斯公式

2.1.1 二维离散型随机变量的贝叶斯公式

对于二维离散型随机变量

，由其条件概率质量函数与全概率公式，容易得到其贝叶斯公式：

二维离散型随机变量的贝叶斯公式可通过作图的方式轻松证得。

2.1.2 二维连续型随机变量的贝叶斯公式

(1) 结论

对于二维连续型随机变量

，由其条件概率密度函数与全概率公式，容易得到其贝叶斯公式：

(2) 推导

二维连续型随机变量的贝叶斯公式无法通过作图的方式推得，下面进行公式推导，首先计算二维连续型随机变量的条件累积分布函数：

故，二维连续型随机变量的条件概率密度函数为：

代入全概率公式：

上式即为二维连续型随机变量的贝叶斯公式，推导完毕。

2.2 先验概率、似然概率与后验概率

在二维连续型随机变量的贝叶斯公式中，有如下定义：

·

被称为先验概率密度（Prior Probability Density），表示根据以往的经验和分析，在本次试验或采样前便可获得的随机变量 X 的概率密度；

·

被称为似然概率密度（Likelihood Probability Density），表示在状态随机变量 X 取值为 x 的条件下，观测随机变量 Y 取值为 y 的概率密度，状态为因，观测为果，即由因推果；

·

被成为后验概率密度（Posterior Probability Density），表示在观测随机变量 Y 取值为 y 的条件下，状态随机变量 X 取值为 x 的概率密度，状态为因，观测为果，即由果推因。

此外，当 y 为定值时，

为一常数，常被称为贝叶斯公式的归一化常数。

因此，二维连续型随机变量的贝叶斯公式可表示为：

2.3 再谈似然概率

上文中提到，似然概率密度函数

表示在状态随机变量 X 取值为 X 的条件下，观测随机变量 Y  取值为 y 的概率密度。似然概率密度函数表征了传感器检测精度，对于给定的状态条件

，观测结果

的概率分布通常有三种模型：

(1) 等可能型

观测值在状态量真值附近呈均匀分布，此时的似然概率密度函数为常数。

(2) 阶梯型

观测值在状态量真值附近呈阶梯分布，此时的似然概率密度函数为分段常数。

(3) 正态分布型

观测值在状态量真值附近呈高斯分布，此时的似然概率密度函数为高斯函数：

若假定似然概率密度函数为高斯函数，此时，似然概率密度函数的均值 x 代表状态量真值，

代表传感器检测精度范围。若同时假定先验概率密度函数为高斯函数，即：

由于

且

故，后验概率密度函数方差既小于先验概率密度函数方差，也小于似然概率密度函数方差，系统不确定度降低。

若

，则近似有：

此时，后验倾向于观测。

若

，则近似有：

此时，后验倾向于先验。

2.4 贝叶斯滤波推导

2.4.1 问题建模

(1) 问题描述

对于某状态量随机变量 X，从初始时刻 0 开始，对其进行观测，得到 0 ~ k 时刻的观测值：

求解 k 时刻状态量随机变量

的最优估计

。

(2) 求解思路

以贝叶斯公式为求解方向，将问题转化为求解状态量随机变量

后验概率密度函数的期望：

进而需要求解状态量随机变量

的先验概率密度函数与似然概率密度函数。我们认为，k 时刻的状态量随机变量 

与且仅与上一时刻的状态量随机变量

有关，k 时刻的观测量随机变量

与且仅与 k 时刻的状态量随机变量 

有关，其中的数量关系我们分别称之为状态方程与观测方程：

被称为状态转移函数，

被称为观测函数。

对于 0 时刻的初始状态量随机变量

，认为观测值

即为其真值，其后验概率密度函数即为其先验概率密度函数。我们可以根据经验知识（建模精度和传感器精度）写出 0 时刻的初始状态量随机变量

的后验概率密度函数

、k 时刻过程噪声随机变量

的概率密度函数

和 k 时刻观测噪声随机变量

的概率密度函数

。

(3) 符号定义

· 各时刻的状态量随机变量

· 各时刻的观测量随机变量

· 各时刻的观测值

· 各时刻的过程噪声随机变量

· 各时刻的观测噪声随机变量

· 各时刻的过程噪声随机变量概率密度函数

· 各时刻的观测噪声随机变量概率密度函数

· 各时刻的状态量随机变量先验概率密度函数

· 各时刻的状态量随机变量后验概率密度函数

· 各时刻状态量随机变量与观测量随机变量的似然概率密度函数

(4) 重要假设

·

分别与

相互独立；

·

分别与

相互独立；

·

与

相互独立；

·

与

相互独立。

(5) 重要定理

条件概率里的条件可以作逻辑推导。例如：

2.4.2 预测步推导

已知 0 时刻状态量随机变量

的后验概率密度函数

，状态转移函数

，1 时刻过程噪声随机变量

的概率密度函数

，求解 1 时刻状态量随机变量

的先验概率密度函数

。

类似二维连续型随机变量贝叶斯公式的推导过程，我们从求解

的先验累积分布函数

入手。

点击可查看大图

故，1 时刻状态量随机变量

的先验概率密度函数为：

推导完毕。可以发现，先验概率密度函数本质来源于状态方程。

2.4.3 更新步推导

已知 1 时刻观测量随机变量

的取值

，求解 1 时刻状态量随机变量与观测量随机变量的似然概率密度函数

，并联合预测步得到的 1 时刻状态量随机变量

的先验概率密度函数

，求解 1 时刻状态量随机变量

的后验概率密度函数

。

首先，求解似然概率密度函数

：

可以发现，似然概率密度函数本质来源于观测方程。

然后，联合预测步得到的 1 时刻状态量随机变量

的先验概率密度函数

，求解 1 时刻状态量随机变量

的后验概率密度函数

：

其中，归一化常数

为：

推导完毕。

2.4.4 递推流程

由预测步和更新步的推导结果，可得到由 0 时刻状态量随机变量

的后验概率密度函数

到 k 时刻状态量随机变量

的后验概率密度函数

的递推流程：

其中，归一化常数

为：

最终，可得到 k 时刻状态量随机变量

的最优估计

：

2.4.5 完整算法框架

(1) 设初值

初始 0 时刻状态量随机变量

的后验概率密度函数：

(2) 预测步

k 时刻状态量随机变量

的先验概率密度函数：

(3) 更新步

k 时刻状态量随机变量

的后验概率密度函数：

归一化常数

：

(4) 求解状态量后验估计

k 时刻状态量随机变量

的后验估计：

2.5 贝叶斯滤波的缺点及解决方法

2.5.1 缺点

从上文的推导及结论中可以发现，求解预测步中的先验概率密度函数

、更新步中的归一化常数

、最终的最优估计

时均涉及到无穷积分，而大多数情况无法得到解析解，使得贝叶斯滤波算法的直接应用十分困难。

2.5.2 解决办法

为了解决贝叶斯滤波中的无穷积分问题，通常从两个角度出发：

(1) 作理想假设

· 假设状态转移函数

和观测函数

均为线性函数，过程噪声随机变量

和 观测噪声随机变量

均服从均值为 0 的正态分布——卡尔曼滤波（Kalman Filter）

· 假设状态转移函数

和（或）观测函数

为非线性函数，过程噪声随机变量

和 观测噪声随机变量

均服从均值为 0 的正态分布——扩展卡尔曼滤波（Extended Kalman Filter）和无迹卡尔曼滤波（Unscented Kalman Filter）

(2) 化连续为离散

将无穷积分转化为数值积分，一般有以下方法：

· 高斯积分（不常用）

· 蒙特卡罗积分（粒子滤波，Particle Filter）

· 直方图滤波

针对本节内容中提到的卡尔曼滤波、扩展卡尔曼滤波、无迹卡尔曼滤波、粒子滤波、直方图滤波等常用滤波算法，将在后续文章中进行详细展开讨论。

03

参考

• 马同学数学课程：
  https://www.matongxue.com/
• 百度百科 - 分布函数：https://baike.baidu.com/item/%E5%88%86%E5%B8%83%E5%87%BD%E6%95%B0/2439796?fr=aladdin
• 百度百科 - 随机过程https://baike.baidu.com/item/%E9%9A%8F%E6%9C%BA%E8%BF%87%E7%A8%8B/368895?fr=aladdin
• 如何从深刻地理解随机过程的含义？
  https://www.zhihu.com/question/26694486/answer/1272896943
• b站忠实的王大头《贝叶斯滤波与卡尔曼滤波》系列教学视频
  https://space.bilibili.com/287989852/video
• 你真的搞懂贝叶斯波滤波了吗？
  https://blog.csdn.net/wq1psa78/article/details/105849353

链接：https://zhuanlan.zhihu.com/p/268624245