橘子OR蓝莓？这个例子让你精通贝叶斯定理

贝叶斯定理可能是数理统计与概率论领域最重要的定理。因此，该定理经常应用于数据科学领域。本文将通过实际问题对贝叶斯定理进行直观推导。

简介

以18世纪英国数学家托马斯贝叶斯命名的贝叶斯定理是确定条件概率的数学公式，其在数据科学领域具有重要意义。例如，贝叶斯定理的众多应用之一是统计推理的一种特殊方法---贝叶斯推理。

贝叶斯推理是在获得更多证据或信息时运用贝叶斯定理对假设概率进行更新的一种方法。贝叶斯推理已在广泛领域内得以应用，包括科学、工程、哲学、医学、体育和法律。

例如，在金融领域，贝叶斯定理可用于评估向潜在借款人提供贷款的风险。在医学领域，该定理可根据人们患病的可能性与测试的一般准确性来确定医学测试结果的准确性。

现在让我们看一些实际问题：

问题陈述

假设现有两个碗，X与Y，碗里都装满了橘子和蓝莓，并且你很清楚每个碗里有多少橘子和蓝莓。若我问你，从X碗里取出橘子的可能性是多少，那你能准确说出其概率。因为碗X里橘子和蓝莓共11个，其中3个是橘子，故取出橘子的概率是P（橘子）=3/11。

碗X和碗Y内都装满了橘子和蓝莓。

相反案例：

现进行随机抽取，取出的是一个蓝莓，并且假设我们不知其来自碗X还是碗Y，你能说出蓝莓是从哪个碗内取出的概率吗？

该问题可用贝叶斯推理来解答。

贝叶斯定理推导

为推导出贝叶斯定理，我们将进行一个模拟实验：掷骰子。当骰子的点数小于等于4时，从碗X内随机取出一个物品，当点数大于等于5时，则从碗Y内随机取出一个物品，重复进行300次（N=300）。简单起见，将上述物品简称为：

Blueberry:=B, Orange:=O, Bowl X: =X, Bowl Y:= Y

当一枚均匀骰子连续掷300次（N=300）后，我们将得到关于从两个碗里取出的物品数量的统计结果。该实验的假设结果如图1所示。其中，s代表碗或取出的物品的“来源”，y是可观察变量（蓝莓或橘子）。

图1：统计结果

该表显示：

• 从碗X中取出蓝莓的次数为148： n(s=X, y=B)=148
• 从碗Y中取出蓝莓的次数为26：n(s=Y, y=B)=26
• 从碗X中取出橘子的次数为51： n(s=X, y=O)=51
• 从碗Y中取出橘子的次数为75：n(s=Y, y=O)=75

根据这些统计数字，现提出一些有趣的问题：

从碗X中取出随机物品的概率为多少？

为得出此概率，即P（s=X），我们须用仅从碗X中取出的物品数除以总物品数N=300。这里，n(s=X, y=B)=148表示从碗X中取出的蓝莓数量，n(s=X, y=O)=51 表示的是从碗X中取出的橘子数量。由此，我们得出从碗X中取出随机物品的概率，如下：

公式1：从碗X中取出随机物品的概率

注意：该概率被称为“先验概率”。在贝叶斯统计推理中，先验概率是在数据收集前事件的概率。该案例中p(s=X)告诉我们的是从碗X中抽取随机物品的概率，但该物品是橘子还是蓝莓未知。

同样，从碗Y中取出随机物品的概率p(s=Y)为：

公式2：从碗Y中取出随机物品的概率

取出橘子或蓝莓的概率为多少？

这次我们想知道在不考虑特定碗的情况下取出橘子或蓝莓的概率。该概率可分别表示为p(y=O)和p(y=B)。计算方法与前一案例类似。我们用取出特定物品的次数除以总抽取次数，由此得出的概率可用公式3和公式4表示。如下：

公式3：取出橘子的概率

公式4：取出蓝莓的概率

从碗X中取出蓝莓的概率为多少？

现在我们来计算联合概率p(s=X, y=B)，其表示的是从碗X中取出蓝莓的可能性。

注意：联合概率是指事件1与事件2同时发生时的概率。在该案例中，事件1是“从碗X中进行随机抽取”，而事件2是“取出的物品为蓝莓”。

该联合概率可用从碗X中取出蓝莓的次数除以总抽取次数来计算，如下：

公式5：从碗X中取出蓝莓的概率

同样，从碗Y中取出蓝莓的概率为：

公式6：从碗Y中取出蓝莓的概率

另外，从碗X中取出橘子的概率为：

公式7：从碗Y中取出蓝莓的概率

假定已对碗X进行随机抽取，那么取出的物品为蓝莓的概率为多少？

现在问题变得有趣了。让我们来计算第一个条件概率。在该案例中，可以确信的是我们从哪个碗中进行随机抽取，例如，我们从碗X中抽取。基于此，我们可以计算出从碗X中取出蓝莓的概率。

该条件概率可用p(y=B| s=X)表示，其中s=X表示该条件为“从碗X中进行随机抽取”。为计算出 p(y=B| s=X)，我们须用从碗X中取出蓝莓的次数除以从碗X中取出的总物品数，如下：

公式8：给定条件为从碗X中随机抽取时，取出蓝莓的概率

乘积规则

现在让我们来看看第一个重要统计规则。这里我们用先前得出的从碗X中取出蓝莓的概率 p(s=X, y=B)，然后通过分子分母同时乘以(n(s=X,y=B)+n(s=X, y=O))对该公式进行扩展，该扩展不会改变概率p(s=X, y=B)的值。

现在仔细观察该公式，就会发现 p(s=X, y=B)的新的表达式是由先前得出的其他两个概率p(y=B|s=X)和p(s=X)的乘积组成。

公式9：乘积规则

我们称概率间的这种关系为乘积规则。该规则可通过条件概率p(y=B| s=X)和先验概率p(s=X)来计算联合概率p(s=X, y=B)。

求和定则

现在，让我们重新看一下先验概率p(s=X )，其表示从碗X中取出随机物品的可能性。若将该公式分为两个被加数的和，如公式10第二行所示，可观察到被加数正是我们先前得出的两个联合概率。

公式10：求和规则

我们称此关系为求和规则。该规则可通过联合概率的相加计算出先验概率 p(X)的值。该联合概率包含先验概率中的随机变量 p(X）和任何其他随机变量y。

贝叶斯规则

在乘积规则中，联合概率中的随机变量的顺序无关紧要。因此 p(s,y)和p(y,s)的值相等。

公式11

如果让 p(s, y)和 p(y, s)的值相等，并进行重组，我们将得出p(s|y）的一个新的数学表达式。该表达式就是贝叶斯规则。

公式12：贝叶斯定理/法则

最后：蓝莓是从哪个碗里取出的？

贝叶斯定理为我们提供了条件概率 p(s|y)的计算公式，这正是我们最初问题的答案。

我们可用条件y=B来表示已取出蓝莓这一事实。为解答蓝莓从哪个碗里取出这一问题，须计算出 s=X和s=Y时各自的概率 p(s|y=B)的值。得出的这两个值能告诉我们从碗X或碗Y的取出蓝莓的可能性。

现在让我们来计算s=X时的值。幸运的是，我们需要的概率都已在前述部分计算得出。若将这些概率的值代入公式13 p(s=X|y=B)中，我们将得出以下结论：在已取出蓝莓的条件下，从碗X中取出该蓝莓的概率大约为86%。该计算方法与其他案例类似，如下：

公式13：贝叶斯定理

若没有贝叶斯定理，计算出概率 p(s|y)将会非常困难。不过，贝叶斯定理让我们通过更容易计算出的概率对此概率进行计算。贝叶斯定理的神奇之处就在于：用容易计算出的概率来表示难以计算的概率。