贝叶斯推断 1. 基本概率模型和贝叶斯定理
这里简单介绍三个概念，古典概型，频率学派，贝叶斯学派。
古典概型
这个模型下，随机实验所有可能的结果是有限的，并且每个基本结果发生的概率是相同的
比如：投掷一枚均匀硬币，结果只有两种（假设硬币没有立起来），正面朝上和反面朝上，那么正面朝上的的概率就是0.5。这是基于古典概率模型的计算。频率学派
认为待估计参数是某个未知的常量，通过多次试验，统计事件发生的次数占总试验的比值，得到待估计参数的值。
比如：估算投掷一枚均匀硬币获得正面的概率。我们进行1000次试验，有498次朝上，所以获得正面的概率是0.498。贝叶斯学派
认为待估计参数不是某个固定的常量，而是一种随机变量（服从某种分布）。关于这个随机变量，我们可以根据常识或其他客观事实对其有一个先验的分布估计（信念），之后根据试验来调整这个分布，最后求得该随机变量的后验分布。
这种思想解决了频率学派试验中当试验次数过少而导致的试验偏差的问题，比如，投掷一枚匀质硬币5次，这5次都是正面朝上，根据频率学派观点，认为硬币投掷正面朝上的概率是P(正面朝上)=55=1P(正面朝上)=55=1，这显然是不符合常理的。
现在定义事件A=(投掷一次硬币正面朝上)，B=(投掷5次硬币，5次朝上)。在贝叶斯的框架下，我们根据常识认为投掷硬币正面朝上的概率是0.5，所以我们可以假设这个先验服从参数为Beta(10,10)Beta(10,10)的分布，然后根据贝叶斯定理P(A|B)=P(A)P(B|A)P(B)P(A|B)=P(A)P(B|A)P(B)可计算出在事件B发生的条件下的A的概率分布为分布Beta(15,10)Beta(15,10)，这个分布的期望值是0.6。通过贝叶斯框架，我们计算出硬币正面朝上的概率仍然是一个接近0.5的值，更加符合我们的常识。（关于Beta分布和后验概率的具体计算会在以后的章节介绍）
这个图是分别绘制的先验分布Beta(10,10)Beta(10,10)（蓝色）和后验分布Beta(15,10)Beta(15,10)（绿色）
条件概率和相互独立
条件概率，若P(B)>0P(B)>0,则P(A|B)=P(AB)P(B)P(A|B)=P(AB)P(B)记为事件B发生的情况下,A发生的概率。
如果P(A|B)=P(A)P(A|B)=P(A)，则A与B相互独立且，P(A∩B)=P(A)P(B)P(A∩B)=P(A)P(B)
贝叶斯定理
离散形式
P(Bi|A)=P(Bi)P(A|Bi)∑nj=1P(Bj)P(A|Bj)=P(A∩B)p(A)P(Bi|A)=P(Bi)P(A|Bi)∑j=1nP(Bj)P(A|Bj)=P(A∩B)p(A)
连续形式
f(θ|y)=f(y|θ)f(θ)f(y)=f(y|θ)f(θ)∫f(y|θ)f(θ)dθ=likelihood×priornormalizingconstant∝likelihood×priorf(θ|y)=f(y|θ)f(θ)f(y)=f(y|θ)f(θ)∫f(y|θ)f(θ)dθ=likelihood×priornormalizingconstant∝likelihood×prior
单元随机变量的常用分布
伯努利分布（0-1分布） Bernoulli
概率分布为pn={1−ppn=0n=1pn={1−pn=0pn=1期望E(x)=pE(x)=p,
方差Var(X)=p(1−p)Var(X)=p(1−p)二项分布binomial
充分n次的独立的伯努利试验。N次独立试验中，事件发生K次的概率分布
P(X=k)=Cknpk(1−p)n−kP(X=k)=Cnkpk(1−p)n−k
期望E(X)=npE(X)=np
方差Var(X)=np(1−p)Var(X)=np(1−p)均匀分布Uniform
去间a,b之间的均匀分布的概率密度函数f(x)={1/(b−a)0a<x<b其他f(x)={1/(b−a)a<x<b0其他期望E(X)=a+b2E(X)=a+b2
方差Var(X)=(b−a)212Var(X)=(b−a)212指数分布
参数为λλ的指数函数的概率密度
f(x)={λe−λxx>00x≤0f(x)={λe−λxx>00x≤0
期望E(X)=1λE(X)=1λ
方差Var(X)=1λ2Var(X)=1λ2正态分本
均值为μμ,标准差为σσ的正态分布的概率密度
f(x)=12π√σe(x−μ)22σ2f(x)=12πσe(x−μ)22σ2
期望E(X)=μE(X)=μ
方差Var(X)=σ2Var(X)=σ2