【大杀器】贝叶斯推断
简单的贝叶斯推算
人生有许多悖谬,其中一个是我们天生就会,而且习惯性地做贝叶斯推算,但几乎没人能算得准确。好比小朋友学数学,就算会了公式,还是永远粗心总做错。不是一个人,几乎所有人都这样,我们无时不刻都在用正确的方法做错误的运算。
一、什么是贝叶斯推算?
一句话,就是我们根据新的事实、信息、数据、证据来更新看法、判断、观念、信念。试问谁不是如此?我们天生是贝叶斯动物。
贝叶斯本人是18世纪初苏格兰的一位神父。贝叶斯推理本质上是条件概率的变 形:已知如果A则B,那么反过来求解如果B则A的概率。说到这里正常人已经晕掉了。谁也没有在大脑里随时携带计算器。
举个例子大家就明白了。有道题对每个人都很重要,极为有用。如果有种疾病,总体发病率是千分之一。针对这种病的检查,准确率很高,如果得了这病,那么测出来是阳性的概率是 99.5%;如果没得这病,相应地被测出来为阴性的概率也是99.5%。现在,检查测出是阳性,请问当事人得这病的概率是多少?
大多数人会答99.5%,要不就是各种乱猜。有人在哈佛大学医学院这个世界上最 精英的医生教育训练机构做实验,发现大多数哈佛学生也不会算。
这道题适用于任何罕见病,只是上面情境里用的数据来自艾滋病。艾滋病感染者在中国男性青壮年中所占比例是干分之一,HIV试纸检测的准确率是99.5%。如果有人测出阳性,是不是死定了?
许多人真这么想,以为自己末日来临,做了许多疯狂的事。其实没必要。
先揭晓答案:如果你是个普通人,即使检查出阳性,感染艾滋病的概率也只有不到六分之一
如果用条件概率去算,得有个计算器,一听脑袋就大,哈佛医学院学生就折在这里。这里给个简单办法:
上面例子中,干分之一的发病率意味着一千个人当中有一个感染艾滋病,而这个人测出阳性的概率是99.5%,约等于1个。同时,剩下999个没有感染艾滋病的人中, 因为检查结果有千分之五的假阳性,会检测出4.995个阳性,约等于5个。加起来,1000人检查会有接近6个人检出阳性,但其中只有1个是真的感染者。
也就是说,如果检出阳性,感染艾滋病毒的概率接近六分之一。必须严肃对待,但不用觉得末曰已到。
贝叶斯推理,就是我们根据新的信息来更新我们已有的认识。在这里面,我们已有的认识是艾滋病在中国男性青壮年当中的它的发病率是千分之一,同时,检测出假阳性的概率是个新的信息。
这两者合起来,我们得到的新的认知是:检出阳性的这个人他得艾滋病的概率,从你以为的99.5%变成了六分之一。
二、从概率到频次
上面这样做,没有用概率,而是换算成频次,贝叶斯推算难度骤然下降,变得非 常简单。学者格尔德·吉仁泽说:贝叶斯推算本来就很简单,不要说哈佛医学学生了,就是小学生也能算对,关键就在于要改变算法。
吉仁泽是德国普朗克人类发展研究所适应性行为和认知项目的主管。他与诺奖得主卡尼曼互相尊重又长期争论。卡尼曼是位心理学家,获得的却是诺贝尔经济学奖, 因为他将诸多人类心理上的认知偏差引入经济学,激发了整个经济学行为转向的大潮。
卡尼曼认为,人有许多偏差,驱动人们不思而应,贸然应对,吉仁择则认为,这些不能叫认知偏差,仿佛它们必然是错误的,卡尼曼认为人有许多认知偏差是错误的,他建议把这些思维特点称为''大拇指定律'',因为大体靠谱,偶尔犯 错。它们节省了宝贵的大脑运算资源,在演化上是有优势的,所以人类到今天还是这样。
他举了个例子,经济学家的完美代表萨缪尔逊,写跟投资理论有关的论文,都是资本市场线、资产定价模型,一堆数学模型,但他自己实际投资就很简单,股票、债券、现金等等,就是在几种资产类型中,把资金平均分配就好了,简单、有效。其实类似策略在犹太古代经典《塔木德》 中就有记载:把钱平均分作三份,一份买地一份份经商,一份储备。错不到哪里去,算太细了额外收益有限。
在贝叶斯推理这个问题上,卡尼曼认为人类很不擅长,从不细算。吉仁泽则认为关键在调整算法。人们一遇到概率就晕,但很擅长计算频次。
在贝叶斯推断问世之后不久,那个时代最伟大的一位科学家、法国人拉普拉斯就独立发明了计算方法的实用版,要点就是计算频次。介绍一个在这基础上改造后使用的贝叶斯推理模板。
无论面对什么问题,关于未来会怎么样, 你设定三种可能情形:上、中、下,分别对应着变好,不变,变坏。如果你已有个初步判断,就相应配给上中下相应的基数;如果你是一张白纸或一无所知,还没有任何判断可言,就给他们相同的基数。
接下来事情本身的走向会带来新信息,有可能倾向于或者上或者中或者下这三种情形,是什么情形你就在对应的基数加分,加多少看新信息的力度大小而定。
这个模板是这样的:上中下各配基数 33.33 (用100除以3,平均分配),每次加分的取值范围是从1到5,最强5分,最弱1分(如果认为信息强,就赋值5,信息弱,就赋值1)。
这样,无论什么事,打上一段时间的分, 你就对它是很有些数了,绝对比每次临时拍脑袋现想要靠谱。你就有了随身携带的贝叶斯大脑。
贝叶斯推理有两大要求:第一是要厘清你已有的判断,第二是诚实对待新的证据, 两者缺一不可。前者是判断的出发点,后者是更新判断的依据。
说到这里你应该想到了,市场就是个贝叶斯下注系统,用交易来解决看法分歧。当前价格对应于当下看法,而价格变动代表着看法修正。它是个活的、庞大的、永远在变形的贝叶斯系统。之所以说任何一个人很难稳定地战胜市场,因为市场本身是极为有效地反映了现实中人的看法。
同理可推,如果能集纳一群看法相对靠谱的人,就任何判断持续下注,那这个群可以用来给出对任何事情的预测。
再进一步,人与人的靠谱程度不同,判断的靠谱程度亦不同,根据各自表现,动态调整其权重,靠谱的人权重逐渐增加,不靠谱的人权重逐渐下降,加权平均形成新的判断,准确度会更高。最终你将获得两样东西:一个是相当有效的判断系统,一个是相当有效的对判断者的评价系统。两者互相反馈,继续提升精度。
其实,我们在生活中也是这么做的,接近靠谱的人,远离不靠谱的人,重视权威, 轻视妄人。区别在于,生活中做贝叶斯人,我们做得既不系统也不精确,经常算错,现在,借助手边的工具,我们能做得好很多。
当然,永远不要忘了,无论是贝叶斯大脑,还是借助工具打造的贝叶斯外脑,都 只是一幅地图,帮我们在未知地形上摸索。不论多少人用多么靠谱的方法共同绘 制它,如果地壳崩塌,行星撞地球,地形一夜间就天翻地覆,贝叶斯并不能比其他地图更好地帮助我们。
它无法对抗黑天鹅。这是没办法的事情,因为谁也对抗不了。
第二个不要忘记的事情,就是在在先的判断与新证据之间并不总是彼此独立的。如果你已经绝对相信上帝存在,那么无论出现什么新信息新证据,你总能找到让你舒服的解释。
真正的贝叶斯人不这样。他们会尊重先入之见,因为它是一切新知的出发点,但又随时准备清空存量,以避免掉入这一陷阱。可惜这种人不够多。
三、全文总结
这是一个便携的贝叶斯推理工具,希望你能学会使用它。回顾一下这个工具的用法:
第一明确你的问题,第二列出几种可能的情形,给予他们一样的权重,第三尊重新的信息,给每个新信息赋予1到5不同的分数,对应哪种情形就把分加到那种情形上。持续一段时间,你会得到答案。