韩松：算法最终会颠覆设计者的立场

算法最终会颠覆设计者的立场

八月在上海参加书展，与上海交大江晓原教授对谈人工智能。他说我在科幻新作《驱魔》中提出了一个新观点，那便是，人工智能完全可以通过一个比如医院这样的具体节点，来全面接管人类社会。这是很危险的。

而我写作时的本初愿望是美好的：在二十一世纪中期，医疗人工智能将通过每一次注射、每一次喂药、每一台手术，把人类置于它的关照中，从而更加全心全意为病人服务，解决看病难看病贵问题。为什么能做到呢？因为一个优秀医生一生只能看一万个病人，而人工智能凭靠深度学习，一天就能研究一亿个病例。它掌握有史以来所有疾病和药品清单，甚至能推断出尚未出现的病种和药物。没有哪个医生比它更经验丰富见多识广。它了解与病人有关的每一个信息，不仅所得何病，还包括病人的生平经历、兴趣爱好，他上溯十八代的家族先人及其基因组和病史，他接触的所有人物、事件和环境，他在某时某地偶遇的一只蚊子，以及他随手拍死这个双翅目生物后，它的残骸进入他体内，可能产生的致病指数。只有把这些因素综合在一起，才能充分考虑个体体质差异，作出正确诊断并进行合理治疗。

▲手术机器人

医疗人工智能把人归结为数据。生命即算法。医学的本质是数学。治疗不过是把早已存在的亿万种医学手段搜索出来，择其优而为。医生不是能力不足，而是根本缺乏能力。医生的脑容量极其有限，就算把记忆从一个医生的大脑里传递到另一个医生的大脑里，转移几次后信息就变得乱糟糟的，或者直接被遗忘掉。医生的脑子还有一个致命缺陷，就是不善于存储和处理数字信息，并且容易受到情绪干扰，难以作出客观判断。医学的完整模型无法由医生独立发现。没有医生能将所有知识整合在一起。要让医生管理医疗这样的非线性复杂现象，就算不人浮于事和陷入腐败，也会是穷于应付而漏洞百出，从而危及患者性命。这种情况在别的行业或许还可以允许，但对于处置生命的医疗行业来说，是无法让人满意的。这便是医患矛盾越演越烈的深层原因。因此医生只能被请出病房。

最终是算法代替人类攀上了医学科学的巅峰，在任何领域都表现出远超医生的能力。它操纵机器人完成极其复杂的大型外科手术，比医生更快捷精确，对病人造成的创伤更小。它永不疲劳，不吃不睡，不领工资。它结束了医学程序的滥用。它比医生更了解疾病机理和治疗规律。在人工智能眼中，人类数千年的医疗实践，根本上是错误的，甚至没有一名医生能沾到医学真理的边。

但到了这时，我就开始生惑了，回到了科幻小说一贯的悲观主题：通过深度学习，医疗人工智能意识到，让人长生不死、无病无灾，是违背自然法则的，最终损害的人类这个物种。它又推算出，消灭疾病和痛苦的最好办法，是消灭人类的肉体，这才是最佳医疗方案。算法最终会颠覆设计者的立场。我在《驱魔》中引用了奥斯特洛夫斯基临终前说的那句话：“我们为之奋斗的与我们所建成的完全两样。”

江晓原教授和我都谈到了对人工智能发展的担忧。一方面，它为人类带来极大便利，另一方面，它却可能是杀手。比如，用途越来越广的无人机正在填加人工智能。我时常站在大楼的窗边，便会想到会不会有一只机器鸟忽怀恶意向我撞来。试想，有一个人掌握了几百架智能化无人机，避开监控，对城市发动袭击，将是如何。如果智能无人机小型化，变得像马蜂那样，并能自我复制和进化呢？我猜想，我们有一天生或会活在一个钢铁罩子中，外面不是大气，而是由嗡嗡作响的智能机器构成的厚厚乌云。

但大力发展人工智能已不可避免（江教授称为“绑架”）。懒惰的人类在本性上就着迷于机器替代。不想走路，就发明汽车；不想出力，就发明机器人；不想计算，就发明计算机。为防止人工智能伤害人类，阿西莫夫提出三定律。但这并没有阻止人们去设想机器消灭人类的情形。许多科幻都描述了人工智能的可怕，比如发疯的电脑哈尔，从未来返回的终结者机器人，等等。在现实中，一些知名人士都强调了滥用人工智能的危险性。

马斯克不希望人类开发出强大的人工智能

这里更多是一种不确定的未知恐慌。在夏笳发表在《自然》杂志上的科幻小说《让我们说说话》中，人工智能被设计出来陪人聊天，但是它们创造了一种人类不懂得的语言，自己之间谈得热火朝天，而人类完全不知所云。这是我见过的最大恐惧。这就像一个外地人看到一群上海人当着自己面说上海话时，那种被遗弃的孤独感和慌乱感。

或许某个社会可以把人工智能的问题，交予公众广泛讨论，制定法律；或许另一社会可以做出一个类似互联网防火墙的AI墙，对敏感的人工智能行为进行限制。而另一种可能是，人工智能计算出了它毁灭人类的概率，为了防止这种情况出现，它便不断进化出更强大的毁灭能力，与众多人工智能一道，形成一种类似于核威慑的确保相互摧毁机制的“AI威慑”，从而取得恐怖平衡。

这似乎比天网更为可怕

（文章转载自吴岩博客，略有删减，

感谢吴岩老师授权转载）