深度学习黑箱：探秘人类编写的AI究竟在想什么

如今，深度学习已经贯穿于我们的生活，无论是汽车自动驾驶、AI 医学诊断，还是面部、声音识别技术，无一没有 AI 的参与。然而，尽管人们早已明了深度学习的输入和输出，却对其具体的学习过程一无所知。

近日，针对这一问题，奥本大学（Auburn university）计算机科学和软件工程副教授 Anh Nguyen 对图像识别的深度学习算法进行了逐点剖析；无独有偶，加州大学欧文分校（UC Irine) 计算机科学副教授 Sameer Singh 正在制作归因图（attribution maps)，以帮助理解为何自然语言算法懂得与你交谈，并说出一些涉及种族主义的话。

深度学习黑箱

机器学习（machine learning）是人工智能的一种形式，它使用大量的数据来训练自己对某些问题形成算法。例如，向机器提供成千上万张标有“猫”的照片，它就能学会识别“猫”这一生物。

Nguyen 说，机器学习的想法可以追溯到 20 世纪 50 年代，但直到最近，计算机才能够有效地处理大量数据，并得出精确结果。到 20 世纪 90 年代，机器学习算法仅使用简单的概念，但很明显，现实生活中存在各种复杂的问题，从而需要更复杂的算法，这就是深度学习的意义所在。

与机器学习不同，深度学习（deep learning）不需要结构化数据作为基础，利用人工神经网络（artificial neural net），即多个神经元一起工作，通过这些“神经元”来考虑数据并对数据进行分类。

神经网络非常擅长图像识别，当向它们提供足够的数据后，他们可以挑出人眼看不见的图案或差异。利用这一点，深度学习可以实现自动驾驶汽车的行人侦查或肿瘤筛查。

但是，当出现超出其参数范围的输入时，神经网络也会崩溃。在特定的，狭窄定义的任务中，深度学习通常优于人类，但是一旦神经网络失效时，往往会导致严重的后果。如果错误识别的图像发生在肿瘤患者身上或自动驾驶车上时，后果可能是致命的。

但问题是这些系统是如此的密集和复杂，人类无法理解它们，对人类来说，深度学习如同一个科技黑箱。除了令人不安之外，我们无法理解的计算机程序还可以做出一些不可预测的事情，并且当它们出错时，很难对其进行反向工程或纠正。

正如 Nguyen 所说， “归根结底，我们要搞清楚为什么神经网络的行为是这样，而不是相反。”

揭示神经网络的想法

能彻底搞乱人工智能的数据被称为“对抗性数据”，它会导致一个通常可靠的神经网络犯下奇怪的错误。静态的、波浪状的人字纹，以及五颜六色的条纹，可能被 AI 自信地识别为“蜈蚣”或“熊猫”。

不仅如此，一些常见的图像也会让深度学习人工智能崩溃。把消防车图片倒过来，AI 就会看到一个大雪橇；放大一辆公共汽车的窗户，它在 AI 眼中就变成了一个出气筒。

“令人震惊的是，我们发现这些网络会在某种程度上被这些奇怪的图案所愚弄，这是我们从未想象过的。”Nguyen 表示。

为了找出原因，Nguyen 创建了一个叫做 DeepVis 的工具来分析神经网络算法。该工具能够将深入学习 AI 的完整程序分离开来，并显示出单个神经元正在识别的内容。从这里开始，Nguyen 能够打破深入学习AI的连续工作进程，从而理解它是如何一步步达到最终检测结果的。

将识别对象简单的随机旋转几次，就足以将 AI 的分类精度从 77.5% 降到3%

由于神经网络这种复杂性，对其所做的“解剖”对于人工智能开发人员最有用，提供的大量细节可以帮助科学家们更深入地理解破解黑箱所需的神经网络训练，就好比医生对于肿瘤的研究一样。

但是，即使使用 DeepVis，黑箱的秘密可能也不会完全打开。神经元群的绝对复杂性可能让人类难以理解，毕竟它是一个黑箱。

2016 年，来自波士顿大学和微软研究院的研究人员为一种算法提供了 300 多万英文单词的数据集，数据从谷歌新闻文章中提取。研究人员重点关注那些最常用的英文单词，然后让算法做完形填空。

“男人（Man）之于程序员（computer programmer），那么女人（woman）之于什么”，机器通过算法“思考”后，得出答案：“家庭主妇（homemaker）”。

很明显，AI也会发出类似于人类社会的性别歧视和种族主义言论。为了找出其中的原因，专注于破解自然语言处理（NLP）算法黑箱并提出深度学习思维（deep learning thinking）这一概念的 Sameer Singh，使用了一种叫做归因图（attribution map）的工具：将语言插入到文本生成 NLP 算法中，归因图将突出显示某些部分，展示什么在神经网络内部“发光”——也许是一个特定的字母组合。

Singh 的团队首先使用某些单词，开发出特殊的触发器，然后，他们按照归因图所说的算法最“感兴趣”的模板来修改这些单词，最终的结果是一连串的文字和半拼写错误，从而引发了某些看起来像“种族主义”的言论。

“突出显示的内容对模型的预测或输出有很大的影响，”Singh 说，利用这些信息，可以使用故意的对抗触发器来尝试发现问题，并理解深度学习算法中的联系。这足以让人们了解人工智能的想法。

虽然归因图也有缺点，不同的地图生成器可能彼此不一致，但是大概的理解可能是我们所能获得的最好的理解。

AI 黑箱 VS 人类黑箱

事实上，随着算法变得更加复杂、更加强大和不透明化，围绕黑箱的问题也进一步深入到哲学上：当我们人类自己的神经网络仍然神秘时，要求 AI 神经网络完全透明是公平的吗？

不得不承认，人类本身的神经网络也是一个黑箱。我们虽然知道一些物理结构，知道它们是如何工作，但对“思想”和“意识”的确切含义仍不清楚。

接下来我们是否应该思考，机器模仿人脑并继承其精确、灵活等优点的同时，是否也继承了人性中的偏见？

当然，随着未来科学家们在深度学习领域中不断取得的突破，由人类创造的 AI 黑箱终将变成“灰色”。

参考资料：
https://www.freethink.com/articles/deep-learning-ai
https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/
https://www.re-work.co/events/deep-learning-summit-san-francisco-2020/speakers/anh-nguyen
https://dy.163.com/article/DLO1PQGS0512M9G9.html;NTESwebSI=76F031925F6DE464C143666795C218F1.hz-subscribe-web-docker-cm-online-rpqqn-8gfzd-di16l-678598t4xgp-8081