牛津、剑桥、OpenAI联合发出AI预警《人工智能的恶意使用》
全球技术地图
创新丨前沿丨科普丨资讯
最近26位来自牛津大学、剑桥大学、OpenAI和电子前沿基金会（EFF）的研究人员，共同撰写了一份报告《人工智能的恶意使用》，综述大量关于人工智能造成安全风险的学术研究，并呼吁各国政府和政策及技术专家通力合作，一同化解此类危险。下文为报告的摘要部分。
人工智能与机器学习是眼下炙手可热的两项前沿技术，从机器翻译到医学影像分析，我们在各个领域中都能看到它们的身影，将来，人工智能的应用范围还将进一步扩大。但是，历代研究人员却很少注意到这样一个事实：人工智能有可能会被不法分子恶意利用。
本篇报告分析了人工智能技术在遭到恶意利用后可能带来的安全威胁，并且针对这些威胁提出了预测与预防途径，以及减轻危害的方法。在人工智能安全领域中，攻防双方将面临一场旷日持久的拉锯战，本篇报告无法直接为这场“战争”画上句号，但是能够对这场战争的各个方面做出分析，以帮助大众意识到严峻的AI安全形势。
人工智能领域的安全形势瞬息万变。对此，我们向高层决策人员提出四点建议：
1.政府决策者应与科研人员保持密切协作，及早发现并预防人工智能技术的恶意利用，并减轻其造成的危害。
2.相关的科研人员以及工程师应当认真对待人工智能这柄“双刃剑”，在科学研究与日常工作中时刻绷紧神经，将有关技术遭到误用的情形纳入考虑，做到防患于未然，并且在不法分子的恶意应用露出苗头时及早做出干预。
3.有关人员应当从具有类似“双刃剑”性质的成熟科研领域（例如计算机网络安全）中汲取经验，确立“最佳实践方案”，并推广到人工智能领域的研究当中。
4.积极联络各方专家以及利益相关人士，共同参与讨论，应对挑战。
如今，人工智能的本领变得愈发强大，应用领域变得愈发广泛。我们预测，这种趋势将在以下方面带来新的安全威胁：
现有威胁进一步扩大。人工智能系统“神通广大”，能够轻易地完成以往需要大量人力、智力以及专业知识的工作任务，这将大大降低发动攻击的成本。在AI系统的帮助下，不法分子发动攻击的规模与速度将出现大幅提高，打击对象将更加广泛。
新兴威胁接踵而来。人工智能系统可以完成许多人类力所不能及的任务，这将带来许多前所未有的新型攻击。除此之外，安全人员也会利用AI系统展开防御，而其中的系统漏洞可能会被不法分子恶意利用。
安全威胁的特征出现转变。我们相信，日趋完善的AI能够让攻击变得更加高效、更加致命，同时更加隐蔽。AI系统中的漏洞将成为不法分子策动攻击时的“新宠”。
本篇报告分别对三大领域的安全形势进行了分析，并通过一系列典型案例展现这些领域中安全威胁的变化：
网络安全。对于现有的网络攻击而言，“攻击规模”与“攻击成效”二者往往不可得兼——但是，人工智能的参与将改变这一局面。曾经那些需要大量人力，却往往收效甚微的网络攻击（例如鱼叉式网络钓鱼）的危险性将大大提高。不仅如此，一系列新型攻击也将应运而生：例如，语音合成系统可以惟妙惟肖地模仿他人声音，进而影响人们的判断；而AI驱使的自动化黑客工具能够夜以继日地寻找各个软件中的漏洞。当然，AI系统自身也存在诸多弱点——例如，神经网络中就存在一种“对抗样本”（adversarial example），即便是微小的扰动也会导致最后的结果天差地别。
现实安全。如今，各国部队纷纷将人工智能技术投入到了武器研发（例如无人机以及自动武器）工作中。在未来的战场上，这些AI系统的威胁不容小觑。除此之外，不法分子还可能针对物联网系统实施破坏（例如让自动驾驶汽车崩溃），或者让智能设备脱离人类的控制（想象一下数以万计的微型无人机漫天飞舞的场面）。
政治安全。人工智能还可能被用来进行监视活动（例如大数据分析处理）、舆论攻势（例如针对特定人群展开宣传活动）、或者欺诈行为（例如生成虚假视频）。此类活动将对个人隐私以及社会稳定造成极大的威胁。不仅如此，人工智能甚至能通过公开数据对人的行为、情绪以及信念进行分析，进而“洞悉”人心。显然，生活在集权国家中的人民面临的挑战更加严峻，但是，民主国家对此同样应当保持警惕，时刻维护公众舆论的可靠性与纯洁性。
除了上述几条面向高层的建议之外，我们还探讨了四个优先研究领域中的关键问题以及潜在挑战：
向网络安全行业“取经”。人工智能攻击与网络安全联系密切。因此，AI研究人员应当学习网络安全行业中的“模拟对抗”（red teaming）、“形式化验证”（formal verification）体系，建立合理的漏洞披露制度，研发安全工具，保障硬件安全。
改变开放模式。随着人工智能与机器学习技术的“双刃剑”特征愈发明显，我们需要重新审视现有研究模式以及研究机构的开放性，高度重视此类敏感技术的保密以及安全问题，建立集中准入许可制度，从其它类似的技术中吸取经验，确保万无一失。
建立“责任文化”。未来，人工智能技术将深刻地影响全世界的安全形势，而相关领域中的研究人员以及组织机构正处在这样一个举足轻重的地位上。因此，我们必须加强对有关人员的教育，帮助他们树立高尚的道德准则，建立合理、完善的工作制度以及工作预期。
技术与政策，协同并进。除了上述几点以外，我们还对未来的一系列技术进行了展望，并且分析了可行的政策干预措施，以帮助人类更好地掌控人工智能。将来，我们应当在隐私保护、人工智能与公共安全、AI资源监控等领域继续耕耘，并且辅以其它的立法和监管对策。
所有这些干预措施不仅要求整个人工智能行业加以配合，也需要立法人员、政府工作人员、安全研究人员和教育工作者的共同协作。AI安全之路，任重而道远。