谷歌：如何制造出不作弊的机器人？

——选自ZDNet——

作者：Liam Tung

全球技术地图编译

如何制造出不作弊的机器人？

答案是——很难

因为

一旦机器人懂得如何作弊

它会一直作弊下去

人

们经常争论人工智能是否会抢走人类工作机会，甚至起来造反，毁灭人类。谷歌表示，他们希望对人工智能引发的安全性问题给出精准答案。

来自谷歌大脑、埃隆·马斯克支持OpenAI和斯坦福、伯克利大学的科学家联合起来，研究人工智能在应用于家庭、办公室和产业时所可能出现的五个安全问题。他们联合发表了名为《人工智能安全性的具体问题》的论文。

「尽管可能出现的人工智能安全风险已经引发公众的广泛关注，但以前的争论大多是一些假定和推理。我们认为有必要在实际的机器学习研究过程中考虑这些风险，并开发一些切实可行的方法来设计能安全可靠运行的人工智能操作系统，」谷歌大脑的科学家Chris Olah（论文作者之一）写道。

这篇论文主要研究的是机器学习系统造成的事故，而非人工智能带来的伦理或政治经济方面的问题，论文以清洁机器人（即OpenAI之前表示要制造的家务机器人）为框架。

谷歌对人工智能技术的立场是，它们必须对人类极其有用且有益。

谷歌母公司Alphabet的CEO埃里克·施密特最近表示，担心机器终有一天会超过人类并毁灭人类是毫无根据的，人工智能现在远没有这个能力。谷歌的目标很简单，就是要为每个人都配备私人助理，比如谷歌的智能聊天App阿罗。

这篇论文的作者们同样关注利用深度强化学习技术建立的代理，这些代理已经用在了AlphaGo和能玩多种Atari游戏的人工智能机器人上。

强化学习通过试错法，利用奖惩制度来训练机器，有望提升其运动技能和解决问题的能力。

有个例子是这样的，一个室内清洁机器人一心追求清洁，却摔碎了花瓶，显然这个机器人把自己的任务搞砸了。

当代理在其回报函数中发现bug时，它倾向于利用bug来追求回报最大化。对这个代理而言，这不是一个错误，而只是一个普通程序，它可以合理利用这段程序来获得更大回报。

「如果我们给清洁机器人设定的目标是在看不到任何杂乱物品的情况下将获得回报，那么它可能会闭着眼把所有物品都清理一空。如果给这个机器人设定的目标是清理所有杂乱物品，那么它可能会故意制造混乱，因为这样它在清理中得到的回报就会更大，」研究员指出。

其他例子还包括，一个像AlphaGo这样的下棋代理可能篡改记录分数的传感器。

研究员们指出，现代强化学习代理「已经能发现并利用所处环境中的bug，比如在游戏中发现并利用bug来让它们赢得比赛。」

「一旦代理破解了自己的回报函数，发现获得更高回报的捷径，它会继续这样做。从长期来看，这可能带来额外的风险，」研究员写道。

这篇论文也提出了防止代理误入歧途的策略。为避免代理破解回报代码，作者建议可以将回报函数设置成智能代理，这样不容易被破解。

另一种方法是引入类似沙盒的计算机安全概念，来防止软件bug被利用。还有一个策略是设计一个假的bug，一旦被代理利用就会发出警报。

然而，研究人员指出，一个足够智能的代理可能会看穿这个把戏，并避开这个陷阱，然后以更隐蔽的方式继续干坏事。

「看来很难完全解决这个问题，但我们相信以上这些办法能缓解这一问题，也许使用更多数据或是综合运用这些方法就能得到更稳健的解决方案，」他们总结道。

这篇论文探讨的其他潜在安全问题包括，如何检测大规模人工智能系统，如何让人工智能在不伤害行人的情况下探索新的道路，以及如何确保当代理不处于原生环境中时能识别出来。

全球技术地图

微信号：drc_iite