科学家论文揭示如何欺骗人工智能 错把大象当汽车

软件工程师也是人，而人类总会犯错误，所以我们的机器上总是充斥着安全漏洞。在构建驱动这些计算系统的软件时，他们可能让代码运行在了错误的地方，把数据储存在了错误的地方，或许他们储存了太多数据

软件工程师也是人，而人类总会犯错误，所以我们的机器上总是充斥着安全漏洞。在构建驱动这些计算系统的软件时，他们可能让代码运行在了错误的地方，把数据储存在了错误的地方，或许他们储存了太多数据。林林总总的安全漏洞成为了黑客的攻击对象，而且他们在攻击时毫不手软。

但即使是让人工智能取代那些软件工程师，风险仍然存在。AI也会犯错，正如谷歌和一个由特斯拉创始人Elon Musk启动的创业公司OpenAI的研究人员发布的一篇新论文里面描述的，这些风险在那些不断地改造我们的计算机系统的新型AI里非常严重，尤其是当AI接触监控摄像机，传感器等分布在世界各地的电子设备时，它们可以变得非常高危。

“这是一个每个人都应该思考的问题”，OpenAI研究人员，前谷歌员工Ian Goodfellow说，他与现任的Google研究人员Alexey Kurakin和Samy Bengio一起写了这篇论文。

看到不存在的东西

随着可以通过分析大量的数据来学习零散的任务的人工智能分支――深层神经网络的兴起，我们正在走向一个新的潮流：比起直接让我们的计算机执行服务，我们会为训练机器写更多的代码。而在Facebook、Google和微软这类互联网龙头企业内部，这种趋势早已变成现实。

马克・扎克伯格和他的公司在世界最受欢迎的社交网络上用数百万的图片训练神经网络去识别人脸。Google使用大量的口语词汇训练神经网络去识别安卓手机的语言指令。在未来，我们将创造智能机器人和无人驾驶汽车。

今天，神经网络不仅能识别物体，动物，标志和其他书面语言，而且他们能够非常好地识别出人脸和语音。但是它们也会犯错――有时候甚至会犯一些想象不到的错误。Kurakin说：“没有完美的机器学习系统”。事实上，在某些情况下，你可以欺骗这些系统，让它们以为自己看到或听到了实际上不存在的东西。

Kurakin解释说，只要非常细微地改变一个图像，神经网络就会认为这个图像包含了一些它实际上并没有的东西，这些改变是人类的肉眼也许也感觉不到的――有时改变仅仅是在图片的各处随意添加了几个像素。他说，你可以改变大象的照片的几个像素，然后欺骗神经网络让它认为这是一辆汽车。像Kurakin这样的研究人员把这些称为“对抗样本”。它们也是神经网络的安全漏洞之一。

Kurakin，Bengio和Goodfellow在他们的新论文中表明，神经网络即使被用于识别直接从相机或其他传感器传过来的数据，可能也会存在同样的漏洞。

想象一下，如果有一个利用一个基于神经网络的人脸识别技术来控制一个绝密的设施的出入权限的系统，Kurakin说，你只需在你的脸上画一些点就可以轻易欺骗它，让它认为你是另外一个人。Goodfellow说，这种类型的攻击几乎可以用于任何形式的机器学习算法，不仅包括神经网络，还包括决策树和支持向量机――那些在十几年来一直广受欢迎，帮助机器从数据中学习规律的算法。

事实上，他认为类似的攻击已经在现实世界中实践。他猜测金融公司很可能正在使用这些漏洞去欺骗竞争对手所使用的交易系统。“他们可以伪造一些交易，诱使他们的竞争对手以低于真实价值的价格去抛售股票，”他说，“然后他们就可以以低价格买进股票。”

在他们的论文中，Kurakin和Goodfellow通过在一张纸上打印一个敌对的图像并将这张纸展示给相机来欺骗神经网络。但他们认为更微小的攻击也可以有效果――比如前面的在人脸上加一些像素点的例子。

Goodfellow说：“我们不确定我们在现实世界中可以做的是哪些，但我们的研究表明这是可能的。”“我们证明了我们可以欺骗相机，我们认为存在各种各样的攻击途径，包括通过添加人类看不见的标识来欺骗一个人脸识别系统。”他补充道。

一场难以实现的骗局

虽然这决不是一件容易实现的事情，但要欺骗神经网络，你不一定需要知道它是如何设计或者它是通过什么数据训练的。正如前面的研究展示，如果你能建立一个对抗性样本来欺骗你自己的神经网络，它也可能也可以欺骗其他处理相同任务的神经网络。换句话说，如果你可以欺骗一个图像识别系统，你或许就可以欺骗另一个。

Kurakin说：“你可以用另一个系统去制作一个对抗性样本，而这个样本会更有可能欺骗你的神经网络。”

Kurakin特别强调，这些是小的安全漏洞。他说，在理论上它们是一个问题，但是在现实世界中，精准攻击是很困难的――除非攻击者把点按照完美的模式画在她的脸上，否则什么都不会发生。然而，这种漏洞是真实存在的。随着神经网络在现代世界中发挥越来越大的作用，我们必须填补这些漏洞。但怎样做呢――构建更好的神经网络。

虽然这不容易，但这项工作正在进行中。深层神经网络的设计理念是模仿大脑神经元的网络，这就是它们被称为神经网络的原因。但归根结底，它们只是一个庞大而复杂的数学运算――层层相叠的微积分公式。这种公式是由像Kurakin和Goodfellow这样的研究人员组建的，而他们都是人类。从本质上来说，他们控制这些系统，而他们已经在为消除这些安全漏洞绞尽脑汁。

Kurakin说，有一个选择就是把对抗样本加入到神经网络的训练集里，教神经网络区别真实的和敌对的图像。研究人员也在寻找其他的选择，但他们并不能确定这些方法到底有没有效果。归根结底，想让神经网络变得更好，我们人类自己首先要不断进步。