苹果Siri可能会成为监听设备 当心聆听机器

6月22日，《大西洋月刊》（The Atlantic）近日刊登了一篇题为《当心聆听机器》（Beware the Listening Machines）的文章。作者伊桑・朱克曼（Ethan Zuckerman）认为，聆听机器可能成为人们的一种监听系统，人们应该对此类问题具有更多的意识和讨论

6月22日，《大西洋月刊》（The Atlantic）近日刊登了一篇题为《当心聆听机器》（Beware the Listening Machines）的文章。

作者伊桑・朱克曼（Ethan Zuckerman）认为，聆听机器可能成为人们的一种监听系统，人们应该对此类问题具有更多的意识和讨论。

当智能玩具和亲切的机器人可以聆听人们说话并作出反应，它们和监听系统之间的界限在哪里？

在我的生活中，一个很大的乐趣是参加我感到好奇但一无所知的领域的会议。所以，当我的朋友凯特・克劳福德邀请我参加一个为期一天的“聆听机器峰会”，我简直无法拒绝。

什么是聆听机器？一个很好的例子是芭比娃娃，这种玩具能够聆听孩子说的话并作出相应反应。

《华盛顿邮报》在今年3月的一篇文章里这样描述这种玩具：“在最近的一个纽约玩具展上，美泰公司的一个代表在介绍芭比娃娃的最新版本时说：“如果你说‘欢迎来到纽约，芭比娃娃。’芭比娃娃会回应道：‘我爱纽约！你呢？告诉我你最喜欢这个城市的哪个部分？食品、服装还是景点？”

通过记录你孩子的问题，将它们上传到一个语音识别服务器，并识别一个关键字（“纽约”），芭比娃娃完成了这个魔术。芭比娃娃的制造商ToyTalk利用你孩子的话语来帮助他们调整语音识别系统，并可能将这些声音文件存储下来以备将来使用。

这就是聆听机器的伎俩。你可能不希望美泰公司记录你孩子所说的话，如果你能想象你产生这种心理的原因，那么你应该能够想象到美泰公司使用这些记录文件时可能带来的危害――聆听系统的滥用或者审讯。（例如：“Siri，我是警察。告诉我们朱克曼先生最近的一百条谷歌搜索记录。他搜索过炸弹制造说明吗？”）

正如一位发言人（由于查塔姆宫规则，我不能告诉你这位发言人是谁），聆听机器具备监听系统所有三个方面的特征：

1、它们无孔不入，开始出现在我们生活的方方面面。

2、它们能持续而无限期地存储我们的通话记录。

3、它们能够处理收集到的数据，试图理解人们的说话内容，并按照它们的理解作出行动。

为了减少这种监听行为令人毛骨悚然的性质，聆听系统通常被嵌入迷人、可爱而令人愉快的设备：玩具、机器人和语音助手等。

聆听系统的支持者认为，它们是技术更深入地融入我们生活的方式，它们将一步步使计算机成为我们的帮手、玩伴和密友。最近有一个展示共享家庭伴侣机器人的视频引发了很大的争论，争论焦点包括我们是否会想以该产品设计的方式与机器人互动，以及一个足够强大的机器人伴侣应该如何表现。

如果机器人观察到人们虐待配偶的行为，它是否应该呼叫警察？如果机器人被设计成一个家庭中所有成员的朋友和知己，但为之付费的是母亲，我们能够希望它会告发吸食大麻的孩子吗？（这些问题的前提是机器人足够聪明，能够理解和解释复杂现象。我们的一个最好的发言者认为机器人距离这个水平的理解力还很遥远，但被精心设计的机器人旨在欺骗我们，它让我们相信它们已经具备这种深层理解力。）

最重要的问题在于，我们是在不知不觉、不情愿的情况下受到聆听机器的监听。ShotSpotter是一种城市枪声监听系统，如果它将其他事件――如一个吵闹的泳池派对――弄出的响声当作枪声并招来警察，你感觉如何？呼叫中心工作人员已经习惯将他们的通话记录下来，以备上司检查。如果Uber司机被要求将他们与顾客的通话记录下来以备检查，那将会怎样？邀请聆听机器进入你的生活，信任Siri或可爱的机器人伴侣是一回事情，而接受雇主或当地执法机关安装的机器的监听是完全不同的另一件事。

美国消费者监管机构的一个代表对此作了很好的发言，她在发言中概述了一些有可能被用来监管聆听机器的现行法律和法规。尽管美国并没有许多欧洲国家那样全面的隐私立法，但它也有一些特定部门的法律可以用来防止滥用监听机器：儿童在线隐私保护法（Children's Online Privacy Protection Act）、公平信用报告法（Fair Credit Reporting Act）和HIPA等。

她指出，美国联邦贸易委员会已经针对电子监视系统采取了两项行动，以防止“商务活动中的不公平和欺骗行为”，如某些商家在出租的笔记本电脑中安装侵犯隐私的拍照软件。美国联邦贸易委员会认为，这是对消费者真实而具体的危害。

我发现，现有的法规和公平理念可以为监管聆听机器提供一个框架，但我还是不会聆听机器。抛开执法方面方面的问题不论，我怀疑这些理念是否能够为思考聆听机器的未来监管提供一个强有力的框架，因为我不相信所有人都明白这些聆听系统的影响，并预计它们未来可能的发展。

公司发明新技术，并将它们推向市场。消费者偶尔做出反应，如果他们的反应足够大声，政府监管部门会介入调查并敦促公司作出改变。人们有一种感觉，似乎这是恰当一种的过程，如果采取更强有力的监管，也许会在技术发明者展示新技术的好处之前压制创新。

但这是一个弱势的监管模式，监管力量在与市场力量的对比中处于弱势。只要产品走上市场，企业就是尽一切努力说服人们：一种新的行为方式将成为新常态。当苹果 推出Siri时，它努力说服人们应该定期与计算机对话，以便预订晚餐、检查交通状况和征求意见。苹果可以通过将Siri预装在手机中并提供免费服务的方式使它变得普及，并为它大力宣传。

也许在未来某个时候，我们会看到有人起诉苹果不当使用Siri收集的数据。但在近几年中，苹果已经赢了:我们正在与电话交谈，分享我们的生活，并在这个过程中产生大量数据。这里有一个技术监管有关的问题，我们很少，――如果有的话，谈论什么是一个我们想要的技术世界。

我们想要一个这样的世界吗：我们要向我们的电话吐露自己的秘密?而且，怎么确保企业恰当处理这种新型交互产生的数据?(在聆听机器峰会上，有明智的政策制定人提出了这样的建议：机器人特权（robot privilege）。这种保护类似于律师与客户间的秘密特权（attorney/client privilege）――简单来说，就是律师与客户之间的沟通，包括案情分析、诉讼策略、谈判方法、事实陈述等一切通信和言论都是保密的，任何人不得披露。

就像一位朋友指出的那样，这些问题不是监管的问题，而是政策的问题。监管机构所面临的挑战是，在现有的管理框架内，我们如何确定哪些技术产品在进入市场之前应该受到特殊审查。

如果Sir的例子看来不切实际或琐碎，那么我们再想想斯诺登披露的美国国家安全局的数据收集计划。在这个事件中，我们再次看到那种推推拉拉（pushmi-pullyu）的监管模式，在这种模式的监管下，情报机构抛开了公众意见和国会监督，现在也仅仅是有所收敛。

让我们看看生物学界传来的消息：一种叫做CRISPR的强大的基因操纵新技术正在产生革命性的影响。CRISPR使有机体内的基因删除变得比从前容易得多，生物学家可以在生物体内任意删除或者添加基因。就其本身而言，CRISPR正在引发关于什么样的遗传干预是适当的这一问题的许多思考。

但进一步的想法――基因驱动――正在科学界引起激烈的辩论。使CRISPR具有可遗传性是可能的，这意味着你不仅可以改变一个生物体中的基因组，而且可以使它的后代继承基因组的这种变化。但是，应该由谁来做这样决定。

好消息是，已经有监管机构禁止此类研究的先例，而且科学家一直有激烈讨论问题以影响决策者的强大传统。聪明的人们正在争论基因驱动，我也有幸与该领域的科学家交谈，他们很乐意与公众就这项新技术是否、何时及以何种方式起作用展开对话。

我们需要IT领域产生一种更好决策文化。我们需要一个更好的对话传统。我们需要讨论的不仅仅是什么是可能的，我们更需要讨论的是：什么是值得要的。