-
SamAltman中国对话全文
Sam Altman 的致辞发生在6月10日智源大会的AI安全与对齐分论坛上。现场座无虚席，这位OpenAI CEO在屏幕上出现时，现场响起掌声，几乎所有人都举起手机对着屏幕拍照。不过Altman本人显得十分平静，甚至是谨慎。这是去年ChatGPT搅动全球AI热潮以来，Sam Altman 首度在中国背景的场合公开发表意见。事实上当天他也在离中国不远的地方，此前他刚刚抵达首尔，见了韩国总统。在对话中他自己提到，上一次来中国是2016年。在发表演讲后，他还与智源研究院理事长张宏江进行了一对一问答。以下为要点及实录。要点：随着我们在技术上越来越接近AGI，不对齐的影响和缺陷将呈指数级增长。OpenAI目前使用强化学习人类反馈技术来确保AI系统有用与安全，同时也在探索新的技术，其中一个思路是使用AI系统来辅助人类去监督别的AI系统。十年内人类将拥有强大的人工智能系统（AI System）。OpenAI没有相关的新的有关开源的时间表，尽管他承认在有关AI安全的问题上，开源模型具有优势，但开源所有东西可能并不是一条（促进AI发展的）最佳路线。看明白神经网络比看明白人类脑子容易多了。中国有最优秀的人工智能人才，AI安全需要中国研究者的参与和贡献。以下为演讲实录：今天，我想谈谈未来。具体来说，就是我们在人工智能能力方面看到的增长速度。我们现在需要做什么，为它们引入世界做好负责任的准备，科学史教会我们，技术进步遵循指数曲线。我们已经能从历史中看到这一点，从农业、工业到计算革命。人工智能令人震撼的不仅是它的影响力，还有它的进步速度。它拓展了人类想象力的边界，并且以快速的步伐进行着。想象一下，在未来十年里，通常被称为通用人工智能（AGI）的系统，在几乎所有领域都超越了人类的专业水平。这些系统最终可能超过我们最大公司的集体生产力。这里面潜藏着巨大的上升空间。人工智能革命将创造共享财富，并使提高每个人生活水平成为可能，解决共同挑战，如气候变化和全球卫生安全，并以无数其他方式提高社会福祉。我深信这个未来，为了实现它并享受它，我们需要共同投资于AGI安全，并管理风险。如果我们不小心，一个不符合目标的AGI系统，可能会通过提供没有根据的建议，破坏整个医疗系统。同样地，一个旨在优化农业实践的AGI系统可能会由于缺乏对长期可持续性的考虑而无意中耗尽自然资源或破坏生态系统，影响食品生产和环境平衡。我希望我们都能同意，推进AGI安全是我们最重要的领域之一。我想把我剩下的讲话重点放在我认为我们可以从哪里开始的地方。一个领域是AGI治理，这是一项具有全球影响的技术。鲁莽开发和部署造成的事故成本将影响我们所有人。在这方面，有两个关键要素：首先，我们需要建立国际规范和标准，并通过包容的过程，在所有国家为AGI的使用制定平等统一的保护措施。在这些保护措施之内，我们相信人们有充分的机会做出自己的选择。其次，我们需要国际合作来建立对日益强大的人工智能系统安全开发的全球信任，以可验证的方式。这不是一件容易的事情。我们需要作为国际社会投入持续而重要的关注，才能做好这件事。道德经提醒我们，千里之行始于足下。我们认为在这里采取最有建设性的第一步是与国际科技界合作。特别是，我们应该促进增加透明度和知识共享的机制，关于AGI安全方面的技术进展。发现新出现安全问题的研究人员应该为了更大的利益分享他们的见解。我们需要认真考虑如何在尊重和保护知识产权权利的同时，鼓励这种规范。如果我们做好了这一点，它将为我们打开新的大门，让我们能够加深合作。更广泛地说，我们应该投资、促进和引导对目标和安全研究的投资。在OpenAI，我们今天的目标研究主要集中在技术问题上，即如何让人工智能系统作为一个有用和安全的助手，在我们当前的系统中行动。这可能意味着，我们如何训练ChatGPT，使它不会发出暴力威胁或协助用户进行有害活动。但是随着我们更接近AGI，任何不符合目标的潜在影响和程度都将呈指数增长。为了提前解决这些挑战，我们努力将未来灾难性结果的风险降到最低。对于当前系统，我们主要使用来自人类反馈的强化学习来训练我们的模型，使其作为一个有用和安全的助手行动。这是后期训练目标技术中的一个例子，我们也在忙于开发新的技术。要做好这件事情需要很多艰苦的工程工作。从GPT-4完成预训练到部署它，我们花了8个月的时间来做这件事。总的来说，我们认为我们在这方面走在了正确的轨道上。GPT-4比我们以前的任何模型都更符合目标。然而，对于更先进的系统来说，目标仍然是一个未解决的问题，我们认为这需要新的技术方法，以及更多的治理和监督。想象一下，一个未来的AGI系统提出了10万行二进制代码。人类监督者不太可能检测到这样一个模型是否在做一些邪恶的事情。所以我们正在投资一些新的和互补的研究方向，我们希望能够取得突破。一个是可扩展的监督。我们可以尝试使用人工智能系统来协助人类监督其他人工智能系统。例如，我们可以训练一个模型来帮助人类监督者发现其他模型输出中的缺陷。第二个是可解释性。我们想尝试更好地理解这些模型内部发生了什么。我们最近发表了一篇论文，使用GPT-4来解释GPT-2中的神经元。在另一篇论文中，我们使用模型内部信息来检测模型何时在说谎。虽然我们还有很长的路要走，但我们相信先进的机器学习技术可以进一步提高我们产生解释的能力。最终，我们的目标是训练人工智能系统来帮助目标研究本身。这种方法的一个有希望的方面是，它随着人工智能发展的步伐而扩展。随着未来模型变得越来越聪明和有用作为助手，我们将找到更好的技术，实现AGI的非凡利益，同时减轻风险，是我们这个时代最重要的挑战之一。以下为对话实录：张宏江：我们离人工智能还有多远？风险是不是很紧迫，还是我们离它还很遥远？无论是安全的人工智能，还是潜在的不安全的人工智能。Sam Altman ：这个问题很难准确预测时间，因为它需要新的研究思路，而这些思路并不总是按照规定的日程来发展的。它可能很快就会发生，也可能需要更长的时间。我认为很难用任何程度的确定性来预测。但我确实认为，在未来十年内，我们可能会拥有非常强大的人工智能系统。在这样的世界里，我认为解决这个问题是重要而紧迫的，这就是为什么我呼吁国际社会共同合作来解决这个问题。历史上确实给我们提供了一些新技术比许多人想象的更快地改变世界的例子。我们现在看到的这些系统的影响和加速度，在某种意义上是前所未有的。所以我认为做好准备，让它尽快发生，并且解决好安全性方面的问题，考虑到它们的影响和重要性，是非常有意义的。张宏江：你感觉到了一种紧迫感吗？Sam Altman：是的，我感觉到了。我想强调一下，我们并不真正知道。而且人工智能的定义也不同，但是我认为在十年内，我们应该为一个拥有非常强大系统的世界做好准备。张宏江：你在刚才的演讲中也提到了几次全球合作。我们知道世界在过去六七十年里面临过很多危机。不过对于其中的很多危机，我们设法建立了共识和全球合作。你也正在进行一次全球之旅。你正在推动什么样的全球合作？你对目前收到的反馈感觉如何？Sam Altman：是的，我对目前收到的反馈非常满意。我认为人们非常认真地对待人工智能带来的风险和机遇。我认为在过去六个月里，这方面的讨论已经有了很大进步。人们真正致力于找出一个框架，让我们能够享受这些好处，同时共同合作来减轻风险。我认为我们处于一个非常有利的位置来做这件事。全球合作总是很困难的，但我认为这是一种机会和威胁，可以让世界团结起来。我们可以制定一些框架和安全标准，来指导这些系统的开发，这将是非常有帮助的。张宏江：在这个特定的话题上，你提到了高级人工智能系统的对齐是一个未解决的问题。我也注意到OpenAI在过去几年里投入了很多精力。你还提到了GPT-4是对齐方面的最佳例子。你认为我们能否通过对齐来解决人工智能安全问题？或者这个问题比对齐更大？Sam Altman ：我认为对齐这个词有不同的用法。我认为我们需要解决的是如何实现安全人工智能系统的整个挑战。对齐在传统意义上是指让模型按照用户的意图行事，这当然是其中的一部分。但我们还需要回答其他一些问题，比如我们如何验证系统是否做了我们想要它们做的事情，以及我们要根据谁的价值观来对齐系统。但我认为重要的是要看到实现安全人工智能所需要的全貌。张宏江：是的，如果我们看看GPT-4所做的事情，在很大程度上，它仍然是从技术角度来看的。但除了技术之外，还有许多其他因素。这是一个非常复杂的问题。通常复杂问题是系统性的。人工智能安全可能也不例外。除了技术方面之外，你认为还有哪些因素和问题对人工智能安全至关重要？我们应该如何应对这些挑战？特别是我们大多数人都是科学家，我们应该做什么？Sam Altman：这当然是一个非常复杂的问题。我会说没有技术解决方案，其他一切都很难。我认为把很多精力放在确保我们解决了安全方面的技术问题上是非常重要的。正如我提到的，弄清楚我们要根据什么样的价值观来对齐系统，这不是一个技术问题。它需要技术输入，但它是一个需要全社会深入讨论的问题。我们必须设计出公平、有代表性和包容性的系统。而且，正如你指出的，我们不仅要考虑人工智能模型本身的安全性，还要考虑整个系统的安全性。所以建立安全分类器和检测器，可以在模型之上运行，可以监控使用策略的遵守情况，这也很重要。然后，我也认为很难提前预测任何技术会出现什么问题。所以从真实世界中学习和迭代地部署，看看当你把模型放到现实中时会发生什么，并改进它，并给人们和社会时间去学习和更新，并思考这些模型将如何以好的和坏的方式影响他们的生活。这也很重要。张宏江：你刚才提到了全球合作。你已经访问了很多国家，你提到了中国。但你能否分享一些你在合作方面取得的成果？你对下一步有什么计划或想法？从这次世界之旅中，从你与各种政府、机构、机构之间的互动中？Sam Altman：我认为通常需要很多不同的视角和人工智能安全。我们还没有得到所有的答案，这是一个相当困难和重要的问题。此外，正如所提到的，这不是一个纯粹的技术问题，使人工智能安全和有益的。涉及在非常不同的背景下了解不同国家的用户偏好。我们需要很多不同的投入才能实现这一目标。中国拥有一些世界上最优秀的人工智能人才。从根本上说，我认为，考虑到解决高级人工智能系统对齐的困难，需要来自世界各地的最好的头脑。所以我真的希望中国的人工智能研究人员在这里做出巨大的贡献。张宏江：我明白今天的论坛是关注AI安全的，因为人们对OpenAI很好奇，所以我有很多关于OpenAI的问题，不仅仅是AI安全。我这里有一个观众的问题是，OpenAI有没有计划重新开源它的模型，就像在3.0版本之前那样？我也认为开源有利于AI安全。Sam Altman：我们有些模型是开源的，有些不是，但随着时间的推移，我认为你应该期待我们将来会继续开源更多的模型。我没有一个具体的模型或时间表，但这是我们目前正在讨论的事情。张宏江：我们把所有的努力都投入到了开源中，包括模型本身、开发模型的算法、优化模型和数据之间关系的工具。我们相信有必要分享，并让用户感觉到他们控制了自己所使用的东西。你是否有类似的反馈？或者这是你们在OpenAI中讨论的内容？Sam Altman：是的，我认为开源在某种程度上确实有一个重要的作用。最近也有很多新的开源模型出现。我认为API模型也有一个重要的作用。它为我们提供了额外的安全控制。你可以阻止某些用途。你可以阻止某些类型的微调。如果某件事情不起作用，你可以收回它。在当前模型的规模下，我不太担心这个问题。但是随着模型变得像我们期望的那样强大，如果我们对此是正确的，我认为开源一切可能不是最佳路径，尽管有时候它是正确的。我认为我们只需要仔细地平衡一下。张宏江：关于GPT-4和AI安全方面的后续问题是，我们是否需要改变整个基础设施或整个AGI模型的架构，以使其更安全、更容易被检查？你对此有什么想法？Sam Altman：这肯定有可能，我们需要一些非常不同的架构，无论是从能力还是从安全性方面来看。我认为我们将能够在可解释性方面取得一些进展，在当前类型的模型上，并让它们更好地向我们解释它们在做什么以及为什么。但是，如果在变换器之后还有另一个巨大的飞跃，那也不会让我感到惊讶。而且实际上我们已经在原始的变换器之后，架构已经发生了很大的变化。张宏江：作为一个研究人员，我也很好奇，下一步的AGI研究方向是什么？在大模型、大语言模型方面，我们会不会很快看到GPT-5？下一个前沿是不是在具身模型上？自主机器人是不是OpenAI正在或者准备探索的领域？Sam Altman：我也很好奇下一步会发生什么，我最喜欢做这项工作的原因之一就是在研究的前沿，有很多令人兴奋和惊讶的事情。我们还没有答案，所以我们在探索很多可能的新范式。当然，在某个时候，我们会尝试做一个GPT-5模型，但不会是很快。我们不知道具体什么时候。我们在OpenAI刚开始的时候就做过机器人方面的工作，我们对此非常感兴趣，但也遇到了一些困难。我希望有一天我们能够回到这个领域。张宏江：听起来很棒。你在演讲中也提到了你们是如何用GPT-4来解释GPT-2的工作原理，从而使模型更安全的例子。这种方法是可扩展的吗？这种方向是不是OpenAI未来会继续推进的？Sam Altman：我们会继续推进这个方向。张宏江：那你认为这种方法可以应用到生物神经元上吗？因为我问这个问题的原因是，有一些生物学家和神经科学家，他们想借鉴这个方法，在他们的领域里研究和探索人类神经元是如何工作的。Sam Altman：在人工神经元上观察发生了什么比在生物神经元上容易得多。所以我认为这种方法对于人工神经网络是有效的。我认为使用更强大的模型来帮助我们理解其他模型的方法是可行的。但我不太确定你怎么把这个方法应用到人类大脑上。张宏江：好的，谢谢你。既然我们谈到了AI安全和AGI控制，那么我们一直在讨论的一个问题是，如果这个世界上只有三个模型，那么会不会更安全？这就像核控制一样，你不想让核武器扩散。我们有这样的条约，我们试图控制能够获得这项技术的国家数量。那么控制模型数量是不是一个可行的方向？Sam Altman：我认为对于世界上有少数模型还是多数模型更安全，有不同的观点。我认为更重要的是，我们是否有一个系统，能够让任何一个强大的模型都经过充分的安全测试？我们是否有一个框架，能够让任何一个创造出足够强大的模型的人，既有资源，也有责任，来确保他们创造出的东西是安全和对齐的？张宏江：昨天在这个会议上，MIT未来生命研究所的Max教授提到了一种可能的方法，就是类似于我们控制药物开发的方式。科学家或者公司开发出新药，你不能直接上市。你必须经过这样的测试过程。这是不是我们可以借鉴的？Sam Altman：我绝对认为，我们可以从不同行业发展出来的许可和测试框架中借鉴很多东西。但我认为从根本上说，我们已经有了一些可以奏效的方法。张宏江：非常感谢你，Sam。谢谢你抽时间来参加这次会议，虽然是虚拟的。我相信还有很多问题，但考虑到时间，我们不得不到此为止。希望下次你有机会来中国，来北京，我们可以有更深入的讨论。非常感谢你。 ...
智能设备 2023-06-13 10:58:37 -
iPhone15价格及参数曝光，可能是近几年升级最大的苹果手机
距离 iPhone 15 系列发布越来越近了，目前参数方面的爆料已经非常丰富，而现在价格方面也终于有了消息。据 Wedbush 知名分析师丹·艾夫斯在一份报告中表示，今年发布的 iPhone 15 系列将比去年的 iPhone 14 系列更贵。艾夫斯对 iPhone 价格的预测准确率一直都挺高，例如去年他就准确预言了 iPhone 会在一些国家或地区抬高售价，当时给出的原因是美元汇率发生了变化。而这次预测 iPhone 15 系列涨价，给出的原因则是市场需求很大。艾夫斯认为，目前大约有 2.5 亿台 iPhone 已经使用了四年以上，这些用户可能会在今年更换新机。同时，他还预测了一波 iPhone 15 的出货量，预计今年能够出货 2...
手机互联 2023-06-13 10:58:35 -
Redmi最强机皇！K60Ultra7月发：网友已经等不及了
快科技6月12日消息，一位网友在卢伟冰微博下留言催Redmi K60 Ultra，这是K60系列的最强版本，也是Redmi史上最强悍的高端旗舰，该机将在7月份正式发布。据悉，Redmi K60 Ultra搭载联发科天玑9200+旗舰平台，这颗芯片采用台积电4nm工艺制程，其CPU和GPU性能较上一代得到显著提升。具体而言，天玑9200+采用八核CPU设计，包括1个主频高达3.35GHz的Arm Cortex-X3超大核、3个主频高达3...
手机互联 2023-06-13 10:58:19 -
美国苹果用户画像：45岁下拥有iPhone、iPad和Mac比例超过40%
IT之家 6 月 8 日消息，根据消费者情报研究合作伙伴（CIRP）公布的最新报告，苹果现有产品阵容依然走高端路线，健康的生态不断吸引用户加入，在消费者市场有很大的影响力。最新报告按照年龄划分，展示了拥有 iPhone、iPad 和 Mac 三件套用户的比例情况...
智能设备 2023-06-08 10:12:18 -
三星OneUI6.0更新机型清单曝光S23系列10月推送
【手机中国新闻】此前有消息称，三星有望在今年年底前推出基于Android 14的One UI 6.0更新。据手机中国了解，已经有媒体提前放出可能会获得三星One UI 6...
手机互联 2023-06-08 08:31:50 -
“赌”输了？大量安卓用户逃离选择iPhone，外媒：断供华为的后果
在华为被美制裁时，主动站队老美的企业，都在进行一场豪“赌”。这并不是一家中企的事情，而是整个中国科技产业的事情，拒绝华为，相当于对整个中国市场以及14亿中国消费者说“不”，后果相当严重。而这些主动站队老美的企业有ASML公司、谷歌、英特尔等等。其中，谷歌已经初尝断供华为的苦瓜了，“赌”输了。近日，谷歌官宣了最新数据，Android 13系统设备的保有量只有14.7%，对比其主要竞争对手iOS，差距依旧相当大。值得一提的是，华为自研的HarmonyOS系统，也从谷歌、苹果手里硬生生抢走了部分份额，成为全球第三大手机操作系统，这才是谷歌最大的“威胁”。同时，根据CIRP的报告显示，在2022...
手机互联 2023-06-07 01:28:56 -
iOS17来了：支持20款iPhone升级，你体验了吗？
6月6日凌晨，苹果在WWDC上正式发布新版的iOS 17系统，开发者预览版本Beta 1已经开始推送，有资格的用户已经可以升级。在机型支持方面，iOS 17取消了对2017年发布的iPhone 8系列，和首款采用刘海屏的iPhone X的支持，最低要求为2018年发布的iPhone XS系列/XR起...
手机互联 2023-06-07 01:28:52 -
2.5万元的苹果头显，会是你的下个iPhone吗？
东西问客户端综合报道时隔近10年，苹果再度发布重磅新品。北京时间6日凌晨，苹果2023年全球开发者大会（WWDC），发布了该公司首款MR头显设备Apple Vision Pro，这是苹果公司自2014年以来首次推出新的产品类型。“这是款革命性的产品。”苹果CEO蒂姆·库克说道，为了这一天筹划了很久，他自己更是期待已久。这是一款数字世界和现实世界相结合的革命性产品，将开启空间计算新时代，“如同Mac将我们带入个人计算时代，iPhone将我们带入移动计算时代，Apple Vision Pro将带我们进入空间计算时代。”丨作为“One More Thing”的Vision Pro▲（苹果官方网站直播截图）“One more thing”（还有件事儿）是苹果前CEO史蒂夫·乔布斯的经典名言。当年，乔布斯总是在临近发布会结尾时酷酷地说一句“One More Thing”，然后带来最大的惊喜。而今年作为“One more thing”的主角就是大家期待已久的Apple Vision Pro。在电影《头号玩家》中，主角们带上一个“VR眼镜”，就能够进入一个叫“绿洲”的虚拟世界，在里面体验各种各样的游戏，开启“第二人生”。此番发布的Vision Pro和《头号玩家》中的“VR眼镜”也有几分相似，意味着一个崭新的虚拟世界即将出现在消费者面前。Vision Pro是苹果很久以前就已经立项的产品，迟迟未能推出也说明产品在技术上的难度。最终亮相的Vision Pro在技术上有不少创新。Vision Pro去掉了控制器，用户用手势、声音或眼球追踪就可以操作控制，有点像“意念”在控制一切。从苹果视频中演示看，手势动作只要拇指和食指轻轻的缩放就能完成App操作控制，眼球追踪可以精准识别用户意图，从而帮助应用切换，声音控制通过Siri可以调出界面输入文字，从而实现一些搜索功能。值得注意的是，在官方新闻稿中，苹果并未将该头显设备定义为VR（虚拟现实）、AR（增强现实）或者是MR（混合现实），而是提出了“首个空间计算（spatial computing）系统平台”的概念，这也是苹果对于Vision Pro的定位。空间计算是指无缝地混合数字世界和现实世界，让两个世界可以相互感知、理解和交互，创造前所未有的体验。从功能来看，Vision Pro至少涵盖四大使用场景，包括观影、游戏、办公、家居等。在苹果官方的演示视频中，用户可以身临其境般观看《星球大战》等特效大片，还可同时观看多场体育比赛。据悉，迪士尼将为其提供流媒体服务；办公方面，Vision Pro能够投射一个类似于现代桌面的屏幕，以取代电脑显示器，用户可以使用键盘等设备打字。▲（苹果官方网站直播截图）丨售价2万多 仍未达到“消费级”苹果公布的Vision Pro售价为3499美元（约合人民币2.48万元）起，将于明年年初先在美国上市，明年晚些时候在全球其他市场上市。《华尔街日报》称，苹果定价远远高于竞争对手。不久前，Meta发布的竞品Quest3，起售价仅为499...
手机互联 2023-06-07 01:28:48 -
苹果宣布StandBy功能：让iPhone变身智能屏幕
IT之家 6 月 6 日消息，苹果在今天召开的 WWDC 2023 开幕演讲中，宣布了 StandBy 功能，iPhone 启用之后，可以充当智能屏幕（Smart Display），对于使用智能家居的用户来说是一项实用功能。苹果宣布将在今年秋季推出的 iOS 17 更新中，推出 StandBy 功能...
手机互联 2023-06-06 21:39:26 -
苹果首款头显VisionPro发布！你的下一台iPhone何必是手机
每隔一段时间，就会有一个革命性的产品出现。2007年，初代 iPhone 发布会上，乔布斯用这句话作为开场白...
手机互联 2023-06-06 21:33:57 -
和硕董事长谈iPhone15量产：目前处于提升良率阶段
【手机中国新闻】苹果新机iPhone 15系列备受瞩目，其量产进度也备受市场关注。据手机中国了解，代工大厂和硕董事长童子贤谈到iPhone 15量产消息时表示，目前还处于良率提升的阶段，某些工厂跑出第一支样机并不奇怪...
手机互联 2023-06-06 21:32:27 -
iOS17支持机型名单公布！iPhone8/X无缘升级
快科技6月6日讯，今天凌晨苹果首秀iOS 17系统。其中开发者Beta将于今日抵达，公测版Beta 7月上线，正式版随iPhone 15定档7月...
手机互联 2023-06-06 05:43:25
