-
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
阿里达摩院：GPT-4替代年薪60万数据分析师只要几千块，论文已发
梦晨 发自 凹非寺量子位 | 公众号 QbitAIGPT-4替代初级数据分析师的成本只有0.71%，换成高级数据分析师则是0...
智能设备 2023-05-27 16:02:14 -
已在40多个国家和地区上线，OpenAI在更多市场推出官方版ChatGPT
IT之家 5 月 26 日消息，OpenAI 宣布已经在 40 多个国家和地区，推出了适用于 iPhone 和 iPad 的官方 ChatGPT 应用程序。官方版 ChatGPT 于上周率先在美国市场推出，OpenAI 承诺未来几周内会继续扩展到更多国家和地区...
智能设备 2023-05-26 11:18:38 -
研究揭示ChatGPT美国用户人群画像：年轻、富裕、受过良好教育
5月25日消息，美国皮尤研究中心（Pew Research Center）最近开展的一项调查发现，58%的美国成年人熟悉ChatGPT，那些年轻富裕、受过良好教育的美国人更了解ChatGPT。调查显示，拥有研究生学位的高收入人士更熟悉ChatGPT...
业界动态 2023-05-25 08:08:16 -
联想公布2022/23财年：营收4240亿非PC业务占比近40%
5月24日消息，联想公布截至2023年3月31日的2022/23财年全年及第四财季业绩：全年营收为4240亿人民币，净利润129亿人民币；第四季度营收为865亿人民币，净利润19亿人民币，全年非PC营收占比提升到近40%。ISG：营收668亿元 同比增长37%全财年，ISG实现营收668亿人民币，同比增长37%，运营利润猛增1363%，正式由转型域进入绩效域...
互联网 2023-05-24 12:49:12 -
铠侠发布BG6系列PCIe4.0SSD：首个采用第六代BiCSFlash的产品
铠侠（Kioxia）宣布，推出BG6系列PCIe 4.0 SSD。这是铠侠第一个采用第六代BiCS FLASH 3D闪存的产品，性能几乎是其上一代BG5系列SSD的1...
智能设备 2023-05-24 10:54:51 -
ChatGPT重塑Windows！操作系统全面接入，Bing也能用插件了
金磊 丰色 西风 发自 凹非寺量子位 | 公众号 QbitAI一夜之间，微软彻底重新定义了PC交互。因为这一次，它把Bing和ChatGPT插件的能力，注入到了整个Windows系统！这就是在刚刚结束的Build 2023中，微软重磅推出的Windows Copilot。有了它，想让自己的PC变得更适合工作，就只需要一个简单的动作——问：如何调整我的系统，（以便更好地）来完成工作？然后Windows Copilot“啪的一下”就会给你2个建议：开启Focus Sessions功能（Windows11利于专注工作的新功能）。把系统变成深色模式。此时，若是你觉得建议有用，只需点击一下“yes”，一键就可以让系统变成你想要的样子。把桌面上的PDF“喂”给Windows Copilot，总结文档内容，也就是点下鼠标的事情了。不仅如此，Windows Copilot还可以跟你电脑里所有的App来一个联动。例如问它：什么音乐比较适合工作的时候听？它会立即在Spotify中给你推荐几个音乐播放列表，而我们所要做的，依旧是一个点击的动作而已。并且在各种插件的加持之下，像做logo这样的工作，就变成傻瓜式的“问”、“点击”、“拖拽”。微软在现场也直接道出了此举背后的目的：Make every user a power user.让每个用户都是高级用户。而且对于开发者来说，或许Windows Copilot的玩法会变得更有意思。因为它允许Bing或ChatGPT插件对它进行扩展。如此一番“大秀”之下，引得网友直呼“AI将无处不在”：不过Windows Copilot，也仅仅是微软Build 2023中“上新”的一隅。Bing，引入到ChatGPT了从现在起，不止是Bing里有GPT-4，ChatGPT里也有Bing了。这个模式叫做“使用必应进行搜索（Browsing with Bing）”，和不久前刚刚上线的插件功能在一个列表中。这个功能已经对plus用户开启，免费版的很快也将上线。勾选上该模式之后，你就可以进行一些基于必应的实时查询了。比如问ChatGPT：本周的Build大会，关于...
智能设备 2023-05-24 10:50:10 -
微软将把必应搜索添加到ChatGPT中与谷歌展开竞争
5月24日消息，微软公司将把其必应搜索引擎接入到OpenAI的聊天机器人ChatGPT中，以进一步加强与这家人工智能初创公司的联系，并挑战谷歌在搜索领域的主导地位。微软表示，从美国当地时间周二开始，必应将被纳入ChatGPT Plus高级版订阅服务中，这个搜索引擎很快就会成为聊天机器人的常规版本...
业界动态 2023-05-24 07:32:23 -
【链得得独家】ChatGPT的数字乌托邦逻辑基础是虹膜换代币？狂欢背后可能是新一轮割韭菜
上周ChatGPT公布发布世界币（worldcoin）项目确实让人大吃一惊。外媒报道，由OpenAI首席执行官Sam Altman共同创立的Worldcoin，已经收到1亿美元投资，将用于基于虹膜识别技术的加密行业世界币（Worldcoin）项目的推进...
区块链 2023-05-23 13:11:11 -
OpenAI承诺将很快推出ChatGPT安卓版
IT之家 5 月 23 日消息，OpenAI 已在 iOS 的 App Store 上推出了一款新应用 ChatGPT ，进入移动世界。另外 OpenAI 还承诺 ChatGPT 应用程序将“很快”登陆 Android 平台...
智能设备 2023-05-23 10:28:44 -
苹果公司限制员工使用ChatGPT，担心泄露公司机密
根据《华尔街日报》查阅的内部消息来源和公司文件，苹果公司已限制员工使用ChatGPT和GitHub Copilot等人工智能编码工具，因为担心将机密数据泄露给外部来源。据报道，苹果也在开发类似的人工智能技术...
手机互联 2023-05-22 07:42:38 -
苹果禁用ChatGPT，为防机密泄露！大模型版Siri即将升级推出
明敏 杨净 发自 凹非寺量子位 | 公众号 QbitAI前脚ChatGPT刚刚上线iOS嗨翻全球，火速霸榜APP Store；后脚却曝出消息——苹果自家员工不能用ChatGPT，而且已经好几个月了。这事儿马上引发巨大讨论。要知道，从ChatGPT趋势到来后，苹果就几乎保持“隐身”，好不容易iPhone拥抱ChatGPT了，现在好像又泼了盆冷水。有人已经开始嘲讽：苹果是害怕员工发现AI真的有用吗？所以他们要用自己的？最好别像Siri那样。诶？还真说不定。借着这次大新闻，苹果研究自家大模型的消息也不胫而走，而且Siri也将很快上线AI新功能。最新库克公开表态：生成AI技术潜力很大，但有问题需要解决，也侧面印证了他们的AI进展。所以苹果不是不搞，或许只是发布时间没到。担忧数据泄露据《华尔街日报》消息，苹果禁止员工使用的包括ChatGPT和Copilot。知名苹果产品追踪记者也在推特上进一步爆料，ChatGPT在苹果员工禁用名单上已经好几个月了。会有这样的决策倒也不稀奇。一方面，ChatGPT本身在数据使用方面一直备受争议。最初，除了API用户以外的所有用户聊天记录，都会被用来训练和提升模型性能，这意味着用户数据有被泄露的风险。事实上，今年3月确实发生这样的意外事故。一个bug导致一些用户的对话标题泄露，其他人能在自己的界面上看到这些信息。当时这个bug一度导致ChatGPT临时关闭。上个月，OpenAI正式推出新规定，以进一步保护用户数据安全：用户可以通过关闭聊天记录功能，来避免自己的个人数据被官方拿去训练。另一方面，出于安全方面的考虑，不少大型企业都出台相关政策要求员工不要使用ChatGPT。如亚马逊在1月就要求员工不要将代码输入ChatGPT，此前有消息称，它们发现了ChatGPT会模仿亚马逊内部代码。摩根大通在2月限制全球员工使用ChatGPT，原因是出于合规方面的考虑。还有更加离奇一些的，三星曾表示20天内因ChatGPT发生了3起数据泄露事故。而一直以强调安全著称的苹果，做出类似举措也就合情合理了。毕竟一旦员工不小心将机密项目的信息输入系统，这些内容就可能泄露给OpenAI。还有人表示，ChatGPT的输出结果还是有出错的可能，或许会导致bug产生、数据漏洞等，所以大公司禁止使用也合情合理。不过，ChatGPT爆火几个月以来，它在工作效率、工作创意上的提升是不可否认的。很多人都将它加入到了自己的工作流，包括陶哲轩这样的大佬。最初明令禁止学生使用ChatGPT的纽约公立中学，也在这两天内取消禁令。所以不免有人担心，苹果这样封闭ChatGPT，是否会扼杀自身的创新能力。值得一提的是，曾经禁止员工使用ChatGPT的亚马逊，近期也加入了大模型浪潮，发布自家大模型平台。这也开始让人猜测，大厂不是不拥抱ChatGPT，只是要拥抱自己的ChatGPT？事实上，苹果的最新语言大模型，真的有消息了。Siri被曝很快上线新AI功能据9to5Mac爆料，Siri将很快上线新的AI功能。新技术代号为Bobcat，早在今年3月就被爆出已经在进行测试了——首先是在最新tvOS 16.4 beta上测试，新框架叫做Siri Natural Language Generation（Siri自然语言生成）功能，之后这一功能进入到苹果的其他操作系统中。但爆料显示只不过是实现了在Apple TV上与Siri讲笑话。除此之外，还在试验如何将语言生成用于计时器。与此同时，这一新项目的领导人也被爆出。John Giannandrea，目前是苹果负责机器学习和AI战略的高级副总裁，直接向库克汇报。他早在2018年就加入苹果，负责监督整个公司的AI和ML战略以及Core ML和Siri技术的开发。在加入苹果之前，他曾在谷歌呆了八年，领导机器智能、研究和搜索团队。而就在最近的投资者电话会议上库克表态，也侧面证实了他们在做相关的研发，只不过发布时机还没到。此前，就有苹果员工曾抱怨Siri工作效率低下。Siri之所以逐渐走向没落，是因为内部团队混乱、决策缓慢、代码笨重，导致在Siri和AI开发上受到严重阻碍。更本质的原因，还在于技术研发和判断上。比如现在ChatGPT所展现的核心功能和技术，就曾被苹果高管否决过。就像长对话能力，他们认为会导致对话容易失控，而且“很花哨”。为了防止Siri胡言乱语，苹果选择让人工团队预先写出答案，并且还多次拒绝允许用户对Siri回答问题进行反馈，导致开发团队无法理解模型的局限。虽然不能肯定苹果禁用ChatGPT，与自身开发AI工具有关。但是苹果Siri上线新AI功能，想必也是不少人所期待了。参考链接：[1]https://www...
智能设备 2023-05-21 01:40:21
