热门搜索
-
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
我的世界Java版v1.12发布“多彩世界更新”，包括争议鹦鹉
感谢站搜网网友 Going2die 的投稿站搜网6月8日消息 尽管错过了一些很棒的主题包，现在原始Java版的《我的世界》今天迎来了v1.12“多彩世界更新”，正如其名字表述的那样，该版本带来了异常丰富的颜色模块等内容。（图片来自Mojang官网）为了庆祝我的世界，Mojang还推出了一些彩色的我的世界范例，令人印象深刻...
游戏资讯 2017-06-09 07:05:10 -
奇迹暖暖鹦鹉公主活动掉率怎么样
很多人问奇迹暖暖鹦鹉公主这次活动掉率？下面小编试了下分享给大家，大家可以参考一下。 指定关卡限时额外掉落梦鹦鹉之歌相关部件，有3关少女，4关公主...
游戏攻略 2016-12-12 12:15:17 -
这能算亲生吗？日本鹦鹉竟意外孵出小鹌鹑
据日媒报道，近日，一名日本网友随机在超市购买了一枚鹌鹑蛋，并交给家中的鹦鹉孵化，不料这只鹦鹉竟真的孵出了一只可爱的小鹌鹑。据了解，通常而言，人们在超市买到的鸡蛋都是未受过精的，且多被储存在冰箱里，即便是使用专门的孵化箱也很难孵出小鸡来...
趣科技 2015-12-18 10:12:21 -
冒险与挖矿鹦鹉怎么样 鹦鹉属性技能攻略
冒险与挖矿鹦鹉是有逼格的海盗船长身边的boss级鹦鹉，是鹦鹉中的战斗机。那么冒险与挖矿鹦鹉这样一个禽类佣兵究竟怎么样呢？一起来看看笨手机小编今日为您带来的鹦鹉属性攻略吧，希望大家喜欢！~ 冒险与挖矿鹦鹉 冒险与挖矿鹦鹉是海贼船上只有船长才可以养飞禽类宠物，鹦鹉也就是船长的象征...
游戏攻略 2015-11-05 09:39:28 -
全球最罕见动物异鹦鹉螺三十年后再现
作为当之无愧的“最深的秘密”，科学家已经连续三十多年没再看到这种活化石，直至最近。1984年，美国华盛顿大学生物学家彼特・沃德和同事布鲁斯・桑德斯一起，第一次发现了异鹦鹉螺...
趣科技 2015-08-30 09:42:34 -
大脑结构特殊 鹦鹉会说话的真相
近日，美国北卡罗来纳州杜克大学的科学家经过研究发现，鹦鹉特殊的大脑结构是它们能模仿人类说话的关键，同时此研究结果能够让科学家进一步研究人类语言功能的神经机制。鹦鹉是动物界为数不多的“语言学习者”，它们能够模仿人类的声音...
趣科技 2015-06-26 18:30:06 -
龙之骨鹦鹉森林怎么玩 鹦鹉森林攻略详解
龙之骨鹦鹉森林怎么玩？鹦鹉森林攻略详解。今天，笨手机天下第一帅将带大家来详细了解下龙之骨鹦鹉森林攻略，相信对大家更好的掌握游戏有所帮助...
游戏攻略 2015-06-24 02:24:09 -
结果匪夷所思 鹦鹉被车撞
澳洲墨尔本一名驾驶日前上班途中怀疑自己撞到一只「彩色动物」，但当下并无下车检查，反而继续往前开至少5公里之远，没想到到目的地后才惊见一b活生生的W^被塞入「车头格栅」内，吓得他赶紧报警。根据《每日邮报》报导，消防员最后花了5分才将瘸觯艺怆bW^仅脚部受到轻伤，随即送往兽医院治疗...
业界动态 2015-04-24 07:45:04 -
“电商+市集”的O2O运营模式，打造C2C电商平台 鹦鹉螺市集
【站长搜索网北京站】3月27日报道（文/董也）人们的购物习惯正在改变，个性化的商品需求和体验式消费变得越来越重要。无论是消费者日常的网购模式，还是站长搜索网之前报道的洋葱淘、淘世界、海蜜这类海淘模式，都存在着消费体验的问题...
智能设备 2015-03-28 00:03:08 -
又一个世界第一 鹦鹉洲长江大桥通车
站长搜索（www.adminso.com）：鹦鹉洲长江大桥通车，又一个世界第一 28日上午，武汉第八座长江大桥、世界跨度最大的三塔四跨悬索桥――鹦鹉洲长江大桥正式通车运营。鹦鹉洲长江大桥是武汉首座八车道跨江桥...
业界动态 2014-12-29 10:00:05 -
鹦鹉糖糖失宠拔毛自虐，网友：动物也需陪伴
AS网站目录（www.adminso.com）：鹦鹉糖糖失宠拔毛自虐，网友：动物也需陪伴 有年轻人因为压力大而抑郁，也有老人因为孤单而抑郁。而大连的一只名叫糖糖的鹦鹉也抑郁了！据悉，糖糖因被主人关在一间单独的房间饲养，在近一年前也患上了抑郁症，如今，身上的羽毛被它自己拔的所剩寥寥...
业界动态 2014-06-06 14:51:09
