-
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
倒计时4天，特斯拉有大动作！车主：早该如此！
“早就听说，特斯拉要在国内进行大范围OTA召回，但我们至今还没收到相关的召回OTA升级新版本推送。”日前，多位特斯拉进口Model 3车主告诉《每日经济新闻》记者。对此，特斯拉相关工作人员回应称：“召回现在还没开始，公司计划于5月29日在国内正式发起召回。届时，公司将会分批次向所有在召回范围内的车辆发起OTA升级召回在线邀请，车主只需点击升级即可完成召回动作。”日前，根据国家市场监督管理总局官网消息，特斯拉汽车（北京）有限公司、特斯拉（上海）有限公司将自2023年5月29日起，召回在2019年1月12日至2023年4月24日期间生产的部分进口Model S、Model X、Model 3及国产Model 3、Model Y汽车，共计约110.46万辆。“这些几乎是我们近4年在国内销售的所有车辆。”上述特斯拉相关工作人员坦言。据悉，本次召回范围内的车辆，没有允许驾驶员选择能量回收制动策略；同时，对驾驶员长时间深度踩下加速踏板的情况可能没有提供足够提醒。以上因素叠加可能增加长时间误踩加速踏板的概率，可能增加碰撞的风险，存在安全隐患。5月23日，新能源汽车行业专家杨伟斌在接受记者采访时表示：“特斯拉车辆是由美国团队开发出来的，主要根据美国消费者对车速高、加速快等动力性追求的驾驶习惯打造而来。但国内很多路段限速低，所以根据中国驾驶员习惯和交通法规，做适当功能优化升级是必要的。”主动召回为降低错踩踏板事故频率？“我的车是2019款进口Model S，一直都有‘能量回收制动’模式的自选功能，但我从提车开始就主动把它设置成了与燃油车驾驶习惯相同的‘低模式’。”张强（化名）告诉记者，在他提车前，特斯拉销售人员就曾向他说明“能量回收制动”功能下“低模式”和“标准模式”选项的区别。图片来源：每经记者 李星 摄根据张强演示的“能量回收制动”功能界面，该功能下有“标准”和“低”两种模式供车主选择。“标准”模式下，系统提供最大限度的能量回收制动，当行驶过程中松开加速踏板时，能量回收制动降低车辆速度，并将剩余能量反馈回电池；而“低”模式下，系统提供有限的能量回收制动，当行驶过程中松开加速踏板时，车辆需要更长时间降速，且滑行距离相较“标准”设定下更长。事实上，自2021年年初起，特斯拉才开始取消“动能回收调节选项”。“‘强制单踏板模式’并不是针对所有特斯拉车主的，仅是特斯拉对2021年后交付的国产Model 3和Model Y车型独有的设置。”一位国产Model 3车主告诉记者，自2021年开始，国产Model 3和Model Y就取消了“低能量回收制动”可调力度选项，强制用户使用单踏板逻辑，以此来降低刹车损耗，从而提升续航。上述特斯拉相关工作人员也表示，在此次召回过程中，公司将在不具备能量回收制动强度选择的车辆上提供选项，以允许驾驶员选择能量回收制动强度，同时还会调整车辆能量回收制动策略的出厂默认状态。在杨伟斌看来，特斯拉此次召回将“低能量回收制动”的选择权还给车主，是更人性化的表现。“默认出厂状态即为‘低’强度的能量回收模式，这与燃油车驾驶习惯相同，对于经验欠缺的驾驶员来说一定程度上可以降低碰撞风险。”杨伟斌表示，而对于那些喜欢单踏板模式或经验丰富的驾驶员，则可以通过界面设置，选择增加回收强度、提高续驶里程的“标准”能量回收制动模式。全国乘用车市场信息联席会秘书长崔东树在接受记者采访时认为，特斯拉在国内发起此次召回，是为了避免用户不适应单踏板模式的驾驶习惯带来的风险。“特斯拉就应该把选择权交还给用户，让他们根据自己的驾驶习惯自主选择，从一定程度上可以降低车主在紧急情况下误将‘加速踏板当刹车’事故发生的概率。”崔东树认为。特斯拉相关负责人强调称，此次召回由特斯拉主动发起。“错踩踏板是引发交通事故的常见原因，（我们）此次更新致力于降低因深度错踩踏板而造成交通事故的概率。”上述特斯拉相关负责人表示。不过，中国汽车工业协会秘书长助理兼技术部部长王耀在接受记者采访时则表示：“特斯拉此次OTA升级后，能否减少事故发生的频率只能看后续，目前没有办法测试得到结果。”车主：早该把自主选择权交还给我们实际上，特斯拉独有的“强制单踏板模式”一直备受争议，因为它取消了“低动能回收制动”的选择权，默认将动能回收调节至最强限度，目的是延长车辆续航。在强动能回收模式下，特斯拉用户仅通过控制加速踏板就能完成加速、减速和刹停，即“强制单踏板模式”。杨伟斌表示，特斯拉的单踏板模式设计目的是在更多回收电能、延长车辆续驶里程的同时让驾驶者轻松驾驶。不过，车企不能一味地为了延长续驶里程，而改变驾驶员的驾驶习惯。特斯拉方面称，此次OTA召回后，喜欢能量回收制动的车主，可以继续选择“标准”模式，靠“脚感”控制车速，同时提升车辆10%~20%的续航能力，降低刹车盘、刹车片磨损。不习惯该功能的车主，现在也可以先选择“低”模式来过渡。图片来源：每经记者 李星 摄多位进口特斯拉车主在接受记者采访时表示，尽管他们已经习惯了使用“单踏板模式”，但依然认为特斯拉此次能针对“强制单踏板模式”的车辆发起召回非常必要。“不管是否有需要，都是我们自己的决定，特斯拉没有权力替车主做选择，早就该把选择权还给所有车主。”张强认为。值得一提的是，日前有消息称，部分海外Model S和Model X车主把特斯拉告上了法庭，起因即为他们的车辆通过OTA升级后，续航里程相比之前更低，最高续航里程减少了20%，甚至有导致电池损坏的风险。对于OTA升级后车辆续航里程的下降，杨伟斌认为有这种可能。“对于电动车来说，有没有采用低能量回收制动功能，两者最大续航里程差距在15%~20%之间。”杨伟斌解释称，特斯拉车速快、质量重，选择最大和最小能量回收之间产生的续驶里程差距20%是有可能的。今年5月初，记者走访北京某特斯拉体验中心时曾发现，特斯拉在售国产车型上已通过OTA升级新增了“能量回收制动”选项。“系统更新后，用户可根据自己的驾驶习惯进行自主选择。”北京某特斯拉体验中心销售人员告诉记者。新增深踩提醒功能被质疑“您的车辆涉及未完成的召回事项。如事项涉及软件更新（OTA）召回，只需等待新软件版本推送后下载和安装即可。（召回）关于增加深踩加速踏板提醒与优化回收制动功能的软件更新。”这是2020款进口Model 3车主刘斌（化名）收到的特斯拉推送的一条召回信息。图片来源：车主供图刘斌告诉记者，这个推送消息是在国家市场监督管理总局发布特斯拉召回消息的同一天（5月12日）收到的。他的车辆一直都有“低能量回收制动”选择功能，这次主要是针对增加深踩加速踏板提醒的召回升级。“车主可以打开特斯拉APP，点击‘服务’按钮，确认车辆是否在OTA召回范围内。”上述特斯拉相关工作人员表示，如果车主车辆涉及OTA召回，只需等待新软件版本推送后，下载安装即可。据悉，除将“低能量回收制动”选择权还给车主外，特斯拉还将根据国家市场监督管理总局要求增加在驾驶员长时间深度踩下加速踏板时发出提醒功能。“车辆在驾驶员长时间深度踩下加速踏板时发出提醒，能够让驾驶员在误踩踏板时及时做出反应。”特斯拉方面解释称。不过，对于这一新增功能，车主们观点不一。“新增这一功能没有实质性作用。人都紧张得可能踩错刹车了，谁还能注意到听提醒声音。”多位进口特斯拉车主在相关微信群里表示。一位进口特斯拉车主在上述微信群里表示，“紧张的情况下，什么提醒声都没用。就那几秒，特斯拉提速都可以到100km/h以上了。”不过，也有车主认为新增上述功能有其必要性。因为在一定程度上，这一提醒可以防止车主踩错加速踏板。不过，他们也提出了自己的担心：如果每次踩一下加速踏板，车辆就发送提示音，“那就得烦死”。而杨伟斌则表示，特斯拉车辆最高车速可达到220km/h，速度越快刹车距离越长，尤其驾驶员在参照物不明显的状态下，很难感觉出车速的高低，长时间深踩加速踏板，车辆处于超高速状态，一旦出现障碍物，就会增加发生碰撞的概率。如果能及时通过闪屏或语音提醒，有助于提醒驾驶员及时降低行车速度，增加安全性。记者|李星编辑|裴健如 卢祥勇 杜波校对|程鹏｜每日经济新闻nbdnews原创文章｜未经许可禁止转载、摘编、复制及镜像等使用 ...
业界动态 2023-05-25 09:16:10 -
魅族OPPO纷纷公布紫色手机，这个颜值你能打几分？
我就是冤大头，4799元刚买了白色的魅族20 Pro 512GB，就出了个紫色的版本，魅族真有你的！感觉这个晨曦紫更好看啊，我个人是比较喜欢紫色的，最近几年手机厂商也挺乐意出紫色款的手机。像前两天官宣的OPPO Reno10系列就有个暮光紫的配色，不得不说OPPO玩颜色是有一手的，OPPO Reno10系列这个紫不是那种艳紫，会比较素雅一些，看着就感觉很贵气，有种类似奢侈品一样的高级感，瞬间就让我联想到香水包包这些东西...
手机互联 2023-05-23 08:00:40 -
2023年还在出2G手机？这个大厂真的疯了！
鉴于最近没什么新机，果子就跟你们聊聊比较有意思，曾经两大手机巨头最近的趣事吧！说起来你们可能不信，在现在 5G 当道、4G 够用、3G 淘汰、2G 近乎灭绝的网络通讯环境中，你们能想象现在还有手机厂商推出 2G 网络的机型吗？没错，不说估计你们也都猜到了！就是直到现在，仍没放弃直板功能手机的 “ 诺基亚 ” 。而在前些天，诺基亚就 2G 网络，推出了三款功能机。分别是 105 、106 、110 ....
手机互联 2023-05-15 11:46:07 -
又要颠覆一个行业？“ChatGPT之父”这个项目有望再获融资
①山姆·阿尔特曼接近为加密项目“世界币”融资1亿美元； ②三位知情人士透露，世界币在本轮筹集资金方面已经处于高级谈判阶段； ③本周早些时候，世界币推出了一个新产品——加密钱包World App。 财联社5月14日讯（编辑 赵昊）综合多家媒体报道，“ChatGPT之父”、人工智能研究公司OpenAI的首席执行官山姆·阿尔特曼接近为加密项目“世界币”（Worldcoin）融资1亿美元...
区块链 2023-05-14 22:55:18 -
想走出这个实验室，一台手机要被机器人“敲打”20万次
杨净发自凹非寺量子位|公众号QbitAI北京一个150平米的厂房里，一群装有摄像头和AI算法、可自主行动的机器人正在7*24小时不间断地运作。他们只有一个目的：“攻击”人类的智能手机...
智能设备 2023-05-08 13:15:50 -
三星ZFlip5外观遭外媒曝光这个外屏尺寸我惊到了
【手机中国新闻】如今，在小折叠屏领域，各家入局的手机厂商大有在“外屏”上卷的迹象。而衡量一款小折叠屏手机外屏优劣的最直观标准，可能就是它的尺寸了...
手机互联 2023-05-07 12:44:00 -
GPT风口下的数据标注员：人工智能背后的“老师”和AI局外人
数据标注员正在工作。受访者供图ChatGPT大火后，数据标注员迅速进入大众视野，也成了就业新风口...
智能设备 2023-05-07 12:43:16 -
只有这个爆款社交应用，中国无法复制，为什么？
在中国，相关场景可能被无数个细碎的小产品满足。内容|庄明浩编辑|凌梓郡Discord是一款广受美国年轻人喜欢的社交平台...
智能设备 2023-05-04 12:08:28 -
作业帮正式进入学习机市场，推出“AI老师一对一”学习机
4月25日消息，今日，作业帮正式推出行业首款AI老师一对一学习机，正式宣布进入学习机市场。据介绍，本次发布的新品作业帮学习机，基于作业帮近10年教育沉淀和科技创新能力积累，首创“AI老师一对一”模式，从摸底测试、制定计划、全程跟练、督促学习四个环节，引导学生基于AI大数据制定的一对一学习方案进行有针对性的学习...
互联网 2023-04-25 17:15:50 -
作业帮正式进入学习机市场，推出“AI老师一对一”学习机
4月25日消息，今日，作业帮正式推出行业首款AI老师一对一学习机，正式宣布进入学习机市场。据介绍，本次发布的新品作业帮学习机，基于作业帮近10年教育沉淀和科技创新能力积累，首创“AI老师一对一”模式，从摸底测试、制定计划、全程跟练、督促学习四个环节，引导学生基于AI大数据制定的一对一学习方案进行有针对性的学习...
互联网 2023-04-25 17:14:48 -
作业帮正式进入学习机市场，推出“AI老师一对一”学习机
4月25日消息，今日，作业帮正式推出行业首款AI老师一对一学习机，正式宣布进入学习机市场。据介绍，本次发布的新品作业帮学习机，基于作业帮近10年教育沉淀和科技创新能力积累，首创“AI老师一对一”模式，从摸底测试、制定计划、全程跟练、督促学习四个环节，引导学生基于AI大数据制定的一对一学习方案进行有针对性的学习...
互联网 2023-04-25 17:14:44
