-
谷歌PaLM2训练所用文本数据量是初代的近5倍
5月17日消息，谷歌上周在2023年I/O开发者大会上推出最新大型语言模型PaLM 2。公司内部文件显示，自2022年起训练新模型所使用的文本数据量几乎是前一代的5倍。据悉，谷歌最新发布的PaLM 2能够执行更高级的编程、运算和创意写作任务。内部文件透露，用于训练PaLM 2的token数量有3.6万亿个。所谓的token就是字符串，人们会将训练模型所用文本中的句子、段落进行切分，其中的每个字符串通常被称为token。这是训练大型语言模型的重要组成部分，能教会模型预测序列中接下来会出现哪个单词。谷歌于2022年发布的上一代大型语言模型PaLM在训练中使用了7800亿个token。尽管谷歌一直热衷于展示其在人工智能技术领域的实力，说明如何将人工智能嵌入到搜索引擎、电子邮件、文字处理和电子表格中，但一直不愿公布训练数据的规模或其他细节。微软支持的OpenAI也对最新发布的GPT-4大型语言模型细节保密。两家公司都表示，不披露这些信息的原因是人工智能行业存在激烈竞争。谷歌和OpenAI都想要吸引那些希望使用聊天机器人而不是传统搜索引擎搜索信息的用户。但随着人工智能领域竞争的白热化，研究界要求提高透明度。自推出PaLM 2以来，谷歌一直表示，新模型比之前的大型语言模型更小，这意味着该公司技术在完成更复杂任务时能变得更高效。参数（parameters）通常用于说明语言模型的复杂性。根据内部文件，PaLM 2接受了3400亿个参数的训练，初代的PaLM接受了5400亿个参数的训练。谷歌没有立即发表评论。谷歌在一篇关于PaLM 2的博客文章中表示，新模型使用了一种名为“计算最优缩放”（compute-optimal scaling）的“新技术”，能使得PaLM 2“更高效，整体性能更好，比如推理更快、服务参数更少，服务成本也更低。”在发布PaLM 2时，谷歌透露新模型接受了100种语言的训练，并能胜任各种各样的任务。包括谷歌试验性聊天机器人Bard在内的25项功能和产品用的都是PaLM 2。PaLM 2按参数规模有四个不同的版本，从小到大依次是Gecko（壁虎）、Otter（水獭）、Bison（野牛）和Unicorn（独角兽）。根据谷歌公开披露的信息，PaLM 2比任何现有模型都更强大。Facebook在今年2月份宣布推出名为LLaMA的大型语言模型，其在训练中用了1...
业界动态 2023-05-17 13:33:30 -
谷歌一雪前耻！全新PaLM2反超GPT-4，办公全家桶炸裂升级，Bard史诗进化
新智元报道编辑：编辑部【新智元导读】新版PaLM2超强进化，办公全家桶Workspace全面升级，Bard全面增强、所有人可用……可以看出，这届I/O大会，谷歌是真的憋出不少大招。谷歌I/O2023大会，仿佛又给谷歌的支持者们打了一针强心剂...
智能设备 2023-05-11 11:11:58 -
谷歌深夜王炸级更新！PaLM2大模型震撼发布！Bard写代码，哪里不懂点哪里！
这回，谷歌急了！他们这半年过得是真憋屈！近半年来AI的发展速度就像坐上了火箭，11月ChatGPT横空出世，今年2月发布的NewBing和3月发布的GPT-4，更是让许多大厂都难以望其项背。不甘落后的谷歌立刻推出聊天机器人Bard，结果因为演示视频中的小错误而导致股价大跌（其实GPT也会失误），现在，在谷歌一年一度的I/O大会上，谷歌需要让公众以及股东们相信其在AI方面的实力，来“一雪前耻”...
智能设备 2023-05-11 04:04:09 -
谷歌将在开发者大会上发布PaLM2展示创意写作和编码能力
5月9日消息，据泄露的内部文件显示，人工智能将成为谷歌今年开发者大会GoogleI/O的中心主题，该公司计划发布一系列生成式人工智能（AIGC）功能更新，包括推出通用的大型语言模型(LLM)。这份内部文件显示，谷歌将推出其最新、最先进的LLM——PaLM2...
业界动态 2023-05-09 07:12:32 -
传字节跳动去年营收800亿美元，直逼腾讯；Twitter蓝鸟变柴犬，狗狗币大涨30%；Mac电脑销量减半，M2芯片停产两月
极客早知道7minread传字节跳动去年营收800亿美元，直逼腾讯；Twitter蓝鸟变柴犬，狗狗币大涨30%；Mac电脑销量减半，M2芯片停产两月宛辰2023/04/04摘要瑞银：全球车企正迈向产量过剩，定价压力将增加；日本称将加强对高性能半导体制造设备出口管制，中方：已向日方严正交涉日本称将加强对高性能半导体制造设备出口管制，中方：已向日方严正交涉在3日举行的外交部例行记者会上，有记者提问，3月31日，日本经济产业省宣布，将修改《外汇和外贸法》配套行政实施条例，加强对6大类23种高性能半导体制造设备出口管制。不少媒体认为此举针对中国，日企涉及上述领域相关产品今后很难向中国市场出口...
智能设备 2023-04-04 10:14:17 -
Steam2022年12月最热新品榜
2022年已经结束，V社近日正式宣布12月Steam最热新品！与往常的最热新品榜单一样，V社查看当月发行的每款游戏，并根据发行后头两周的收入为大家特别介绍排名前20的游戏和排名前5的DLC。V社同时也会展示免费开玩游戏的前5榜单，排名标准为游戏在推出后获得的不重复玩家总数...
游戏资讯 2023-01-31 12:35:55 -
苹果2023款M2Pro版MacBookProSSD性能下降
IT之家1月25日消息，据9to5Mac报道，通过快速浏览基本款M2ProMacBookPro的内部，发现了一些新料。与基本款M2MacBookAir一样，2023最新的14英寸MacBookPro的基本款似乎比上一代配备更少的NAND芯片——但容量更高...
智能设备 2023-01-25 10:33:16 -
刚刚，苹果2023首场新品发布！M2Max炸场，MBP满配4.9999万
本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。智东西（公众号：zhidxcom）作者|云鹏编辑|心缘智东西1月18日报道，就在昨晚，苹果正式举办了2023年首场发布会，并亮出了M2Pro和M2Max两款M2芯片家族新成员...
智能设备 2023-01-18 10:08:44 -
暴雪：与网易谈判失败，下周终止国服游戏；苹果发M2MacBookPro；2022年中国人口减少85万
极客早知道6minread暴雪：与网易谈判失败，下周终止国服游戏；苹果发M2MacBookPro；2022年中国人口减少85万Jesse2023/01/18摘要快手CTO陈定佳辞任，将转任公司终身荣誉顾问微软计划将ChatGPT等AI工具整合进公司所有产品京东发布2023年新春贺信：疫情三年来新增28万员工暴雪中国：与网易的顺延谈判失败，将于1月23日中止国服游戏服务1月17日消息，暴雪中国官微发布公告，表示于上周与网易接触并寻求将游戏合约顺延6个月，从而使玩家能够不受干扰地继续游戏，但最终谈判失败，因此不得不于1月23日中止国服游戏服务。暴雪表示：「我们已与多个与我们一样拥有玩家为先价值观的潜在合作方展开了会谈...
智能设备 2023-01-18 10:08:34 -
苹果推出新一代M2Pro和M2Max芯片
苹果今日宣布推出两款新一代SoC芯片——M2Pro和M2Max，将Apple芯片突破性的能效表现提升至新高度。M2Pro芯片提升M2芯片原有架构，带来多达12核的中央处理器和多达19核的图形处理器，以及最高达32GB的高速统一内存...
智能设备 2023-01-18 10:08:32 -
《巫师3》Steam24小时在线峰值接近9万：超受喜爱！
《巫师3：狂猎》自上线了次世代更新后，热度便不断地上升，不仅有老玩家重新踏上旅程，更有不少新玩家来体验杰洛特的故事。根据SteamDB界面显示，《巫师3：狂猎》近几日的人气居高不下，24小时内玩家的在线峰值达到了83916人，目前仍57898人正在体验杰洛特的传奇故事...
游戏资讯 2022-12-19 23:15:50 -
也许没有M2Extreme了，苹果可能基于M2Ultra打造新一代MacPro
根据彭博社MarkGurman报道，考虑到成本和生产难度，苹果新一代MacPro可能不会基于传闻中的M2Extreme打造，而是采用M2Ultra。显然，苹果预期2年的平台转换计划并不是实施得很顺利...
智能设备 2022-12-19 15:28:39
