从AI远见到中国速度:ScalingLaw发现者为何引全球热议?

原创 脑极体 2024-12-31 17:33


从20世纪50年代起,AI技术经历了70多年的发展。其间多种技术曾占据不同时代的高位,而当时间来到21世纪20年代,抵达我们今天正在经历的新一轮AI崛起,预训练大模型毫无疑问就是这个时代的主角。


那么,究竟是谁点燃了这次AI爆发的星星之火,推开了大模型的大门?相信你把这个问题抛给不那么了解AI的朋友,他也会脱口而出:是OpenAI啊。但就像大模型会出现幻觉一样,最近外网全面热议的一件事告诉我们,这个答案也可能掺杂了一些幻觉成分。


Scaling Law规模化法则,也被称为大模型的尺度定律。这一定律揭示了大语言模型的模型性能与其规模、训练数据集大小,以及训练资源之间存在着一种可预测的关系。也就是说投入资源越多,模型规模越大,最终的模型效果也就可能越好。从AI模型走向AI大模型,以及采取预训练机制的必要性都是由此而产生。因此Scaling Law也被业界广泛认为是模型预训练的第一性原理。



但就这项核心理论的起源,最近却有一项讨论火爆外网。根据AI大佬爆料,以及《南华早报》等权威媒体的报道,中国科技巨头百度比OpenAI更早发现了这一原理。这也意味着中国AI在大模型时代的前瞻性探索上可能更为超前。


而“AI突破总来自百度”这一现象的背后,更展示了体系化AI创新的核心价值。如何在全球AI竞赛的大背景下,全面释放出百度的体系化AI创新价值,将是未来中国AI发展的核心课题。



事情的起源是这样的。11月12日,在Lex Fridman的播客节目中,Anthropic联合创始人&CEO Dario Amodei探讨了Claude、AI模型的扩展规律、AGI、AI未来等多个话题。其中,作为AI领军人物的Dario Amodei也谈到了Scaling Law这个关键规律的发现。他提到了他最早发现这个规律,始于此前在百度工作时的相关研究。根据资料显示,Dario Amodei于2014 年 11 月到2015 年 10 月期间在百度工作,当时他在百度硅谷人工智能实验室(SVAIL)工作,致力于将深度学习模型扩展到大规模高性能计算系统。


Dario Amodei提到,2014年与吴恩达在百度研究AI的时候,他就已经发现了模型发展的规律Scaling Law,“随着你给它们提供更多数据,随着你让模型变大,随着你训练它们的时间越来越长,模型的表现开始越来越好。当时我并没有精确地衡量,但我和同事们都非常非正式的感觉到,给这些模型的数据越多、计算越多、训练越多,它们的表现就越好”。



这个说法很快也得到了其他途径的权威证明。11月27日,Meta研究员、康奈尔大学博士候选人Jack Morris在X上表示,“大多数人不知道,关于Scaling Law的原始研究来自2017年的百度,而不是2020年的OpenAI”。


这个说法的来源是,在百度于2017年发表的论文《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》论文当中,已经对Scaling Law做出了详细研究,并探讨了机器翻译、语言建模等领域的Scaling现象。业内人士认为,这篇论文的重要性被严重忽视了。


而透过这次全球AI界的正本清源,我们真正能够看到的是百度在AI领域的前瞻性与系统化创新能力。很多AI的答案总是由百度来找到,已经成为业界的全新共识。



十年之前,互联网技术正在持续发展,移动时代正处在高位。当时几乎没有哪家科技公司愿意从眼前的利益中抽身,去看看更遥远的未来。


但如果每家科技企业都固守短期利益,那么当科技拐点到来,下一轮技术突破开启,整个社会的科技竞争力不足就会暴露出来。我们只能重复一次又一次科技模仿者的角色。


好在百度决定打破这个循环,用预判能力提前点燃AI的星星之火。这种预判性,已经为百度,乃至为整个中国AI领域带来了极大效益。比如尽管外部刚刚爆料出百度更早发现Scaling Law的信息。但百度早已经基于对Scaling Law的研究和理解,很早就投入到预训练大模型的工作当中。于是可以在全球第一梯队发布大模型技术,率先打造投入应用的AIGC产品。



早在2013年1月的百度年会上,李彦宏宣布成立了深度学习研究院,并亲自任院长。李彦宏认为,“这应该是全球企业界第一家用深度学习来命名的研究院”。这意味着,在全球大多数科技企业对AI的认知停留在科幻电影的阶段,百度已经率先将AI技术作为学术研究与业务落地的发展方向,继而开始体系化、系统化进行AI创新。


多年以来,百度在硬件、基础软件、模型算法、业务落地等维度进行了AI探索。后来的事实也证明,对单项AI技术的投入只能是模仿,只有从源头上进行体系化研发投入,才能提供源源不断的AI创新成果。由李彦宏的前瞻性出发,启动搭建的百度AI系统,让百度十年来成为AI人才、AI技术与AI基础设施的策源地。



从人才角度看,全球AI人才看到了百度AI的未来,争相加入到这个体系中来。比如说2014年,吴恩达加入百度并在研究院首席科学家,担任百度公司首席科学家,负责百度研究院的领导工作。2014年5月19日,百度宣布任命吴恩达博士为百度首席科学家,全面负责百度研究院。同样在2014年,Dario Amodei斯坦福博士后毕业后加入百度硅谷AI实验室。之后,Dario amodei又招募了Jim fan来百度实习。这些人后来都成为AI爆发的全球领军人物,将百度的AI积淀带向世界。


从业务发展的角度看,百度在自然语言处理、机器视觉、知识图谱等领域打下了坚实的技术底座,并率先将AI技术带到搜索、信息流、地图、自动驾驶等核心业务,全面迭代了科技行业与AI技术的关系,为未来千行百业的智能化指定了航标。



从基础设施的角度看,百度打造的飞桨+文心大模型体系已经成为AI开发者与产业智能化共同依托的技术底座。目前,飞桨文心开发者数量已达1808万,服务了43万家企业,创建了101万个模型。百度已经成为AI模型与AI开发者的摇篮。


不至Scaling Law,百度在AI领域点燃了无数星星之火。它们燃烧盛放,成为中国AI在全球赛场上的动力引擎。



时间来到今天,预训练大模型驱动全球新一轮科技革命。在这个阶段当中,百度凭借跨越十年的AI洞见,以及由此打造的体系化AI创新,全面提升了中国AI的发展加速度。


比如说,百度在2019年发布了第一代文心大模型,几乎与OpenAI处于同一时期;2023年,百度是全球第一家推出生成式AI产品的科技大厂,让中国用户有了与无时间差的AI革命体验。


今天,百度文心大模型日调用量已经超过15亿。对比今年5月2亿的日调用量,半年时间达到了原来的7.5倍,对比一年前5000万的日调用量,达到了30倍。文心已经真正成为中国预训练大模型的底牌与王炸。



而把百度的前瞻能力与体系化AI创新,放在更大的全球科技竞赛背景中看,会发现其有着极其深远的意义。


日前,外媒Axios援引知情人士消息,美国候选总统特朗普计划任命一位人工智能部长(AI czar),以协调联邦政策和政府对新兴技术的使用。“AI部长”将在集中公共和私人资源方面发挥作用,确保美国在全球范围内占有人工智能发展的领先地位。这预示着特朗普下一个任期内AI技术发展将加速迎来变局。AI对于社会经济、国家战略的意义正被推升到史无前例的高度。


在全球AI竞赛的必然趋势下,百度的深入积累的AI技术路径、研究方法与工程化实践、应用探索,都将成为未来中国AI加速度的来源。


如何透过Scaling Law的全球热议,看清百度AI基座的不可替代性,并将这种价值应用在未来必将发生的AI竞赛中,将是中国AI接下来一个深刻且富有想象力的命题。


·
·

·

脑极体 从技术协同到产业革命,从智能密钥到已知尽头
评论
  • 在科技飞速发展的今天,机器人已经逐渐深入到我们生活和工作的各个领域。从工业生产线上不知疲倦的机械臂,到探索未知环境的智能探测机器人,再到贴心陪伴的家用服务机器人,它们的身影无处不在。而在这些机器人的背后,C 语言作为一种强大且高效的编程语言,发挥着至关重要的作用。C 语言为何适合机器人编程C 语言诞生于 20 世纪 70 年代,凭借其简洁高效、可移植性强以及对硬件的直接操控能力,成为机器人编程领域的宠儿。机器人的运行环境往往对资源有着严格的限制,需要程序占用较少的内存和运行空间。C 语言具有出色
    Jeffreyzhang123 2025-01-02 16:26 117浏览
  •  近年来,消费电子行业难言景气,长期处于萎靡不振的状态。其中,作为明星品类的智能手机同样被寒意所笼罩,出货量持续下跌。据IDC发布的报告显示,2023年全年,中国智能手机市场出货量约2.71亿台,同比下降5.0%,创近10年以来最低出货量。不过,在智能手机行业整体低迷之际,折叠屏手机却表现亮眼,成为智能手机市场唯一实现增长的品类。据IDC发布的跟踪报告显示,2023年,中国折叠屏手机市场出货量约700.7万台,同比增长114.5%。而这也是自2019年首款产品上市以来,出货量连续4年同
    刘旷 2025-01-02 11:27 38浏览
  • 早期概念与探索阶段(19 世纪以前):在古代,人类就对自动机械充满了想象,如古希腊时期的希罗发明的自动门、水钟等自动装置,中国古代的指南车、木牛流马等,虽然这些装置不能称之为真正的机器人,但为后来机器人的发展奠定了思想基础。从概念走向实践阶段(19 世纪~20 世纪初):随着工业革命的到来,自动机概念开始与实际机械设计结合,出现了具有实际功能的自动机械,例如雅卡尔提花机等,可通过穿孔卡片控制编织图案,为后续可编程控制的机器人发展提供了灵感。现代机器人产业萌芽期(1920 年代~1950 年代):
    Jeffreyzhang123 2025-01-02 14:53 94浏览
  • 随着全球汽车行业向更加清洁、可持续的能源转型,燃料电池汽车(FCV)作为一种具有广阔前景的技术,正逐渐受到业界的广泛关注。这类氢能源车辆通过燃料电池中的电化学反应,将氢气转化为电能,并仅产生水作为副产品,展现出显著的环境效益。然而,氢气的易燃性也为燃料电池汽车的安全带来了挑战,因此,高效的氢气泄漏检测系统和残氢排放监控技术对于确保车辆的安全性和可靠性至关重要。 ‌一、氢能源车氢气泄漏检测技术‌为了确保燃料电池汽车的安全性,氢气传感器被广泛应用于氢气泄漏检测中。这些传感器能够集成到车辆的
    锂电小助手 2025-01-02 10:05 65浏览
  •  在这个日新月异的科技时代,智能家居正以前所未有的速度融入我们的日常生活,从智能灯光到温控系统,从安防监控到语音助手,每一处细节都透露着科技的温度与智慧。而在这场智能化浪潮中,一个看似不起眼却至关重要的组件——晶体管光耦,正扮演着连接物理世界与数字世界的隐形桥梁角色,默默推动着智能家居行业的发展与革新。 晶体管光耦——智能家居的“神经递质”晶体管光耦,作为一种能够将电信号转换为光信号,再通过光信号控制另一侧电路开关的电子元器件,其独特的工作原理使得它在隔离传输、抗干扰及保护电
    晶台光耦 2025-01-02 16:19 78浏览
  • 2层PCB设计时候回路的寄生电感计算方式。由两个平面构成电流路径的回路电感,取决于每个平面路径的局部自感和它们之间的局部互感。平面越宽,电流分布就越扩散开,平面的局部自感就越小,从而回路电感也就越小。平面越长,局部自感就越大,从而回路电感也就越大。平面间距越小,平面之间的互感就越大,从而回路电感也就越小。当该区域为正方形,即长度等于宽度时,无论边长是多少,长和宽之比始终等于1。令人惊奇的是,一对平面上的边长为100mil的正方形区域和边长为1in的正方形区域的回路电感相同。平面对上的任一正方形区
    tao180539_524066311 2025-01-02 13:51 58浏览
  • 国际标准IPC 标准:IPC-A-600:规定了印刷电路板制造过程中的质量要求和验收标准,涵盖材料、外观、尺寸、焊接、表面处理等方面。IPC-2221/2222:IPC-2221 提供了用于设计印刷电路板的一般原则和要求,IPC-2222 则针对高可靠性电子产品的设计提供了进一步的指导。IPC-6012:详细定义了刚性基板和柔性基板的要求,包括材料、工艺、尺寸、层次结构、特征等。IPC-4101:定义了印刷电路板的基板材料的物理和电气特性。IPC-7351:提供了元件封装的设计规范,包括封装尺寸
    Jeffreyzhang123 2025-01-02 16:50 133浏览
  • 从无到有:智能手机的早期探索无线电话装置的诞生:1902 年,美国人内森・斯塔布菲尔德在肯塔基州制成了第一个无线电话装置,这是人类对 “手机” 技术最早的探索。第一部移动手机问世:1938 年,美国贝尔实验室为美国军方制成了世界上第一部 “移动” 手机。民用手机的出现:1973 年 4 月 3 日,摩托罗拉工程师马丁・库珀在纽约曼哈顿街头手持世界上第一台民用手机摩托罗拉 DynaTAC 8000X 的原型机,给竞争对手 AT&T 公司的朋友打了一个电话。这款手机重 2 磅,通话时间仅能支持半小时
    Jeffreyzhang123 2025-01-02 16:41 124浏览
  • 起源与诞生:AI 技术的起源可以追溯到 20 世纪 40 年代,随着计算机技术的兴起,科学家们开始思考如何让机器具备类似人类的智能。1950 年,英国数学家艾伦・图灵提出了著名的 “图灵测试”,为 AI 技术的发展奠定了理论基础。1956 年,美国达特茅斯学院举行了一次人工智能研讨会,标志着 AI 作为一门独立学科的诞生。符号主义阶段(20 世纪 50 年代 - 70 年代):研究人员主要关注如何使用符号逻辑和推理规则来模拟人类思维,试图通过构建复杂的逻辑系统来解决各种问题。然而,由于这种方法的
    Jeffreyzhang123 2025-01-02 15:15 104浏览
  • 【工程师故事】+半年的经历依然忧伤,带着焦虑和绝望  对于一个企业来说,赚钱才是第一位的,对于一个人来说,赚钱也是第一位的。因为企业要活下去,因为个人也要活下去。企业打不了倒闭。个人还是要吃饭的。企业倒闭了,打不了从头再来。个人失业了,面对的不仅是房贷车贷和教育,还有找工作的焦虑。企业说,一个公司倒闭了,说明不了什么,这是正常的一个现象。个人说,一个中年男人失业了,面对的压力太大了,焦虑会摧毁你的一切。企业说,是个公司倒闭了,也不是什么大的问题,只不过是这些公司经营有问题吧。
    curton 2025-01-02 23:08 137浏览
  • 常见通信标准无线通信标准蜂窝移动通信标准:如 2G(GSM)、3G(WCDMA、CDMA2000、TD - SCDMA)、4G(LTE)以及 5G 等。以 5G 为例,其具有高速率、低时延、大容量等特点,为智能交通、工业互联网和物联网等领域提供支持。无线局域网标准:主要是 IEEE802.11 标准,也就是我们常说的 Wi - Fi。例如 IEEE802.11ac 和 IEEE802.11ax(Wi-Fi 6)等标准,不断提升无线局域网的传输速度和稳定性。短距离无线通信标准:包括蓝牙(Bluet
    Jeffreyzhang123 2025-01-02 14:33 55浏览
  • 在科技飞速发展的今天,5G 通信技术无疑是最耀眼的明星之一。它如同一场数字革命的风暴,以其前所未有的速度、极低的延迟和强大的连接能力,为我们的生活、经济和社会带来了翻天覆地的变化,开启了一个万物互联的崭新时代。5G 技术的卓越特性5G,即第五代移动通信技术,相比其前辈们,有着诸多令人瞩目的特性。首先是超高速率。5G 网络的理论峰值下载速度可达 10Gbps,这意味着下载一部高清电影只需短短几秒钟,而 4G 网络可能需要几分钟甚至更长时间。这种高速率让高清视频流、云游戏等对带宽要求极高的应用变得流
    Jeffreyzhang123 2025-01-02 14:18 69浏览
  • 前言近年来,随着汽车工业的快速发展,尤其是新能源汽车与智能汽车领域的崛起,汽车安全标准和认证要求日益严格,应用范围愈加广泛。ISO 26262和ISO 21448作为两个重要的汽车安全标准,它们在“系统安全”中扮演的角色各自不同,但又有一定交集。在智能网联汽车的高级辅助驾驶系统(ADAS)应用中,理解这两个标准的区别及其相互关系,对于保障车辆的安全性至关重要。ISO 26262:汽车功能安全的基石如图2.1所示,ISO 26262对“功能安全”的定义解释为:不存在由于电子/电气系统失效引起的危害
    广电计量 2025-01-02 17:18 121浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦