从0变成1是需要能量的,乌镇智库理事长张晓东预计摩尔定律还能走到2100年以后,半导体行业至少还可以蓬勃发展80到100年。

西方哲学的传统经历了一场深刻的转型,其焦点从早期对物质世界的深入探索逐步转向了对心智与意识现象的细致剖析。这一哲学重心的迁移,恰好与人类历史上的技术跃迁相互呼应,尤其是步入第三次和第四次工业革命的时代,我们目睹了传统工业时代的力量象征——蒸汽与钢铁,逐渐让位于数字时代的双刃剑:算力与智能。这一进程被广泛誉为“算力与智能的革命”。

在由芯原与上海开放处理器产业创新中心联合主办的“智”由“芯”生——RISC-V和生成式AI论坛上,乌镇智库理事长张晓东分享中深入探究了大语言模型背后的发展原理,指出全球工业革命从前两次的能源驱动演进到当前的算力驱动。

ChatGPT的出现掀起了生成式人工智能热潮。然而,语言与思维之间的关系一直是哲学上的争议话题,尽管语言可能无法完全等同于思维,但其在表达和理解思维方面的作用不容小觑。张晓东表示:“图灵不仅是现代计算机科学的奠基人,他的理论更是智能语言的核心,正如费曼将微积分誉为上帝的语言,图灵机则被视为智能的语言。”

而大语言模型则主要基于四个基础原理。

图灵机的概念简洁而强大,通过一个“读、写”头在无限长的带上移动,执行写入“0”或“1”的操作,展示了计算的本质。这种看似简单的机制实际上涵盖了所有已知计算设备的功能,这便是所谓的原理1:丘奇-图灵论题——计算机科学的基石。张晓东表示:“芯片、算力的起点就是图灵机,我们现在已知的所有计算的装置都等价于图灵机。”

原理2则是“学习就是图灵机求逆”。

学习的本质,长久以来一直是哲学与心理学探讨的热点话题,不同学科从各自的视角出发,提出了多元化的见解,却往往难以达成共识。然而,当我们追溯到人工智能的起源点——1956年的达特茅斯会议,达特茅斯会议组织者之一John McCarthy写了一篇7页纸的文章,提出了一种新颖且深刻的观点,试图从数学角度界定学习的概念,他说:“学习就是图灵机的逆”。

具体而言,如果有一系列数据输入,学习的目标就是通过分析这些数据,推断出背后潜在的“图灵机”规则,即能够生成这些数据的算法或模型。这种将学习视为从结果回溯至原因的过程,实际上是在尝试重构数据生成的逻辑。

这一定义,虽然源于1954年,却意外地与现代大模型训练的理念相吻合。在机器学习中,我们提供大量的数据给算法,通过训练,算法(或称大模型)逐步逼近能够模拟或解释这些数据的内在规律,这正是对McCarthy定义的生动实践。

十年后的1964年,另一位参与过达特茅斯会议的数学家进一步深化了这一概念,他证明了所谓的图灵机求逆问题,实质上等同于预测序列中下一个元素(Next token Prediction)的能力。这意味着,一旦掌握了预测序列中任意位置下一个元素的方法,理论上就能解决所有与学习相关的计算难题,这是大语言模型训练的核心任务。

谷歌提出的Transformer模型及其衍生的BERT和GPT模型,展示了不同学习策略的效能。那BERT和GPT有和区别吗?张晓东表示:“BERT是双向的,即给出X 1到X N,然后将X 2拿掉,再猜出X 2。而GPT是给出X 1到X N,预测出X N+1。我发现,GPT相对来说是一个比较简单的机制。”

张晓东指出人工智能的发展经历了三种主要路线:人工智能的主要路线之一是逻辑主义,即从专家系统到知识图谱;之二是联结派,神经网络,深度学习;之三是从细胞自动机到强化学习。

他表示,自然语言处理的进步在过去七十年中发生了五次范式变迁,开源对于自然语言处理的进步至关重要。

原理3:“深度学习的充分性依据是Kolmogorov–Arnold叠加”

Robert Hecht-Nielsen(HNC 创始人)证明了三层以上神经网络可以无限逼近任意连续函数。而数学根据是Kolmogorov在1956年证明的Kolmogorov–Arnold表示定理,也称叠加定理或映射定理。

张晓东提到,近来,业界对于是否应当使用医疗数据来训练模型存在争议,但即便在不直接利用医疗数据的情况下,某些模型的表现已经超越了IBM的Watson等前辈系统。此外,AI设计AI的概念也正在成为现实,其中芯片设计是一个引人注目的应用方向。谷歌在2021年展示了一项成就,他们运用AlphaGo背后的强化学习技术,仅需6小时即可完成通常需数十人花费数月才能完成的电路布局设计。尽管有人质疑这一成果的宣传效果有所夸大,但不可否认的是,它揭示了AI在加速复杂任务处理方面的巨大潜力。

张晓东还提到了近期公众热议的话题之一“大型预训练模型(大模型)的未来走向”,他表示尤其是受到一个多月以来OpenAI一位年轻研究员撰写的一篇长达160页论文的影响。该论文大胆预测,在不远的将来,或许类似于2017年或2018年“Room”项目中的超智能机器,将配备多达一千万个高性能GPU(如H100),其能耗相当于中国一个中等省份的电力消耗,这一设想引发了诸多连锁思考。

这正是大模型的发展引发的对未来计算资源分配和能耗的担忧,兰道尔原则(Landauer's Principle)指出,信息处理过程中的比特翻转需要消耗最小能量,这暗示了计算能力增长的物理极限。这也是张晓东给出的原理4:能耗与智能,Landauer Principle。

张晓东表示,从0变成1是需要能量的,他预计摩尔定律还能走到2100年以后,半导体行业至少还可以蓬勃发展80到100年。

责编:Demi
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
最近收到一款Jetson Orin Nano Super开发套装,我打算拿它来做个简单的AI应用开发...在没有任何AI应用和嵌入式应用开发经验的基础上...主打传说中的零代码开发~
“物理智能(Physical AI)”,黄仁勋在CES 2025上发表主题演讲时提出的新概念。他指出,即将全面到来的“Physical AI”时代,将是在1000万工厂、20万仓库、15亿汽车和卡车及海量人形机器人之上应用的下一波万亿规模市场驱动力。
微软还强调,拜登政府的《人工智能扩散出口管制框架》限制了美国向许多快速增长且具有战略意义的市场出口关键AI组件,破坏了特朗普政府的两项优先事项:加强美国的AI领导地位以及减少美国近万亿美元的贸易逆差。
该标准旨在为养老机器人的设计、制造、测试和认证提供统一规范,推动全球养老机器人产业的健康发展,通过明确养老机器人的功能与性能分类,确保其在互联家居环境中的有效应用。
2月以来,一些人形机器人头部企业高薪案例值得关注。其中,宇树科技招聘机器人感知算法工程师、机器人控制算法专家等岗位,月薪可达7万元至10万元。智元机器人SLAM算法专家月薪4-7万元,年薪超百万(15薪制)。
在应对美国加码措施上,中国一方面应该依托自身庞大的垂直应用场景,特别是工业制造领域,在做大做强中国制造的同时,推动国产AI芯片的替代,另一方面仍需加大基础研究投入,重点突破AI芯片设计、半导体设备和先进工艺制程。
TEL宣布自2025年3月1日起,现任TEL中国区地区总部——东电电子(上海)有限公司高级执行副总经理赤池昌二正式升任为集团副总裁,同时兼任东电电子(上海)有限公司总裁和东电光电半导体设备(昆山)有限公司总裁。
预计在2025年,以下七大关键趋势将塑造物联网的格局。
领域新成果领域新成果4月必逛电子展!AI、人形机器人、低空飞行、汽车、新能源、半导体六大热门新赛道,来NEPCON China 2025一展全看,速登记!
本次股东大会将采取线上和线下相结合的混合形式召开,股东们可选择现场出席或线上参会。
小米宣布全球首发光学预研技术——小米模块光学系统,同时发布官方宣传视频。简单来说,该系统是一个磁吸式可拆卸镜头,采用定制M4/3传感器+全非球面镜组,带来完整一亿像素,等效35mm焦段,配备f/1.4
千万级中标项目5个,百万级中标项目12个。文|新战略根据公开信息,新战略移动机器人产业研究所不完全统计,2025年2月,国内发布35项中标公告,披露总金额超15527.01万元。(由新战略移动机器人全
今日光电     有人说,20世纪是电的世纪,21世纪是光的世纪;知光解电,再小的个体都可以被赋能。追光逐电,光引未来...欢迎来到今日光电!----追光逐电 光引未来----图1 采用自上而下方法实
今日光电     有人说,20世纪是电的世纪,21世纪是光的世纪;知光解电,再小的个体都可以被赋能。追光逐电,光引未来...欢迎来到今日光电!----追光逐电 光引未来----编者荐语特征提取是计算机
DeepSeek的崛起不仅是技术革新,更是一场从“机器语言”到“人类语言”的范式革命,推动了AGI时代到来。各个行业的应用场景不断拓展,为企业数字化发展带来了新机遇,同时也面临诸多挑战。不同企业在落地
市值一夜蒸发2900亿”作者|王磊编辑|秦章勇特斯拉陷入一个怪圈。马斯克的权力越来越大,但特斯拉的股价却跌得越来越惨。就在昨天,特斯拉股价又下跌了4.43%,一天之内蒸发406亿美元,约合人民币295
点击文末“阅读原文”链接即可报名参会!往期精选《2024年度中国移动机器人产业发展研究报告》即将发布!2024年,36家移动机器人企业融了超60亿元2024移动机器人市场:新玩家批量入场,搅局还是破局
插播:历时数月深度调研,9大系统性章节、超百组核心数据,行家说储能联合天合光能参编,发布工商业储能产业首份调研级报告,为行业提供从战略决策到产品方向、项目资源的全维参考!点击下方“阅读原文”订阅刚开年
据报道,小米集团总裁卢伟冰在西班牙巴塞隆纳的全球发表会上表示,小米汽车计划于2027年进军海外市场。小米的立足之本在于深耕本土市场,作为一家中国车企,唯有在国内市场站稳脚跟,方能谈及海外扩张。因此,小
如果说华为代表了国产手机芯片的最高水平,那么紫光展锐无疑就是国产中低端芯片最大的依持了。3月3日,巴塞罗那MWC世界移动通信大会上,紫光展锐正式发布手机芯片T8300。据了解,T8300采用的是6nm