2月份的MWC上,Intel正式更新了vPro平台,把AI PC也带到了商用PC市场。从个人和企业PC的角度切分,酷睿Ultra的两大平台Evo和vPro还是很明确的。
这两者并不是互斥的关系,最近在北京举办的商用客户端AI PC产品发布会上,冯大为(英特尔客户端事业部副总裁兼细分市场部总经理)说,全球范围内会将有近100款基于最新vPro平台的商用笔记本产品上市,而这其中的30+款同时满足Evo和vPro要求。
对这次更新来说,除了基于商用PC 3-5年的更新频率,需要在意其性能、效率提升,更多人关注的可能是AI PC究竟如何赋能商用市场。冯大为说,全球范围内,“大企业所有已经部署并且还在用的PC,超过一半的年龄>4岁,超过一半还在跑Windows 10。”所以4-5年前的老架构“一下子升级到AI PC,是0-1的飞跃”。
这篇文章,我们就尝试借着Intel在北京召开的发布会,谈谈AI PC对企业用户的价值。
AI PC的定义究竟是什么?
我们之前聊了这么久的AI PC,好像从未聊过究竟什么是AI PC。仿佛只有搭载了Meteor Lake处理器(酷睿Ultra)的设备才能叫AI PC——这显然是其他同样在推AI PC概念的主要市场参与者所不能接受的。
这里面可能存在两个关键问题。其一是“AI PC”中的“AI”究竟是指什么。就我们的观察,“AI PC”里的AI,似乎一定程度地偏向“生成式AI”。因为AI PC就是在生成式AI大火以后才提出来的。且在此之前,以卷积神经网络为代表的AI,在PC上就已经有应用了,无论是视频会议背景虚化,还是图像语义分割之类的视觉类应用,甚至还有游戏的AI超分——当时可没有人提AI PC。
所以起码就Intel、AMD、英伟达三家对AI PC的宣传造势来看,AI PC首先必须能跑生成式AI模型,以LLM、Stable Diffusion这类为代表。
这部分考验的是厂商们的软件优化能力,因为PC作为一种算力有限的设备,跑生成式AI是需要做很多中间层的工作的。不同的芯片企业在这部分似乎都有专项研究和合作,什么剪枝、稀疏、权重量化之类。而且似乎并不仅限于跑在PC这样的端侧,还涵盖下一步落地到其他边缘设备上。
第二个问题是,如果说,能跑以Transformer结构为代表的生成式AI模型,就叫AI PC,那么以前的电脑其实也能叫AI PC。去年我们体验了用酷睿13代(Raptor Lake)来跑LLM和Stable Diffusion,完全没问题;甚至当年的酷睿7代(Kaby Lake),依托OpenVINO来跑AI推理测试,也跑得有模有样的。
所以我们势必要提出一种假设,只有处理器达到在用户来看可用的体验,并且新增了专用的AI加速单元(如NPU、XMX、Tensor core)以后,搭载这样处理器的PC才算得上是AI PC。这里“可用的体验”主要是指可接受的响应速度(比如LLM的回复速度,Stable Diffusion的出图速度),Meteor Lake带来核显性能2倍提升应该是其中的关键。
至于新增AI加速单元,这一点基本也算是得到了Intel的肯定。冯大为说,CPU很灵活,GPU吞吐能力强——但这两者“完成工作的功耗相对高”,“NPU的特性是节能”,“很多负载是2倍以上的效能,有时甚至可以达到8倍。所以我们认为没有NPU,这个架构就是不完整的。”
“正确的任务放在正确的位置,这是我们的目标”,“也不是要让NPU包打天下,或者让GPU干所有的活儿”,高宇(英特尔中国区技术部总经理)说,“我觉得这个行业最终的解决方案是XPU。”有关不同的AI负载究竟跑在CPU, GPU还是NPU上的问题,我们之前已经不止一次撰文谈过,这里就不再多做赘述了。
不过基于今年CES上Intel透露下一代Lunar Lake将带来NPU性能3倍提升,我们认为可能不同处理器的AI负载定位还会有变化;或者至少可以说,Intel未来肯定是计划把更多工作负载让NPU去完成的。
之前看到有金融分析师将AI PC称作是全产业链正在共同推进的一场“阳谋”,我们感觉算是挺有趣的表述。则搞清楚上面这两个问题,起码是有利于捋清这些厂商提AI PC的业务逻辑的。不管我们的看法对不对,搞清楚这些也很重要。
现场展示基于CV的工业机械臂抓取应用,只需要说句话,系统就能理解指令,然后通过摄像头来定位并由机械臂执行操作;方案来自科东工业
商用AI PC为企业用户提供什么价值?
商用PC作为一个系统面向企业时,企业首先关心的就是IT基础设施的可管理性、稳定性、安全性如何;其次是,当商用PC作为员工手中的生产力设备时,AI PC能带来什么样的变化,尤其是生产力能提升多少。
所以回答小标题的这个问题,我们认为应该从两个方面来谈。首先就是企业IT管理相关的,即新的vPro平台,对于企业内部的IT管理有何价值。这一点其实我们在vPro新平台发布的文章里也已经谈过了,包括安全性、可管理性、稳定性等几个方面。具体到减少硬件现场技术支持需求、加快软硬件问题解决速度,乃至全生命周期管理优化——也就实现节能减排等等。
这其中有个关键,即AI技术,对于IT管理、安全性等是否能带来价值(毕竟是AI PC嘛)。冯大为说,AI赋能肯定是大趋势。我们能直观看到的比如在安全性方面,Intel Threat Detection Technology用NPU来提高检测效率、降低功耗;
在远程管理方面,VMware提供基于vPro平台的端到端解决方案,其中也集成了端侧AI算力进行安全漏洞管理...未来可能还会有更多AI应用场景在企业IT管理方面落地。这部分我们也不再多谈。
第二个方面,就在于这一代酷睿Ultra处理器,基于商用PC的迭代周期,对于企业员工而言,带来了多大程度的性能、能效提升——这对企业而言意味着IT基础设施的更新换代,以及生产力的提升。
这一点我们也在MWC期间的报道文章里做过阐述,冯大为大致在本次发布会上略作了提及。大方向上,其一是Meteor Lake带来了更低的功耗,无论是新增2颗Low Power E-core,还是Intel 4工艺,亦或SoC Tile的电源管理改进;其二是Arc graphics核显部分性能是上代的2倍;其三是新增了NPU,提升AI推理效率。
具体提升多少性能、降低多少功耗,此前都已谈过,这里也不再赘述。
但既然是AI PC,这部分就不单是硬件性能和效率提升就算完了的。AI PC带给企业员工的“AI体验”,以及AI技术带来的生产力提升,才是我们看来这次发布会的重点。
这就再次回到了AI对PC而言究竟有什么用,杀手级应用在哪里的问题。只不过这次是商用PC领域,且需要对生产力产生实在的价值了,而不像去年12月二手玫瑰献唱那回,Meteor Lake刚发布时谈的应用普遍还着眼在个人使用方向。
AI PC的生态发展,AI应用积累多少,对个人或商用PC用户来说是相似的。其实理论上聊AI PC生态,我们也应该去讨论AMD、英伟达的生态。和图形时代的生态不同的是,目前这三名主要市场玩家的生态是一定程度互斥的。尤其英伟达手握CUDA这样的王牌,更不愿意让微软再当标准制定者。
不过在AI PC生态构建过程里,这几位也算是各有各的难处。英伟达的难处是,虽然掌握CUDA, cuDNN, TensorRT-LLM,以及各类加速库、模型等生态资源,但在推广自家AI PC生态的最大难点在于,他们没有PC CPU处理器产品,则在AI PC的竞争中会极大程度丧失各方面的话语权,导致生态难以大范围推广——毕竟GeForce GPU还不是大多数,对企业IT基础设施来说成本也是个问题。
但从我们的观察来看,当涉及严肃工业生产时,英伟达同一种架构、同一种生态的GPU布局,可能会在细分市场迸发出前所未有的生命力。最终格局可能与现在图形显示市场类似,在整个PC市场内,包括企业PC,Intel吃下一众主流市场,而英伟达继续在高算力市场占有一席之地。
商用AI PC的杀手级应用真的存在吗?
所以Intel的难处,在我们看来主要在于XPU策略构建时机过晚,导致包括工具储备、开发生态都待加强,独显产品效率也还需要再努力推一把。不过Intel处理器在PC市场的份额,仍然是其他竞争对手难以望其项背的,则在AI PC生态构建上有着先天优势,只要软件能跟得上,应该仍然会是未来AI PC时代最大份额持有者。所以掌握Intel在AI PC上的动态,基本也就拿捏了整体市场情况。
我们也在这次发布会上看到,从去年12月至今短短4个月,Intel的AI PC行业应用已经相比4个月前多了不少。其中有一些对企业用户而言,的确有成为杀手级应用的潜力。
本地的AI PC应用理应与云上AI PC应用做差异化和协同,而不是其中一个去尝试替代另一个。比如说北京智谱华章科技有限公司COO张帆,演示和本地AI私人助理说自己准备要开始工作,AI不仅能将电脑调成静音、将电源模式调为高性能,而且能自动打开上次还没看完的文档——甚至不需要用户说出确切的文件名。
这就是相当好的本地AI应用,是云上AI替代不了的——起码在云上AI尚未开通个人定制服务时,是这样。这里再列举几个给我们留下深刻印象的。
一个是Extended Office(欧菲思)的Kutools AI助手,主要是作为微软Office的扩展存在的工具。鉴于微软Co-pilot引入国内短期无望,其实Office是真正需要AI助手的一个场景。
Extended Office CEO林洁现场演示,对于一张Excel报价表格,将其中的一列人民币报价全部转为美元——只需要在对话框中,直接用自然语言提出你的需求即可,而不需要掌握Excel复杂的操作流程;此后他又让Kutools AI将这一列报价进行加密。
此前Excel高阶应用正则表达式之类的时代,在生成式AI到来以后应该是要一去不复返了。以后大概也不会有人再正儿八经去学Excel的各种使用技巧——什么求和、求平均,都是一句话的事。
除此之外,基于Extended Office的AI助手,还能自动写Outlook邮件。邮件正文的生成过程,似乎可以基于用户的历史回复邮件,模仿用户口吻,甚至能够基于历史数据,在客户的询价邮件回复中,给出明确的产品报价。这个过程可能是基于RAG,因为林洁说并不需要重新训练模型。虽然工具理论上还做不到回复一切邮件,但重复性邮件回复的确是省了不少时间。
RAG检索增强生成技术,这两个月似乎在AI PC上几近为标配了。不仅英伟达在做,Intel在自家的demo演示中也在强调:即给模型一些本地资料,模型就能结合用户资料来回答问题。我们在Chat with RTX的体验文章里提过,如果模型本身的能力足够强,那么RAG无疑是本地聊天机器人的杀手级应用。
我们始终在强调,生成式AI作为本地聊天机器人时,是无法替代云上那些智商非常高的聊天机器人的(比如ChatGPT, Copilot)——厂商不应该在宣传时,人为创造一些离奇的离线场景,来表达本地生成式AI相比于云上AI的优势。而能够发挥本地AI优势的,就应该是定制数据、私人助理,以及对响应时间有要求的应用。
像RAG这样的技术加入到本地聊天机器人,就是ChatGPT替代不了的。比如此前我们举过的例子,把滴滴打车的行程信息全部通过RAG的数据路径,给到模型作参考,那么它就能知道你在什么时间去了哪里;或者把你日常阅读的文档都放进去,AI自然也就知道你看过些什么;在与你对谈时就能依据这些个性数据来做回答。虽然我们目前还不清楚,RAG的充分利用是否受到算力限制,极限在哪儿。
星环科技在演示中特别提到了RAG,基于其无涯大模型,“将本地文件和资料转化为知识”,无疑是大幅提高了本地聊天机器人的智商的。演示中,星环科技副总裁杨一帆演示基于一个64页、讲述全球数字经济的文档,让无涯大模型回答金融、投研相关的问题——据说星环科技的这款产品支持多模态的数据输入,而且能够做数据分析。
再谈一个发布会现场展示的应用,来自当虹科技——这是一家做智能音视频解决方案的企业。当虹科技CTO黄进演示了,将一个2倍慢动作视频,通过AI来实现6倍慢动作——也就是将一个原本6秒的视频,基于AI插帧为18秒的视频。
“不同于以往基于运动估计和光流的传统生成方式,我们可以用AIGC的方式插入更多的视频帧,让视频更加流畅、质量更高。”黄进说,“原本专业服务器和大型工作站才具备的能力,现在可以普惠给普通的UGC, PGC用户,使得更多2C用户可以享受到对应的技术。”以前需要布局专业捕捉设备的成本,也就因此降低了。
其实对这则应用的实用性,我们是持怀疑态度的——这很显然是个更适合独立显卡来干的活儿。我们介绍这则演示,是期望给出有关酷睿Ultra处理器可达成AI应用的可能性。
而且黄进也在答记者问时说Intel的解决方案“不错”,“原来我们是计划只在云上提供服务的,但现在可以放到PC本地,这是很大的进步”。“AIGC出来,半年不到就可以做到这个事情,我们很惊喜。”
生态发展还有多少潜在可能性?
当天陈列的AI PC展示还有很多,比如说中科创达的法务类应用,能够基于用户的需求来写合同;还能根据案件描述,来做出法律分析;再比如华东师范大学尝试基于AI技术,来辅助生成教学大纲,基于视频生成知识图谱和要点,帮助学生问答;腾宇致远做了一面镜子,能够做基于运动分析的跌倒风险评估、康复训练、八段锦指导等...
其实还有个应用也让我们印象挺深刻的,英矽智能在AI制药领域应用AI PC。药物发现这种前沿科技,借助AI加速,无论如何都属于HPC领域了,而且是需要计算集群那种——要AI PC做什么靶点发现之类的工作是不现实的。
从英矽智能的介绍来看,他们对于AI PC的应用应该主要是利用本地LLM+知识图谱,让用户以聊天的方式从图谱中获取知识,也就是个科研助手(ChatPandaGPT)。这算是数据中心与PC两侧生成式AI实现互补的一个例子了。
之前我们和多家芯片企业的市场聊过:去年年末大家普遍还在探讨,AI PC是否真的会是长期存在的热点,还是说只是芯片和PC OEM企业为了带货而找的噱头?
因为大家都还不确定AI PC的杀手级应用何时到来,或者AI PC究竟有什么用。我们当时给出的回答是,主要看开发者们的创造力、想象力,和用户的需求;毕竟这也不是芯片企业能预想得到的——芯片企业更多的是算力和工具提供者。
Meteor Lake大幅提升了核显性能,现场也展示了不少搭载酷睿Ultra的掌机及其应用
而且当时的AI PC的确普遍停留在OEM厂商在操作系统里预装个通用型LLM聊天机器人——这东西的价值在我们看来真的也高不到哪儿去。但后续随着更多技术的引入,与本地、个人资源的结合,4个月之后的今天,上面这些应用就都来了,AI PC也就不是个空谈了,即便现在仍处于AI PC应用发展的早期。
Intel现在最迫切的,显然就是加速生态建设。所以其“AI PC加速计划”最近一方面新增了“AI PC开发者计划”,另一方面要吸纳独立IHV(硬件供应商)加入AI PC加速计划;与此同时还在举办“英特尔人工智能创新应用大赛”——据说收到了2000+团队报名;线上培训则已经有4500名工程师参加……这些都在促进AI PC向前挺进。
高宇说其实AI PC产业演化还不到半年,“未来的商业模式都还需要全行业探索”,比如应用部署的问题,OEM PC预先绑定只是其中一个模式,“绝对不是唯一途径”;他认为未来个人用户购买AI应用、自助下载会越来越多。
从开发者的角度,张帆也说,AI PC还在发展早期,“我们都还没有成熟的盈利模式,但我们相信会找到用户体验、用户价值和盈利的平衡点。”无论最终走向如何,AI PC的大戏似乎都越来越有眉目了。各方态度和4个月前可以说是截然不同。
- 文章写的很好,ai是超级大潮,其实本机的语音转文字、文字转语音、ocr、语音助理都是杀手级应用