端侧AI,风起移动智能计算

原创 脑极体 2024-11-21 20:41



过去一年来,消费电子领域最火爆的关键词,就是端侧AI。


大模型,具有强大的理解、生成能力;终端设备,是人与AI的首选交互入口。二者碰撞之下,让端侧成为大模型落地的最佳途径,甚至没有之一。越来越多的手机、PC、汽车等消费电子终端厂商,将AI技术应用到自己的产品和服务中,而端侧AI的繁荣景象离不开一个核心支撑点——计算平台(芯片)。


端侧算力,从芯而来。所以高性能芯片,是端侧AI持续繁荣的源头力量,也是高通希望借助技术创新、生态合作所推动的方向。



前不久恰逢骁龙峰会举办,我们看到高通公司继续强化终端侧AI产品布局和对国内大模型的支持。不仅宣布了与智谱、腾讯混元等大模型厂商的合作,共同推动端侧 AI 模型部署和落地。此外,还推出了面向AI手机的骁龙 8 至尊版移动平台和面向智能汽车的骁龙至尊版汽车平台。


高通公司总裁兼CEO安蒙表示,AI,尤其是生成式AI,是移动计算领域最大的变革之一;高通关注生成式AI,尤其关注AI如何改变计算体验,边缘侧将如何发展,及其如何带来颠覆性的创新周期,致力于将AI为先的体验带入每一个计算空间。


端侧AI的时代风口,源于高通为代表的移动计算,与AI深深地拥抱。我们不妨就从高通打造AI为先的体验这一方向入手,去寻找端侧AI向前一步的源头力量。



2024年伊始,PC、手机、汽车等消费电子品类都开始积极与大模型相结合,打造全新的AI XX硬件,端侧AI由此进入集中爆发阶段。


可以说,大模型打开了一个消费电子领域的全新风口,而深入风眼中心,我们会看到一支推动端侧AI酝酿并成熟的关键力量——移动计算。


端侧AI之于云侧AI的不可替代性,是大模型在本地进行计算,避免数据上云,解决用户数据和隐私安全的顾虑;实时性更强,游戏、摄影、AIGC等应用在端侧处理的时延更低、反馈更快、体验更好。


进入2024,OpenAI、智谱、腾讯混元等第一梯队的模型厂商都认识到了大模型落地端侧的价值与桎梏,纷纷推出更小规模、更高性能的模型版本。虽然大模型在积极小型化,但受到端侧计算能力、内存空间等限制,模型的减配、压缩也会折损标准通用基础大模型的性能表现。


大模型的端侧部署,十分依赖于端侧计算平台提供强大性能,支撑超大规模的数据运算量,并在性能与功耗之间实现平衡。


让大模型更好地适配端侧,成了移动计算领域的首要任务,高通正在积极地解决中。


在前不久的骁龙峰会上,高通宣布和智谱、腾讯混元合作,共同推动端侧 AI 模型部署和落地。我们能从高通的全新动作中,看到移动计算+大模型的三个变化:



变化一:更丰富的端侧AI能力。骁龙8至尊版的NPU性能比上一代提升了45%,强大的性能可以同时运行多个AI工作负载,这意味着更多基于大模型的AI应用能够在端侧部署。



变化二:更优质的端侧智慧体验。高通为骁龙8至尊版配备目前最高速的LPDDR5x内存,解决了内存顾虑。目前,腾讯混元正通过和高通合作,推动7B和3B的混元大模型在终端部署。


变化三:更健壮的端侧AI生态。AI开发者是端侧AI持续繁荣不可或缺的角色,高通为开发者准备了基于自身硬件的高效开发工具,包括高通AI软件栈(AI Stack)和AI Hub,与腾讯混元和智谱AI达成合作,帮助模型厂商在高通硬件上更好地释放平台算力,支持AI开发者轻松地将AI模型集成到应用程序中。


根据骁龙峰会高通公布的数据,充分利用骁龙8至尊版的强大终端侧AI性能和高通AI软件栈为模型带来的性能优化,智谱GLM-4V端侧视觉大模型能够以超过70 tokens/秒的速度在终端侧高速运行。大模型的端侧性能表现优化,不仅会降低开发者的使用成本,提升开发者的产品效果,也有助于基础通用大模型的商业化。


大模型,是端侧AI这一时代风口的起点;移动计算,则从更多应用、更优体验、更强生态等方面,为大模型在端侧提供动力保障。


高通对大模型的有力支撑,从源头支持端侧AI的产业繁荣,正是推动AI为先体验的体现之一。



大模型要在终端设备上被用户用起来,才能从一种技术趋势,转变为端侧AI的产业繁荣与商业价值。AI大模型入端,硬件性能是基础。


我们采访过一位AI手机品牌的负责人就表示:AI在手机行业刚刚开始,未来的一年,AI体验会超出你的想象,而端侧模型对性能要求很高,所以性能永远不会过剩。


性能从哪里来?答案就是计算平台。针对目前端侧AI集中的两大品类:一个是个人移动终端,比如AI手机、AI PC;另一个是智能网联汽车,智能座舱、辅助驾驶、自动驾驶等AI应用都在加速上车。高通在前不久的骁龙峰会上带来了两大平台的最新技术和产品。


移动平台方面:


骁龙8至尊版芯片,凭借技术方面的性能突破和创新能力,带来了AI手机智能化的重大飞跃。



骁龙8至尊版在终端侧生成式AI、多模态处理和影像处理等方面的突破,可以为AI手机的大量AI用例提供支持。比如AI-ISP技术的革命性突破,与NPU紧密结合,使得高分辨率影像数据的实时处理成为可能,手机厂商可以在摄影功能中引入更多AI应用,如自动场景识别、实时美颜和自动对焦等,这是当下年轻消费群体格外看重的产品力之一。


此外,骁龙平台还积极支持PC领域的AI应用。


在刚刚举办的2024年世界互联网大会上,高通凭借其专为Windows 11 AI+ PC设计的骁龙X Elite平台荣获“世界互联网大会领先科技奖”。骁龙X Elite的核心优势之一是采用了定制化的Oryon CPU,具备极致快速的响应速度,可以为AI PC提供强劲的性能表现。比如荣耀最新推出的AI PC,就在骁龙X Elite的算力支持下,实现了AI纪要、AI双向降噪等AI功能,极大地提升了用户的会议和沟通效率。目前,骁龙X系列已支持58款已发布或正在开发中的PC产品,有力支撑了AI PC这一新品类的成长。


汽车平台方面:


汽车智能化成为大势所趋,其中智能座舱、智能驾驶,成为车企的核心赛点。为智能汽车提供底层源动力,高通分别推出了全新的骁龙座舱至尊版平台和Snapdragon Ride至尊版平台。



其中,骁龙座舱至尊版平台也采用了专为汽车打造的高通自研Oryon CPU,性能大幅提升,可以助力车企实现大模型和AIGC等能力与座舱相结合,打造AI语音助手、AIGC应用、复杂情境感知、自然语言交互等新体验。


Snapdragon Ride至尊版平台也基于高通最先进的NPU及Oryon CPU,将更好的智能驾驶带到汽车上,实现了高精度定位、环境感知、决策规划以及车辆控制等一系列智能驾驶功能。


此外值得一提的是,增强AI手机、AI PC、智能汽车的产品力,更强大的移动计算硬件只是必要条件。除此之外,厂商和开发者还需要一系列开发工作来释放硬件性能、优化端侧AI表现。


目前,手机、PC、汽车等采用的骁龙硬件平台,均已集成高通自研Oryon CPU,加之高通AI软件栈的赋能,有望实现终端侧AI应用在各平台高效开发。


硬件(移动平台、PC平台和汽车平台)与软件(AI Stack、AI Hub)相协同,高通正在拆除端侧AI的性能桎梏,带动手机、汽车等各类消费电子产品加速进化,抓住大模型的技术红利。



总结一下,大模型是这一轮端侧AI浪潮的起点,计算硬件是AI终端这一新概念得以落地的性能源泉。支撑大模型和AI终端的持续发展,高通也在源头为端侧AI繁荣贡献了力量。


之所以要在今天找寻端侧AI发展的源头力量,是因为这与国内消费电子厂商抓紧时代机遇和技术趋势的需求一致,与源头紧密合作、齐头并进,有利于获取向未来生长的动能。


目前来看,高通就是与国内厂商合作紧密的重要AI力量之一。



一方面,高通和骁龙平台是国内安卓手机厂商全球化、高端化的助力。国内头部品牌正在高端市场与苹果展开正面竞争。高通和骁龙与国内厂商的紧密合作,成为国内智能手机品牌在全球的竞争力保障,可以让领先的AI应用、AI手机、AI PC硬件,为全球树立标杆。目前,首批搭载骁龙8至尊版的旗舰手机,如小米、荣耀、iQOO等,已经在性价比、影像能力、游戏性能等方面,建立了鲜明的市场认知度。


此外,新能源汽车增长也有望更进一步。


目前,国内新能源汽车已经在全球市场建立了较强的竞争力,抓住智能化机遇,获得更大的发展,可以进一步夯实优势地位。骁龙汽车平台就相当于基石,支撑基于大模型的智能驾驶、智能座舱上车,让新能源汽车保持竞争优势,在全球市场走得更稳更远。



对于端侧AI来说,大模型就是新一代的操作系统,而用好这一新型操作系统,需要生态、工具、资源的充分支持。通过骁龙的软硬件生态体系,高通可以为端侧AI的发展提供生态助力,帮助更多开发者用好大模型技术,促进AI产品与应用程序的整体繁荣。


总结一下,终端消费电子的市场广阔,智能化升级才刚刚开始。AI将席卷我们熟悉的各个终端品类,站在时代风口,高通和骁龙作为源头动力的身影,也渐渐明晰起来。


高通和骁龙与AI的紧密拥抱,带来的是移动计算与端侧AI的长相厮守。狂奔一年的端侧AI故事,会继续讲述下去。



·
·

·

脑极体 从技术协同到产业革命,从智能密钥到已知尽头
评论
  • 光伏逆变器是一种高效的能量转换设备,它能够将光伏太阳能板(PV)产生的不稳定的直流电压转换成与市电频率同步的交流电。这种转换后的电能不仅可以回馈至商用输电网络,还能供独立电网系统使用。光伏逆变器在商业光伏储能电站和家庭独立储能系统等应用领域中得到了广泛的应用。光耦合器,以其高速信号传输、出色的共模抑制比以及单向信号传输和光电隔离的特性,在光伏逆变器中扮演着至关重要的角色。它确保了系统的安全隔离、干扰的有效隔离以及通信信号的精准传输。光耦合器的使用不仅提高了系统的稳定性和安全性,而且由于其低功耗的
    晶台光耦 2024-12-02 10:40 54浏览
  • 国产光耦合器因其在电子系统中的重要作用而受到认可,可提供可靠的电气隔离并保护敏感电路免受高压干扰。然而,随着行业向5G和高频数据传输等高速应用迈进,对其性能和寿命的担忧已成为焦点。本文深入探讨了国产光耦合器在高频环境中面临的挑战,并探索了克服这些限制的创新方法。高频性能:一个持续关注的问题信号传输中的挑战国产光耦合器传统上利用LED和光电晶体管进行信号隔离。虽然这些组件对于标准应用有效,但在高频下面临挑战。随着工作频率的增加,信号延迟和数据保真度降低很常见,限制了它们在电信和高速计算等领域的有效
    腾恩科技-彭工 2024-11-29 16:11 106浏览
  • 戴上XR眼镜去“追龙”是种什么体验?2024年11月30日,由上海自然博物馆(上海科技馆分馆)与三湘印象联合出品、三湘印象旗下观印象艺术发展有限公司(下简称“观印象”)承制的《又见恐龙》XR嘉年华在上海自然博物馆重磅开幕。该体验项目将于12月1日正式对公众开放,持续至2025年3月30日。双向奔赴,恐龙IP撞上元宇宙不久前,上海市经济和信息化委员会等部门联合印发了《上海市超高清视听产业发展行动方案》,特别提到“支持博物馆、主题乐园等场所推动超高清视听技术应用,丰富线下文旅消费体验”。作为上海自然
    电子与消费 2024-11-30 22:03 70浏览
  • 光耦合器作为关键技术组件,在确保安全性、可靠性和效率方面发挥着不可或缺的作用。无论是混合动力和电动汽车(HEV),还是军事和航空航天系统,它们都以卓越的性能支持高要求的应用环境,成为现代复杂系统中的隐形功臣。在迈向更环保技术和先进系统的过程中,光耦合器的重要性愈加凸显。1.混合动力和电动汽车中的光耦合器电池管理:保护动力源在电动汽车中,电池管理系统(BMS)是最佳充电、放电和性能监控背后的大脑。光耦合器在这里充当守门人,将高压电池组与敏感的低压电路隔离开来。这不仅可以防止潜在的损坏,还可以提高乘
    腾恩科技-彭工 2024-11-29 16:12 117浏览
  • By Toradex胡珊逢简介嵌入式领域的部分应用对安全、可靠、实时性有切实的需求,在诸多实现该需求的方案中,QNX 是经行业验证的选择。在 QNX SDP 8.0 上 BlackBerry 推出了 QNX Everywhere 项目,个人用户可以出于非商业目的免费使用 QNX 操作系统。得益于 Toradex 和 QNX 的良好合作伙伴关系,用户能够在 Apalis iMX8QM 和 Verdin iMX8MP 模块上轻松测试和评估 QNX 8 系统。下面将基于 Apalis iMX8QM 介
    hai.qin_651820742 2024-11-29 15:29 150浏览
  • 国产光耦合器正以其创新性和多样性引领行业发展。凭借强大的研发能力,国内制造商推出了适应汽车、电信等领域独特需求的专业化光耦合器,为各行业的技术进步提供了重要支持。本文将重点探讨国产光耦合器的技术创新与产品多样性,以及它们在推动产业升级中的重要作用。国产光耦合器创新的作用满足现代需求的创新模式新设计正在满足不断变化的市场需求。例如,高速光耦合器满足了电信和数据处理系统中快速信号传输的需求。同时,栅极驱动光耦合器支持电动汽车(EV)和工业电机驱动器等大功率应用中的精确高效控制。先进材料和设计将碳化硅
    克里雅半导体科技 2024-11-29 16:18 157浏览
  • 《高速PCB设计经验规则应用实践》+PCB绘制学习与验证读书首先看目录,我感兴趣的是这一节;作者在书中列举了一条经典规则,然后进行详细分析,通过公式推导图表列举说明了传统的这一规则是受到电容加工特点影响的,在使用了MLCC陶瓷电容后这一条规则已经不再实用了。图书还列举了高速PCB设计需要的专业工具和仿真软件,当然由于篇幅所限,只是介绍了一点点设计步骤;我最感兴趣的部分还是元件布局的经验规则,在这里列举如下:在这里,演示一下,我根据书本知识进行电机驱动的布局:这也算知行合一吧。对于布局书中有一句:
    wuyu2009 2024-11-30 20:30 86浏览
  • 最近几年,新能源汽车愈发受到消费者的青睐,其销量也是一路走高。据中汽协公布的数据显示,2024年10月,新能源汽车产销分别完成146.3万辆和143万辆,同比分别增长48%和49.6%。而结合各家新能源车企所公布的销量数据来看,比亚迪再度夺得了销冠宝座,其10月新能源汽车销量达到了502657辆,同比增长66.53%。众所周知,比亚迪是新能源汽车领域的重要参与者,其一举一动向来为外界所关注。日前,比亚迪汽车旗下品牌方程豹汽车推出了新车方程豹豹8,该款车型一上市就迅速吸引了消费者的目光,成为SUV
    刘旷 2024-12-02 09:32 59浏览
  • RDDI-DAP错误通常与调试接口相关,特别是在使用CMSIS-DAP协议进行嵌入式系统开发时。以下是一些可能的原因和解决方法: 1. 硬件连接问题:     检查调试器(如ST-Link)与目标板之间的连接是否牢固。     确保所有必要的引脚都已正确连接,没有松动或短路。 2. 电源问题:     确保目标板和调试器都有足够的电源供应。     检查电源电压是否符合目标板的规格要求。 3. 固件问题: &n
    丙丁先生 2024-12-01 17:37 57浏览
  • 在电子技术快速发展的今天,KLV15002光耦固态继电器以高性能和强可靠性完美解决行业需求。该光继电器旨在提供无与伦比的电气隔离和无缝切换,是现代系统的终极选择。无论是在电信、工业自动化还是测试环境中,KLV15002光耦合器固态继电器都完美融合了效率和耐用性,可满足当今苛刻的应用需求。为什么选择KLV15002光耦合器固态继电器?不妥协的电压隔离从本质上讲,KLV15002优先考虑安全性。输入到输出隔离达到3750Vrms(后缀为V的型号为5000Vrms),确保即使在高压情况下,敏感的低功耗
    克里雅半导体科技 2024-11-29 16:15 119浏览
  • 学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&
    youyeye 2024-11-30 14:30 63浏览
  • 艾迈斯欧司朗全新“样片申请”小程序,逾160种LED、传感器、多芯片组合等产品样片一触即达。轻松3步完成申请,境内免费包邮到家!本期热荐性能显著提升的OSLON® Optimal,GF CSSRML.24ams OSRAM 基于最新芯片技术推出全新LED产品OSLON® Optimal系列,实现了显著的性能升级。该系列提供五种不同颜色的光源选项,包括Hyper Red(660 nm,PDN)、Red(640 nm)、Deep Blue(450 nm,PDN)、Far Red(730 nm)及Ho
    艾迈斯欧司朗 2024-11-29 16:55 155浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦