2月29日,全球最具影响力的移动通信盛会2024世界移动通信大会(MWC)在巴塞罗那落下帷幕。如果让与会者评选出本届展会最鲜明的特征符号,“以生成式AI为代表的智能计算”,一定会是不二之选。
高通公司总裁兼CEO安蒙在MWC期间参加GTI国际产业大会炉边对谈中曾指出,“移动通信发展的一个核心目标就是连接万物,网络在提供连接和感知能力的同时,也正成为全新的计算引擎。生成式AI将变革终端侧的用户体验,具备生成式AI能力的PC能够更好地理解用户需求,生成式AI还将带来全新的人车交互方式,支持用户与汽车直接进行对话。此外,生成式AI还将改变网络的运行方式,并为各行各业带来全新机遇。”
根据麦肯锡公司2023年6月发布的《生成式AI的经济潜力:下一个生产力前沿》报告,“生成式AI有望对各行各业产生广泛影响,预计其每年可增加2.6万亿至4.4万亿美元的经济效益。”
让智能计算无处不在
作为移动连接和终端侧AI的领军企业,高通在MWC 2024上发布了多款“全球首创”的全新产品,在加速AI、5G与Wi-Fi 7融合创新的同时,还携手全球和中国合作伙伴带来了在连接、AI、汽车、XR、手机、5G Advanced、6G等领域的前沿突破和合作成果,让智能计算无处不在。
- 跨终端赋能生成式AI
AI的发展日新月异,进入2024年以来,伴随着Sora等大模型的出现,多模态大模型成为行业追逐的新热点。在今年的MWC上,高通便率先在手机和PC端展示了这样的能力,包括全球首个在Android智能手机上运行的大型多模态语言模型(LMM),该LMM拥有超过70亿参数,可接受包括文本和图像在内的多种类型的数据输入,并能够与AI助手生成关于图像的多轮对话。
高通还展示了首个在Android手机上运行的LoRA模型。LoRA能够在不改变底层模型的前提之下,调整或定制模型的生成内容。通过使用很小的适配器(大小仅为模型的2%),就能够个性化定制整个生成式AI模型的行为。
AI PC同样引人瞩目。今年的MWC上,高通演示了全球首个在Windows PC上运行的超70亿参数音频推理多模态大模型,它能理解鸟鸣、音乐或家中的不同声音,并基于这些信息进行多轮对话。该模型经过优化,能够实现出色的性能和能效,并完全在终端侧运行,充分发挥骁龙X Elite的强大能力。
终端侧AI能力除了需要具备硬件算力的支持外,软件、开发生态的支持也同样重要,这也是终端侧AI能够跨越更多形态,实现广泛普及的重要基础之一。
为此,高通带来了超过75个预优化AI模型的全新模型库AI Hub,支持在搭载骁龙和高通平台的终端上进行无缝部署。开发者可将这些模型无缝集成进应用程序,缩短产品上市时间,发挥终端侧AI部署的诸多优势,比如即时性、可靠性、隐私、个性化和成本优势。上述模型现已在高通AI Hub、Hugging Face和GitHub上提供,开发者只需通过几行代码,即可在搭载高通平台的云托管终端上自行运行模型。
- 重新定义无线连接体验
将AI与5G Advanced性能相结合,并通过多项行业首创的领先特性提升5G性能,是骁龙X80 5G调制解调器及射频系统最显著的特点。
作为全球先进的5G调制解调器及射频系统,骁龙X80是首个全集成NB-NTN卫星通信、首次面向智能手机支持6Rx、首个下行六载波聚合、以及首次面向固定无线接入客户端设备(CPE)支持由AI赋能的毫米波增程通信的调制解调器。同时,骁龙X80采用第三代高通5G AI套件,带来AI增强的5G-A用户体验——CPE服务获取速度提升60%(毫米波),联网模式下功耗降低10%(毫米波),定位精度提高30%,选择最佳基站时间减少20%,链路获取速度提升30%。
支持AI优化性能的不仅仅只有骁龙X80,高通FastConnectTM7900移动连接系统也是其中之一。该系统不但在单个芯片中集成了Wi-Fi 7、蓝牙和超宽带(UWB)技术,还是行业首个AI增强的Wi-Fi系统,可通过AI技术更好的适应特定用例和环境,有效优化能耗、网络时延和吞吐量。
- 5G基础设施快速步入AI时代
随着内置Oryon CPU的高通基础设施处理器的推出,移动网络运营商进入了高性能和更低总体拥有成本(TCO)的新时代。其中包括了可降低住宅、小型办公和家庭办公场所的5G部署成本压力的小基站处理器高通QIP100,以及面向AI计算的vRAN服务器处理器高通X100 5G RAN加速卡和高通QRU100 5G RAN平台。
AI与RAN的组合体现了业界面向5G-A、6G发展中对于AI与通信融合的判断。两者的结合不仅仅在于降低运营商成本,更可以利用AI进一步扩展vRAN的软件定义能力,帮助RAN更好的管控能效,为RAN实现更多的功能扩展。因此,将AI的诸多优势更好地应用于vRAN服务器这一现代电信网络的基础构成部分中,正变得愈发重要。
5G+AI融合式发展史
高通在终端侧AI道路上的探索可以追溯到2007年。那一年里,高通在骁龙平台上推出了首个Hexagon处理器。2015年,高通将AI技术集成到处理器之中,用 AI来增强图像、音频和传感器的运算。2017年,高通在骁龙845芯片中引入了Hexagon 685 DSP,它使智能手机更快速地执行复杂的AI任务,如图像识别和语音处理。
而从2018年开始,伴随着5G时代的开启,“5G+AI融合式发展”成为了高通新的战略发展目标。
于是,我们看到在2018年,骁龙855升级了第四代AI引擎,为Hexagon处理器增加了张量加速器,在AI处理方面有了3倍的性能提升。在2019年推出的骁龙865中,高通将AI处理功能分散在骁龙865平台的异构架构中,第五代高通AI Engine可实现高达每秒15万亿次运算(15TOPS),AI性能是前代平台的2倍。
从2020年开始到2023年,高通在骁龙X50和X55的基础之上,连续推出骁龙X60/X65/X70/X75四代5G调制解调器及射频系统,不但保持了自2019年以来每年推出一代的节奏,更是加速推进5G与AI两大关键基础技术更好协同,赋能各品类终端提供更好体验。
这其中,骁龙X70/X75最具代表意义。作为首个引入AI处理器的调制解调器及射频系统,在AI能力的加持下,X70实现了突破性的5G性能,包括10Gbps 5G下载速度、低时延、卓越的网络覆盖和能效。
骁龙X75则是2023年全球首个采用专用硬件张量加速器(第二代高通5G AI处理器)的调制解调器及射频系统。第二代高通5G AI处理器的AI性能提升至第一代的2.5倍以上,同时引入了第二代高通5G AI套件,具备AI赋能的全新优化特性,可实现更高的连接速度、移动性、链路稳健性和定位精度以及更广的网络覆盖。
在具体的实践落地过程中,高通扮演了“数字化”连接器的角色。通过和产业链上下游的紧密协作,对开发者生态圈的支持,以广泛的产品组合和技术专长助力产业各个环节,将“5G+AI”战略应用于各垂直领域,赋能万物智能互联的同时,也助力中国厂商在国内外市场都取得良好发展。
正因如此,MWC 2024上的合作创新硕果累累,中国联通、小米、荣耀、一加、TCL、广翼智联、广和通、美格智能、移远通信、芯讯通等众多合作伙伴均发布了基于高通和骁龙平台打造的多款新品,包括Wi-Fi 7路由器、智能手机、平板、智能手表、耳机、消费和工业物联网终端、5G智能模组和FWA解决方案等,例如:
- TCL发布了搭载骁龙X35的RedCap Dongle——TCL LINKKEY IK511,是5G RedCap技术在M2M以及消费级领域商业化的一个重要里程碑;
- 美格智能推出四款基于骁龙平台的解决方案,分别是基于骁龙X75的5G-A模组、搭载骁龙X72的5G-A FWA解决方案、基于骁龙X35的5G RedCap系列FWA解决方案、以及首款搭载高通Aware平台的智能看护解决方案MC303;
- 广翼智联推出基于高通QCM4490处理器和高通212S基带芯片的卫星移动手持解决方案、以及基于高通平台的端侧智能计算终端;
- 广和通发布基于骁龙460移动平台的智能模组SC208;
- 中国联通发布搭载高通Wi-Fi7沉浸式家庭联网平台的Wi-Fi7 BE6500智能路由器VS017;
同时,作为5G演进的第二阶段,5G Advanced不仅是向6G演进的关键阶段,也是迈向“智能计算无处不在”时代的必由之路。在中兴通讯“5G-Advanced联合创新及新品发布会”上,中兴通讯携手中国移动、高通、当红齐天集团共同启动了“5G-A XR大空间对战游戏”项目,让智能计算和极速连接触手可及,惠及更多行业和用户,迈向智能互联的美好未来。而在MWC前夕,四方还联合完成了业界首个5G-A室内超密集沉浸式XR业务保障试点。
AI大模型改变终端交互方式
2023年起,随着生成式AI的飞速普及和计算需求的日益增长,混合处理的重要性空前突显。所谓混合AI,是指生成式AI既需要云,也需要数十亿能够以低功耗进行高性能AI计算的网联终端,如智能手机、PC和汽车。与仅在云端进行处理不同,混合AI架构在云端和边缘终端之间分配并协同处理AI工作负载。云端和边缘终端协同工作,能够实现更强大、更高效且更普及的AI应用。
高通敏锐地意识到,加速推动大模型在终端侧的落地已经刻不容缓。为此,高通在2023年6月发布了题为《混合AI是AI的未来》的白皮书,并提出“混合AI将支持生成式AI应用开发者和提供商利用边缘侧终端的计算能力降低成本”、“混合AI架构或仅在终端侧运行AI,能够在全球范围带来高性能、个性化、隐私和安全等优势”、“混合AI架构可以根据模型和查询需求的复杂度等因素,选择不同方式在云端和终端侧之间分配处理负载”等前沿观点。
与此同时,高通的AI引擎和软件栈为加速终端侧AI推理提供了解决方案,并具备行业领先的性能和能效优势。换句话说,量化、编译和硬件加速优化,是实现混合AI的关键AI技术,受到包括高通在内的多家终端AI厂商的长期关注和押注。
利用高通AI软件栈(Qualcomm AI Stack)执行全栈AI优化,首次在Android智能手机上运行流行的基础模型Stable Diffusion的演示便是一例。最终,Stable Diffusion不但能够在智能手机上运行,而且创造了在15秒内执行20步推理,生成一张512x512像素图像的最快推理速度,能媲美云端时延,且用户文本输入完全不受限制。
上图为Stable Diffusion利用文本提示:“野外河谷和山脉间的日式花园,高细节,数字插图,ArtStation,概念艺术,磨砂,锐聚焦,插图,戏剧性的,落日,炉石,artgerm、greg rutkowski和lphonse mucha的艺术作品”生成的图像。
3个月后的CVPR 2023上,模型参数加量到15亿,ControlNet也已在手机端闪亮登场,出图全程用时不到12秒。
更令人意想不到的是,高通“把这些10亿+参数大模型搬进手机,只需要不到一个月的时间”,并且还只是个开始。接下来,基于高通全栈式的软件和硬件能力,研究人员正在将更多生成式AI模型迁移到手机之中,参数量也正在向百亿级别进发。随着技术的不断应用成熟,能部署的大模型数量、模态类型和部署形式,也都会飞速进化。
凭借一系列基础研究,以及跨AI应用、模型、硬件与软件的全栈终端侧AI优化,更多终端侧设备如笔记本电脑、AR/VR、汽车和物联网终端等,也正因为这场变革迎来了重塑,甚至对加速AI规模化落地起到反哺作用。
2023年底,高通推出了专为AI PC打造的骁龙X Elite平台和第三代骁龙8移动平台,成为了进一步推动终端侧AI规模化扩展的旗帜性产品。
小米在MWC展前发布的龙年开年旗舰Xiaomi 14 Ultra,在第三代骁龙8的赋能下,全面定义了未来移动影像新层次,并在性能、连接、音频等方面带来出色体验。
荣耀在其巴塞罗那全球发布会带来的荣耀Magic6 Pro,搭载第三代骁龙8,支持70亿参数的AI端侧大模型,带来了Magic Portal等AI驱动的智慧体验。
在MWC 2024的现场展示中,高通使用分别搭载骁龙X Elite和搭载市场中常见X86芯片的两台笔记本电脑进行了对比,当两台设备同时运行集成Stable Diffusion插件的GIMP进行AI图像生成时,骁龙X Elite只需7.25秒就能生成一张图像,速度是X86竞品(22.26秒)的3倍,其NPU运算能力高达45TOPS,大幅领先于竞品。
这说明,一旦大模型促使某个真正的“杀手级”应用出现,就会迅速在智能手机、电脑、汽车、物联网、XR等各个移动端之间得到快速部署,对生态链上的各类型企业来说,大模型浪潮下,如何让开发的应用快速适配到不同移动端,实现“一次开发多端互联”,是显而易见的技术趋势。
一切都已经就绪
高通作为终端侧AI领导者,面向包括手机、汽车、XR头显与眼镜、PC和物联网等在内的数十亿边缘终端,提供行业领先的硬件和软件解决方案,对推动混合AI规模化扩展独具优势。
无论是硬件上的Hexagon AI处理器、让生成式AI在云端和终端之间“无缝”应用的混合AI,搭载骁龙平台的终端能够推动混合AI扩展至跨不同细分领域和层级的数十亿产品;软件层面,高通的AI引擎和软件栈所具备的量化、压缩、神经网络架构搜索(NAS)和编译等技术,为加速终端侧AI推理提供了解决方案,并具备行业领先的性能和能效优势。
这意味着,高通已经具备了将大模型随时应用到终端侧的各种技术储备。一旦成功将大模型部署到某个终端侧,如智能手机,就能通过高通AI软件栈将之迅速部署到其他所有端侧设备上,进一步加速大模型的规模化落地。
目前,包括微软、Android、小米、华硕、荣耀、联想和OPPO在内的全球顶级公司,正与高通合作,通过搭建“朋友圈”,让新技术无缝跨越不同终端、品牌和操作系统,将其整合成一个更广泛的、能共享外设和数据的巨型终端系统。