高通与智谱基于骁龙8至尊版移动平台合作适配优化GLM-4V端侧视觉大模型，加速多模态生成式AI体验的终端侧部署

原创 Qualcomm中国 2024-10-22 03:27

【TI资料】基于新型C29内核的MCU技术资料 如何提升高压系统的实时性能?

要点

—

• 高通与智谱合作将GLM-4V端侧视觉大模型，面向骁龙8至尊版进行深度适配和推理优化，支持丰富的多模态交互方式。

• 利用骁龙8至尊版的强大终端侧AI性能和高通AI软件栈为模型带来的性能优化，GLM-4V端侧视觉大模型能够以超过70 tokens/秒的速度在终端侧高速运行。

• GLM-4V-Mini、GLM-4V-Nano端侧视觉大模型和GLM-4-9B模型即将在高通AI Hub上线，搭载骁龙8至尊版的商用手机均可支持。

骁龙峰会首日，智谱与高通技术公司宣布合作将GLM-4V端侧视觉大模型，面向骁龙8至尊版进行深度适配和推理优化，支持丰富的多模态交互方式，进一步推动多模态生成式AI在终端侧的部署和推广，赋能更加情境化、个性化的终端侧智能体验。

骁龙8至尊版移动平台搭载全新第二代高通Oryon CPU和高通Hexagon™ NPU，终端侧AI能力再次实现突破，能够赋能规模更大且更加复杂的多模态生成式AI用例在终端侧高效运行。充分利用骁龙8至尊版的强大终端侧AI性能和高通AI软件栈为模型带来的性能优化，GLM-4V端侧视觉大模型能够实现令人惊叹的处理能力，以超过70 tokens/秒的速度在终端侧高速运行。

改善情境化和定制化一直是用户体验的长期需求。多模态生成式AI模型能够利用终端侧丰富的传感器数据，例如文本、图像、音频、视频等，打造更加直观、无缝的智能交互体验。通过与骁龙8至尊版进行深度适配和推理优化，终端侧多模态应用ChatGLM能够支持三种终端侧交互方式：使用相机进行实时语音对话、上传照片进行对话、上传视频进行对话。丰富的多模态输入输出方式赋能智能助手ChatGLM实现了跨家庭、出行、工作和教育等多个场景的应用，例如通过手机摄像头获取穿搭建议，利用视觉信息实现智能导航，通过车内摄像头识别遗留物品，拍摄画作进行风格解析等。

高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉表示：

高通与智谱共同致力于推动生成式AI在边缘终端上的应用和普及，并已经在手机、PC、汽车等领域展开了紧密合作。结合高通在终端侧AI领域的长期领导力，跨不同边缘终端的广泛市场布局，以及骁龙8至尊版的AI创新，我们在推动终端侧生成式AI发展方面独具优势。多模态是发挥终端生成式AI潜力的重要技术发展方向，我们期待携手智谱，探索多模态在终端侧AI应用上的更多可能。

智谱COO张帆表示：

骁龙8至尊版移动平台提供了卓越的AI算力，结合高通AI软件栈推理框架的性能优化，使得智谱的终端侧大模型可以在设备端实现高速推理。我们相信，终端侧算力平台的性能跃迁结合大模型能力的进步，会将生成式AI带入新的时代。终端侧运行的生成式AI，在为用户提供变革性体验的同时，能更好地保护用户隐私安全，真正让AI变革用户的日常生活。

GLM-4V-Mini、GLM-4V-Nano端侧视觉大模型和GLM-4-9B模型即将在高通AI Hub上线，搭载骁龙8至尊版的商用手机均可支持。

骁龙峰会将展示基于GLM-4V端侧视觉大模型的用例，敬请期待。欲观看峰会主题演讲直播回放，请访问【阅读原文】。

*本新闻稿中提及的高通和骁龙产品由高通技术公司和/或其子公司提供。

*高通和骁龙是高通公司的注册商标。