安谋科技:端侧AI应用的机遇与挑战

原创 汽车电子设计 2024-11-02 08:18
芝能智芯出品

在中国硬科技产业链创新趋势峰会上,安谋科技产品总监鲍敏祺详细介绍了端侧AI应用的现状、机遇与挑战,特别强调了NPU(神经网络处理单元)在提升终端算力方面的重要作用。

随着生成式人工智能(AIGC)和大模型技术的快速发展,AI技术正从云端向终端设备延伸,为智能手机、PC、汽车等设备带来了新的应用场景。

端侧AI的兴起不仅带来了技术突破,还在用户体验、数据隐私和安全性等方面产生了深远影响。



Part 1

端侧AI的崛起:
NPU的战略地位


AI计算主要依赖于云端,但云端计算存在延迟和数据隐私的问题。

随着NPU的广泛应用,端侧设备逐渐具备了处理AI任务的能力。NPU是专为神经网络计算设计的加速器,与传统CPU和GPU相比,它在执行AI模型时效率更高、功耗更低,适合资源受限的设备。

鲍敏祺指出,端侧AI可以在本地处理数据和任务,实现快速响应,无需将数据传输到云端,从而提升用户体验并保护隐私。

NPU技术的进步推动了终端设备在语音识别、图像处理和自然语言处理等多模态任务上的性能提升。例如,现代智能手机可以利用内置NPU实现实时物体识别,帮助用户管理和分类照片。

端侧AI不仅在消费电子产品中表现出色,在智能家居、智能穿戴、自动驾驶等领域也有广泛的应用前景。


 端侧AI的核心挑战:算力与带宽的平衡

端侧AI潜力巨大,但其发展仍面临技术和资源的限制。当前,端侧设备的带宽一般在50-100GB/s之间,而云端则可以提供数百TB/s的带宽。

鲍敏祺指出,端侧设备通常运行1-3B参数的大模型,少数情况下可以达到7B,而云端可以运行100B甚至更大的模型。这种带宽和算力的限制使得端侧设备在处理AI任务时无法达到与云端相同的计算能力,导致模型规模和功能复杂性受限。

端侧AI应用需要满足实时性要求,例如在语音助手和图像识别等应用中,用户期望响应时间在毫秒级别。带宽和算力的限制使得端侧AI模型需要在效率和效果之间找到平衡。

这促使芯片制造商在设计端侧NPU时,需要在性能和功耗之间进行权衡,以实现最优的功率效率比。



Part 2

端侧大模型的发展:
多模态与个性化应用的趋势


目前端侧大模型的发展主要集中在语言模型和文生图(文本生成图像)模型,未来将扩展到多模态领域。

多模态模型能够处理语言、图像、音频、视频等多种数据输入类型,满足多样化应用需求。例如,用户可以通过自然语言与设备互动,同时用图片进行信息输入,实现更智能的用户体验。这种多模态AI不仅是人机交互的进展,也让终端设备能够更深入地理解用户需求。

端侧AI的个性化能力是未来的重要方向。通过在设备上进行个性化训练,端侧AI可以不断适应用户的行为习惯,提供更个性化的体验。例如,通过学习用户的拍照偏好,智能手机的AI系统可以自动调整相机设置,甚至在拍照时推荐最佳拍摄模式。这种个性化特性将进一步提高用户黏度,为终端厂商带来更多的商业机会。

 端侧AI赋能新兴设备:可穿戴设备的潜力


端侧AI的应用场景已经从智能手机、PC等传统设备扩展到可穿戴设备。

随着NPU技术的提升,可穿戴设备能够在小巧的体积内实现语音识别、健康监测和图像处理等功能。例如,搭载NPU的智能手表可以在本地处理语音命令,提供更便捷的用户体验。

智能眼镜等新兴可穿戴设备也可以借助端侧AI技术提供实时翻译、情绪识别等功能,拓宽了可穿戴设备的应用边界。

通过在可穿戴设备上引入AI功能,厂商能够提供更具吸引力的产品,从而在竞争激烈的市场中脱颖而出。例如,具备实时语音翻译和心率监测功能的智能手表可以在出国旅行、健康管理等场景中为用户提供更多实用性,提升生活质量。


 端侧AI的技术挑战与行业机遇


端侧AI在许多方面展现出巨大的应用前景,但鲍敏祺指出,它仍然面临一些技术挑战,主要集中在存储带宽、功耗和生态系统三个方面。

 存储与带宽:端侧设备的存储容量和带宽限制使得其无法像云端一样处理大规模数据。为了解决这一问题,行业需要进一步提升存储介质的性能,同时优化数据压缩和传输算法,减少AI计算对带宽的需求。

 功耗限制:端侧设备在AI计算时会面临显著的功耗挑战,尤其是在手机等手持设备中,功耗过高将影响设备的电池续航。因此,NPU的设计需要在保证算力的前提下控制功耗,提升能效比,确保AI功能不会影响设备的使用体验。

 生态系统的构建:为了推动端侧AI的广泛应用,构建开放且兼容的生态系统至关重要。通过建立标准化的接口和协议,行业内的厂商可以在同一平台上开发、部署AI模型,推动终端设备的智能化升级。加强与云端AI系统的协同合作也是端侧AI未来发展的重要方向,以实现端-云一体化的智能服务体验。


展望未来,鲍敏祺提出了一个重要的概念——“Agent智能体”。这种智能体不仅执行命令,还能通过深度学习和强化学习实现自我优化和提升,更全面地理解和满足用户需求。

智能体可以在不断获取用户反馈的过程中进行自适应调整,为用户提供更为精准的服务。例如,通过与用户的互动,智能体能够推测用户的喜好、预判需求,并主动提供个性化建议,从而增强用户体验。

随着多模态AI和个性化模型的成熟,智能体将不仅局限于手机等传统设备,还可能出现在家用机器人、智能家居系统等场景中,为用户提供全天候的智能化支持。

这样的发展前景意味着端侧AI不仅是一项技术进步,更是推动万物互联和智能生活的核心动力。



小结

安谋科技在本次峰会中探讨了端侧AI应用的现状、挑战及未来发展趋势,重点突出了NPU在提升终端算力和支持多模态AI方面的关键作用。端侧AI的兴起不仅满足了用户对实时性和隐私保护的需求,也为终端设备制造商带来了新的市场机遇。

汽车电子设计 本公众号是博主和汽车电子的行业的工程师们一起交流、探讨、思考的小结,以作为技术交流和沟通的桥梁
评论
  • 每日可见的315MHz和433MHz遥控模块,你能分清楚吗?众所周知,一套遥控设备主要由发射部分和接收部分组成,发射器可以将控制者的控制按键经过编码,调制到射频信号上面,然后经天线发射出无线信号。而接收器是将天线接收到的无线信号进行解码,从而得到与控制按键相对应的信号,然后再去控制相应的设备工作。当前,常见的遥控设备主要分为红外遥控与无线电遥控两大类,其主要区别为所采用的载波频率及其应用场景不一致。红外遥控设备所采用的射频信号频率一般为38kHz,通常应用在电视、投影仪等设备中;而无线电遥控设备
    华普微HOPERF 2025-01-06 15:29 127浏览
  • 这篇内容主要讨论三个基本问题,硅电容是什么,为什么要使用硅电容,如何正确使用硅电容?1.  硅电容是什么首先我们需要了解电容是什么?物理学上电容的概念指的是给定电位差下自由电荷的储藏量,记为C,单位是F,指的是容纳电荷的能力,C=εS/d=ε0εrS/4πkd(真空)=Q/U。百度百科上电容器的概念指的是两个相互靠近的导体,中间夹一层不导电的绝缘介质。通过观察电容本身的定义公式中可以看到,在各个变量中比较能够改变的就是εr,S和d,也就是介质的介电常数,金属板有效相对面积以及距离。当前
    知白 2025-01-06 12:04 173浏览
  • 随着市场需求不断的变化,各行各业对CPU的要求越来越高,特别是近几年流行的 AIOT,为了有更好的用户体验,CPU的算力就要求更高了。今天为大家推荐由米尔基于瑞芯微RK3576处理器推出的MYC-LR3576核心板及开发板。关于RK3576处理器国产CPU,是这些年的骄傲,华为手机全国产化,国人一片呼声,再也不用卡脖子了。RK3576处理器,就是一款由国产是厂商瑞芯微,今年第二季推出的全新通用型的高性能SOC芯片,这款CPU到底有多么的高性能,下面看看它的几个特性:8核心6 TOPS超强算力双千
    米尔电子嵌入式 2025-01-03 17:04 55浏览
  • 根据Global Info Research项目团队最新调研,预计2030年全球封闭式电机产值达到1425百万美元,2024-2030年期间年复合增长率CAGR为3.4%。 封闭式电机是一种电动机,其外壳设计为密闭结构,通常用于要求较高的防护等级的应用场合。封闭式电机可以有效防止外部灰尘、水分和其他污染物进入内部,从而保护电机的内部组件,延长其使用寿命。 环洋市场咨询机构出版的调研分析报告【全球封闭式电机行业总体规模、主要厂商及IPO上市调研报告,2025-2031】研究全球封闭式电机总体规
    GIRtina 2025-01-06 11:10 104浏览
  • 在智能家居领域中,Wi-Fi、蓝牙、Zigbee、Thread与Z-Wave等无线通信协议是构建短距物联局域网的关键手段,它们常在实际应用中交叉运用,以满足智能家居生态系统多样化的功能需求。然而,这些协议之间并未遵循统一的互通标准,缺乏直接的互操作性,在进行组网时需要引入额外的网关作为“翻译桥梁”,极大地增加了系统的复杂性。 同时,Apple HomeKit、SamSung SmartThings、Amazon Alexa、Google Home等主流智能家居平台为了提升市占率与消费者
    华普微HOPERF 2025-01-06 17:23 145浏览
  • By Toradex 秦海1). 简介嵌入式平台设备基于Yocto Linux 在开发后期量产前期,为了安全以及提高启动速度等考虑,希望将 ARM 处理器平台的 Debug Console 输出关闭,本文就基于 NXP i.MX8MP ARM 处理器平台来演示相关流程。 本文所示例的平台来自于 Toradex Verdin i.MX8MP 嵌入式平台。  2. 准备a). Verdin i.MX8MP ARM核心版配合Dahlia载板并
    hai.qin_651820742 2025-01-07 14:52 45浏览
  • 大模型的赋能是指利用大型机器学习模型(如深度学习模型)来增强或改进各种应用和服务。这种技术在许多领域都显示出了巨大的潜力,包括但不限于以下几个方面: 1. 企业服务:大模型可以用于构建智能客服系统、知识库问答系统等,提升企业的服务质量和运营效率。 2. 教育服务:在教育领域,大模型被应用于个性化学习、智能辅导、作业批改等,帮助教师减轻工作负担,提高教学质量。 3. 工业智能化:大模型有助于解决工业领域的复杂性和不确定性问题,尽管在认知能力方面尚未完全具备专家级的复杂决策能力。 4. 消费
    丙丁先生 2025-01-07 09:25 80浏览
  •     为控制片内设备并且查询其工作状态,MCU内部总是有一组特殊功能寄存器(SFR,Special Function Register)。    使用Eclipse环境调试MCU程序时,可以利用 Peripheral Registers Viewer来查看SFR。这个小工具是怎样知道某个型号的MCU有怎样的寄存器定义呢?它使用一种描述性的文本文件——SVD文件。这个文件存储在下面红色字体的路径下。    例:南京沁恒  &n
    电子知识打边炉 2025-01-04 20:04 100浏览
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球无人机锂电池产值达到2457百万美元,2024-2030年期间年复合增长率CAGR为9.6%。 无人机锂电池是无人机动力系统中存储并释放能量的部分。无人机使用的动力电池,大多数是锂聚合物电池,相较其他电池,锂聚合物电池具有较高的能量密度,较长寿命,同时也具有良好的放电特性和安全性。 全球无人机锂电池核心厂商有宁德新能源科技、欣旺达、鹏辉能源、深圳格瑞普和EaglePicher等,前五大厂商占有全球
    GIRtina 2025-01-07 11:02 68浏览
  • 村田是目前全球量产硅电容的领先企业,其在2016年收购了法国IPDiA头部硅电容器公司,并于2023年6月宣布投资约100亿日元将硅电容产能提升两倍。以下内容主要来自村田官网信息整理,村田高密度硅电容器采用半导体MOS工艺开发,并使用3D结构来大幅增加电极表面,因此在给定的占位面积内增加了静电容量。村田的硅技术以嵌入非结晶基板的单片结构为基础(单层MIM和多层MIM—MIM是指金属 / 绝缘体/ 金属) 村田硅电容采用先进3D拓扑结构在100um内,使开发的有效静电容量面积相当于80个
    知白 2025-01-07 15:02 75浏览
  • PLC组态方式主要有三种,每种都有其独特的特点和适用场景。下面来简单说说: 1. 硬件组态   定义:硬件组态指的是选择适合的PLC型号、I/O模块、通信模块等硬件组件,并按照实际需求进行连接和配置。    灵活性:这种方式允许用户根据项目需求自由搭配硬件组件,具有较高的灵活性。    成本:可能需要额外的硬件购买成本,适用于对系统性能和扩展性有较高要求的场合。 2. 软件组态   定义:软件组态主要是通过PLC
    丙丁先生 2025-01-06 09:23 85浏览
  • 彼得·德鲁克被誉为“现代管理学之父”,他的管理思想影响了无数企业和管理者。然而,关于他的书籍分类,一种流行的说法令人感到困惑:德鲁克一生写了39本书,其中15本是关于管理的,而其中“专门写工商企业或为企业管理者写的”只有两本——《为成果而管理》和《创新与企业家精神》。这样的表述广为流传,但深入探讨后却发现并不完全准确。让我们一起重新审视这一说法,解析其中的矛盾与根源,进而重新认识德鲁克的管理思想及其著作的真正价值。从《创新与企业家精神》看德鲁克的视角《创新与企业家精神》通常被认为是一本专为企业管
    优思学院 2025-01-06 12:03 119浏览
  • 本文介绍Linux系统更换开机logo方法教程,通用RK3566、RK3568、RK3588、RK3576等开发板,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。制作图片开机logo图片制作注意事项(1)图片必须为bmp格式;(2)图片大小不能大于4MB;(3)BMP位深最大是32,建议设置为8;(4)图片名称为logo.bmp和logo_kernel.bmp;开机
    Industio_触觉智能 2025-01-06 10:43 87浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦