爱芯元智创始人仇肖莘：回首五年科技创新路，艰难但值得

作为一家服务于智慧城市、智能驾驶、机器人、AI算力卡、AR/VR等边缘和端侧设备市场的芯片公司，成立于2019年5月的爱芯元智真正走出行业“隐身模式”，开始以AI视觉芯片研发及基础算力平台公司的形象出现在人们的视野中，是在2021年成功完成三轮融资并连续推出两款高性能、低功耗AI视觉处理芯片之后。再之后的故事，开始为行业所熟知。

在与《电子工程专辑》最新的一次交流中，爱芯元智创始人、董事长仇肖莘博士坦言，“科技创新是一条艰难但值得的道路，是五年来我个人最深的感触。”

爱芯元智创始人、董事长仇肖莘博士

众所周知，2019-2024，这五年既是人工智能、智能驾驶真正从理论走向行业落地的五年，也是国际国内经济、政治、科技形势变化最大的五年。作为人工智能芯片企业，爱芯元智无疑最真切的感受到了环境的影响，也最深刻的体会到越是这样的时刻，中国芯片企业越应该牢牢把握主动权，不断修炼内功，坚持自主创新，把“自研”这条艰难的路走下去。毕竟，只有科技创新才是“新质生产力”的动力源泉。

然而另一方面，中国芯片市场也在一定程度上被“内卷”之风所裹挟，人们似乎更关心一家企业走的“快不快”，反而忽视了他们走的“好不好”、“稳不稳”？在本期访谈中，仇肖莘博士不但分享了边端侧AI应用、生成式AI大模型前景、以及爱芯元智的企业发展战略，还就上述热门话题进行了阐述。

边端侧AI缘何呈现“爆发式”增长？

AI应用加速向边端侧扩展是近年来人工智能行业最明显的趋势之一，也为半导体行业带来了巨大的机会。据Gartner公司预测，2024年人工智能芯片将为半导体行业带来671亿美元的收入，预计到2027年，这一发展轨迹将继续飙升，达到令人印象深刻的1194亿美元。

仇肖莘博士将边端侧AI呈现“爆发式”增长归结为以下原因：

通用人工智能(AGI)大模型的快速迭代和演进，通用智能的涌现，使人们看到了大模型带来的无限可能。大模型日新月异的发展，不仅促使训练所需的算力呈指数级增长，使云端算力供需缺口持续放大；而且随着应用的不断成熟，大模型部署持续下沉，在越来越多的场景开始落地。随着用户对数据隐私性和安全性的日益重视，以及很多场景下对实时性的诉求，AI模型在边缘侧、端侧部署的重要性加速凸显。而芯片技术的进步和AI处理器的发展，则是满足AI模型边缘侧和端侧部署和运行需求的重要保障。

“应用场景更加丰富”、“部署模式更加多样化”和“产业生态更加完善”，是仇肖莘博士对未来AI市场发展做出的基本判断。在她看来，AI不但将全面融入智能家居、智慧城市、智能驾驶、工业制造、机器人等多个领域，而且还会采用本地部署、云边协同、联邦学习等多样化部署模式。”所有应用都值得用AI重新做一遍”，这将驱动AI芯片、软件、模型算法等产业链上各环节迅速完善。

“当然，我们也要看到，AI在端侧、边缘侧部署的过程中，也存在很大挑战。首先怎么保证在成本、功耗可控的情况下支撑AI模型特别是大模型所需的算力需求。其次如何解决数据孤岛、安全性和隐私性等问题。这些挑战需要业界共同去面对，才能推动AI的健康发展。”仇肖莘博士强调称。

NPU作用日益凸显

作为大模型与AI视觉芯片相结合的实践者，爱芯元智目前拥有爱芯智眸AI-ISP和爱芯通元混合精度NPU两大自研核心技术，二者实现了AI时代对感知与计算的变革——用AI颠覆传统技术，用AI重新定义产品。

爱芯智眸AI-ISP是爱芯元智首创且于业界最早实现商业化的AI-ISP技术，通过将ISP中的重要模块如降噪等进行AI化，打破了传统成像天花板，使得爱芯智眸AI-ISP在暗光成像、宽动态等痛点场景下，能有效进行高光抑制、色彩还原、暗光降噪，大幅提升成像性能，让“黑夜如白昼”。 

爱芯通元混合精度NPU是面向AI应用的原生AI计算处理器，基于应用、算法、硬件的协同设计，实现了全方位的性能优化，真正做到了低成本、低功耗、易使用。值得一提的是，爱芯通元混合精度NPU是以AI算子为原子指令集、采用可编程数据流DSA微架构的AI计算处理器，其采用多线程异构多核设计，实现算子、网络微结构、数据流和内存访问优化，高效支持混合精度算法设计，原生支持Transformer网络结构，为大模型在边缘侧、端侧的应用提供了良好的基础。

一个值得关注的现象是，随着不同垂直领域对生成式AI需求的不断增加，NPU正日渐成为行业热点。这是巧合还是必然？背后有怎样的逻辑关系？

仇肖莘博士对此表示，NPU成为行业热点并非巧合，而是因为其在处理AI任务方面的高效性。以爱芯通元NPU为例，作为专门为AI应用设计的计算处理器，它能够提供比CPU和GPU更高的计算性能和更低的功耗，在大幅缩短模型推理时间的同时延长设备续航时间，非常适合生成式AI模型在端侧的部署和运行。 

此外，随着边缘计算的兴起，将数据处理和AI推理能力下沉到设备端，需要更强大的本地计算能力，NPU不但提供了这种可能，还因为大幅减少数据传输，减小了对网络带宽的压力，提高了数据安全性，保护了用户隐私。未来，随着NPU的性能、功耗得到进一步提升，以及成本的进一步下降，NPU在更多领域得到应用将不会是一件令人感到意外的事情。

寻找真正的AI“杀手级”应用

2023年，以ChatGPT为代表的AGI大模型爆发，意味着人工智能步入新航海时代，半导体产业迎来发展新机遇。在大算力、大模型、大数据的结合下，部署在边缘侧和端侧、更接近用户的下沉式智能将成为必然趋势。

目前，端侧AI大模型已经在多个领域展现出其潜力，尤其是在智能手机、智能家居、自动驾驶、机器人等应用场景。这些模型通过优化神经网络架构，使得AI大模型能够在资源受限的端侧设备上高效运行。

“尽管在现阶段，我们离端侧AGI的‘杀手级’应用还有一段距离，但可能不会太久了。”仇肖莘博士对《电子工程专辑》表示，在端侧运行AI大模型之所以能够成为行业热点，是人们越来越意识到将AI大模型部署在端侧，不但可以避免将数据传输到云端，从而降低功耗和成本，更可以大幅降低延迟，提高响应速度，并有效保护数据隐私和安全。一些对实时性和安全性要求较高的场景，例如自动驾驶、智能家居、工业控制等，需要将AI大模型部署在端侧才能满足需求。

随着技术的进步，一些具有潜在“杀手级”应用的大模型已经开始出现，例如智能驾驶的端到端大模型，对于真正实现安全可靠的高阶智驾功能以及更先进的无人驾驶都具有革命性的意义。

“机器人会是另一个具备广阔发展空间的赛道。”仇肖莘博士说她相信在不远的将来，在AI大模型技术的加持下，机器人的智能水平将得到更大的提升。届时，无论是现在常见的工业机器人，还是未来能够进入家庭的家用机器人，都将迎来更多发展机遇。目前，爱芯元智正在利用已有技术和产品对上述新兴潜力市场进行探索，为下一步市场机遇的到来积累know-how。

尽管大模型风头正劲，但将更多生成式AI模型迁移到端侧/边缘侧设备中，并实现落地，其实并不是一件容易的事情，设计人员必须要面对来自模型尺寸和计算复杂度、数据隐私和安全、模型鲁棒性和可靠性、功耗和成本等方面的挑战。

这一点并不难理解，今天的生成式AI模型通常具有很大的参数量和计算复杂度，其训练往往需要海量数据。把这些模型迁移到算力和存储空间都有限的端侧/边缘侧设备上，是一件非常有挑战的事。同时端侧/边缘侧部署环境复杂多变，如何保证模型在不同环境下能够鲁棒可靠地运行？如何在保证性能的前提下降低功耗和成本？都是挑战。

当前，针对AI在端侧普及的需求，业界正在积极寻求解决方案。比如一些算法公司正在通过联邦学习和安全多方计算技术，来解决数据隐私和安全性问题。有的算法公司主攻低比特量化技术，在保证性能的同时，使算法轻量化，更利于低成本、高效部署。

作为AI芯片企业，爱芯元智在2023年推出了第三代高算力、高能效比的SoC芯片——AX650N，凭借高性能、高精度、易部署、低功耗等方面的优异表现，受到越来越多有大模型部署需求用户的青睐，并且先人一步成为Transformer端侧、边缘侧落地平台。同时爱芯通元混合精度NPU还提供成熟易用的编译器，从而大幅度降低AI软件开发、部署的成本。从AI处理器在视觉领域的评价指标来看，爱芯通元混合精度NPU也表现出色，其在运行SwinT模型时，量化精度达到了80.45%，并有着416FPS的高性能和199FPS/W的超高能效比。

大模型落地汽车，是趋势还是噱头？

目前也有很多人在讨论以Transformer为代表的大模型落地汽车领域的话题。从芯片企业的角度来看，这是一种明确的趋势还是噱头的成分更大？芯片平台如何面对智能驾驶“算力强，算法优”的需求？

仇肖莘博士对此回应称，“将Transformer等大型AI模型应用于汽车领域，特别是在智能驾驶系统中，是一种明确的趋势。”

从芯片企业的角度来看，仇肖莘博士认为，AI SoC，也就是人工智能系统级芯片，已经成为创新的热点。这种类型的芯片使得以Transformer为代表的大模型成为可能。这些大模型能够实时处理大量的信息，比如路面状况，车辆和行人的动态，以及各种环境因素，以实现高效和安全的自动驾驶。

其次，现在炙手可热的端到端自动驾驶技术，也在推动芯片技术的发展。端到端技术意味着整个驾驶过程，从感知环境，到做出驾驶决策，再到执行驾驶行为，全部由AI系统完成，这对芯片企业对于支撑这样的先进技术提出了非常高的要求。

比如端到端驾驶算法强調感知与决策的一体化，对SoC的设计也提出了更高的要求。它需要支持高效地处理和融合多模态多帧数据，新技术路线会影响SoC中CPU、NPU等不同算力单元的资源变化。尤其在端到端技术路线的早期，行业还处于摸索阶段，SoC还需要考虑不同计算资源不确定的情况，为智驾系统提供足够强大和灵活的计算加速能力。 除此之外， 世界模型在线学习也对智驾芯片的内存和推理能力提出了新挑战，它需要支持实时学习、推理和模拟交互；未来可能采用混合结构，在端内采用NPU等专用硬件加速关键子任务，在端外调用云端AI处理更复杂任务；智驾芯片还需提供丰富的外设接口和安全防护机制，支持多模态数据采集融合及错误监测和恢复等等。

正是因为智能驾驶的这种特殊性，芯片企业要入局这一领域，不仅要深化与合作伙伴的合作，优化算法以提高运算效率和降低功耗。还要将AI处理能力与其他车载系统集成，以提高整体性能和响应速度。当然，更应该将数据安全视为重中之重，防止潜在的网络攻击和数据泄露。

爱芯元智在2023年正式宣布进入汽车赛道，对外推出了车载品牌爱芯元速，定位Tier2，目前已实现大规模上车量产。基于自研的NPU和AI-ISP的两大核心技术，爱芯元速通过提供高性能低功耗AI SoC芯片，为车载前视一体机、行泊一体域控制器、CMS、DMS/OMS等提供全系列智能驾驶参考解决方案，同时拥有高效易用的工具链、丰富的软件开发平台、系统成本优异的特点，且都支持被动散热，满足行业发展趋势和需求。

坚持“一体两翼”战略

这里提及的“一体两翼”，是指爱芯元智重点关注的AIoT和ADAS两大市场。其中，AIoT覆盖智慧城市、机器人等领域；ADAS则聚焦L2及以上ADAS、行泊一体、智驾一体等产品。

“‘一体两翼’是我们基于自身的业务能力和生态优势所提出的明确路径。AIoT是公司从成立以来就一直深耕的领域，五年来有了丰富的积累，但还有很多可以继续深耕的地方，比如在关键技术上取得新突破，比如将业务向其他市场拓展，等等。”仇肖莘博士说。

而在智能驾驶领域，以新入局者身份切入的爱芯元速一直在努力奔跑，其智能驾驶芯片产品目前已被多家国内主机厂所认可，零跑C01和C11车型从去年开始已经规模化出货，另外包括南方头部OEM、国内TOP新能源车企、某主流合资车企等客户已在部分车型中选用了爱芯的芯片解决方案。

当然，无论是做AIoT、智能驾驶还是未来更多的领域，健康的生态系统都是最关键的。根据仇肖莘博士的分享，供应链方面，确保供应链的可靠性和稳定性，以及通过大量出货达成战略性合作，形成稳固的供应链关系，获得成本优势，将是公司今后的重点；产品生态方面，将秉承合作开放理念，与AIoT、智能驾驶等领域的上下游合作伙伴形成紧密合作关系，共同推动技术共享、市场共赢，以适应行业的快速变化，用实际行动诠释“普惠AI创造美好生活”的理念。

根据规划，未来，爱芯元智还会进一步扩展爱芯AI推理芯片的应用领域，覆盖云边端等各种场景，提升端边侧智能水平，降低大模型运营的成本，积极推动大模型所代表的生产力革命，推动AI智能成为像水、电一样的基础设施，用AI重塑千行百业。

结语

今年是爱芯元智成立五周年。爱芯从诞生到现在，经历了科技的快速发展和国际环境的动荡，见证了人工智能真正从理论走向各行各业、中国智能新能源汽车实现换道超车，以及科技创新给我们的生产生活带来了高效便利。

正如仇肖莘博士所言，爱芯虽然取得了一定的成绩，但还有很多优秀的企业同行值得去学习，爱芯元智将会继续以创业者的心态，不断修炼内功，加大研发力度，坚持自主创新，努力提升产品品质，满足行业更加多元化的需求。

本文为《电子工程专辑》2024年6月刊杂志文章，版权所有，禁止转载。免费杂志订阅申请点击这里。