国内首款 14nm Chiplet大模型推理芯片发布

边缘计算的市场价值呈现高速发展趋势。IDC预测，到2023年底，全球的边缘计算市场将达到2000亿美金的规模;预计到2026年，边缘计算市场将突破3000亿美金。

边缘计算的场景呈现出算力碎片化、算法长尾化、产品非标化、规模碎片化的特征，传统的算法开发和芯片都难以适应新一代人工智能边缘计算场景的产品化需求。大模型的出现，为行业提供了算法层面的解决之道。但大模型在边缘计算场景要面向实战发挥作用，则需要AI大模型推理芯片的支持。

对于AI芯片而言，大模型带来全新的计算泛式和计算要求。芯片需要具备更大的算力、更大的内存带宽、更大的内存容量，才能支持巨量参数的大模型在边缘端运行。同时，AI边缘推理芯片还承担了“落地应用最后一公里”的职责，这就意味着AI边缘推理芯片不仅要支持大模型等AI计算任务，还需要具备较强的通用算力。

针对上述场景需求，云天励飞打造了新一代边缘AI计算芯片DeepEdge10，并于11月15日在高交会开幕式上重磅发布。云天励飞董事长兼CEO陈宁表示：“从2015年开始，研发到今天的第三代的神经网络处理器，可以全兼容基于Transformer的计算范式。而Transformer是语言、视觉大模型的计算范式，云天励飞2020年开始研究，到2021年就实现了全面兼容。今天发布的DeepEdge10系列芯片，正是基于最新的Transformer计算范式。”

云天励飞董事长兼CEO陈宁博士在高交会开幕式上介绍DeepEdge10芯片

DeepEdge10规格及特性

据介绍，DeepEdge10是国内首创，基于国内自制可控14nm工艺D2D（Die-to-Die）互联 Chiplet先进封装大模型推理芯片，比如通过D2D Chiplet先进封装技术，在一颗封装里面装入更多的DeepEdge10的Die，就能够实现性能的成倍提升。当然，这对于先进封装技术来说，需要保障Die与Die之间能够实现高速互联、大带宽、低功耗、低时延、传输的高可靠性、强大路由、统一内存。

“14nm Chiplet D2D同样可以实现的出色的计算能力，我们基于Chiplet D2D的技术可以实现一次设计流片、多次封装，可推出多颗不同计算规格的AI推理芯片。”陈宁解释道。

DeepEdge10还具有SoC主控集成度和C2C（Chip-to-Chip）Mesh扩展架构，这也意味着，多颗DeepEdge10芯片可以直接通过C2CMesh Torus互联扩展来进一步提升整体的性能，可以实现高达512GB的统一内存、高达192GB的统一内存带宽、实现各计算节点的最短传输延迟、Mesh可重构特性可以支持2×2/3×3/4×4 Mesh。

DeepEdge10内含2大核＋8小核的国产RISC-V CPU内核，最高主频1.8GHz；集成了性能可对标Arm Mali-G52的GC8000L GPU，主频800MHz，支持最大8K@30fps的视频编解码能力和最大2亿像素的JPEG编解码能力，并且支持双屏异显（2K@60fps）。

配备云天励飞最新的第四代神经网络处理器（NPU） NNP400T，不仅支持FP16/INT16/INT8等数据格式，还支持多线程、支持Transformer网络结构模型，INT8算力可达12Tops，支持大模型推理部署和算力的灵活扩展。

同时，DeepEdge10还具备硬件级的安全特性，以及完备的高低速外围接口。

DeepEdge10

出货情况

基于一系列创新技术，云天励飞打造了系列化芯片。目前已开发出 Edge10C、Edge10 标准版和 Edge10Max 三款芯片，其中，DeepEdge10C算是精简版，NPU算力为8TOPS。而DeepEdge10Max则是“PRO版”，CPU核心提升到了40核，NPU算力达到了48TOPS。

据陈宁透露，云天励飞下一代的边缘AI推理芯片DeepEdge20将会采用第二代的Chiplet架构，兼容国际标准/国产UCIE标准，内核采用第三代的异构多核架构，并集成自研的第四代的神经网络处理器，届时性能将会比DeepEdge10提升20倍。

目前，云天励飞已向国内头部的AIoT芯片设计厂商、智慧汽车芯片设计厂商、服务机器人厂商、国家重点实验室等提供神经网络处理器的IP授权。出货形态包括芯片、板卡、盒子、加速卡、推理服务器等，可广泛应用于AIoT边缘视频、移动机器人等场景。

在此次发布会上，云天励飞还推出了依托DeepEdge10打造的推理加速卡，包括IPU X2000、IPU X5000和IPU X6000，算力分别为24TOPS、64TOPS和256TOPS。其中，IPU X5000推理卡，已适配并可承载SAM CV大模型、Llama2等百亿级大模型运算。

DeepEdge10 Max

根据云天励飞公布的数据显示，其最强的DeepEdge 10MAX芯片可以支持在端侧运行70亿参数的LLMs大模型，生成速度可达27 Token/s，并且可兼容运行130亿参数的LLMs大模型。而基于DeepEdge10系列芯片的IPU加速卡，通过C2C Mesh互联扩展，算力可达1024TOPS，运行700亿参数的LLMs大模型，生成速度可达42Token/s，并可兼容运行千亿参数的LLMs大模型。

云天励飞自2004年成立之初就坚持芯片研发，沉淀“算法芯片化”的核心能力。“算法芯片化”并不是简单的“算法+芯片”，而是云天励飞基于对场景的理解，以及对算法关键计算任务在应用场景中的量化分析，将芯片设计者的理念、思想与算法相融合的AI芯片设计流程，能够让AI芯片在实际应用中发挥更优的效果。

相关阅读：《“确认过人脸，是那个拐走孩子的人”》

目前公司已完成了3代指令集架构、4代神经网络处理器架构的研发，且已陆续商用。云天励飞还有近30家算法芯片化合作伙伴，这些合作伙伴的需求将会被植入云天励飞的下代芯片当中；在算法应用生态方面，所有使用云天励飞芯片产品的合作伙伴，均可在线下载更新云天励飞的100＋种算法。

据介绍，云天励飞已建立起一支核心芯片团队，设计经验平均超过14年。云天励飞的芯片还先后获得工信部、发改委、科技部三大部委人工智能专项，并三度获得“吴文俊人工智能科学技术奖”。

云天励飞副总裁、芯片产品线总经理李爱军在云天励飞AI芯片发布会上详细介绍DeepEdge10情况

云天励飞的自主研发芯片，也是公司自进化城市智能体战略的重要引擎。2020年，云天励飞在高交会上正式发布自进化城市智能体战略。驱动自进化城市智能体发展的核心逻辑，是打造“应用生产数据、数据训练算法、算法定义芯片、芯片规模化赋能应用”的数据飞轮。芯片是决定AI应用广度与深度的关键载体，也是自进化城市智能体建设的重要算力支撑。

展望未来，陈宁认为，三年后，80%以上的企业将运行在大模型之上；五年后，机器人和数字人的数量将超过人类的数量；七年后，也就是到2030年，大模型的智慧程度将超过人脑，那个时候大模型可能将会具备超过1万亿的参数体量，相当于是人脑末梢神经链接的数量，我们正在踏入第四次工业革命的开端。

“在这个过程中，云天励飞也将坚持我们的初心，继续加大自主研发力度，不断的推进人工智能算法的技术、芯片的技术。同时，立足自主可控，以自研‘芯’，为自进化城市智能体发展提供强大引擎。”陈宁说道。