随着5G时代的到来,边缘计算越来越受到关注,也越来越多的系统、算法和应用厂商开始加入进来。
什么是边缘计算?简单来说,就是数据在本地进行汇集,比如网关处这个交汇点对数据进行计算处理。相比云计算,边缘计算有几个优势:
第一, 大幅降低传输成本。在很多行业,比如电力、能源和工业领域,网络条件并不好,并且通讯基础设施的改造成本很高,因此数据直接在边缘进行处理,处理完的数据直接用于边缘决策,或者有效信息传回云端集中决策,这都可以减少传输成本。
第二, 大幅降低延时。边缘计算往往具有实时的要求,因为要对各种设备进行实时决策,而传统的云计算,由于网络延时,很难做到实时。
第三, 保护数据隐私和安全。边缘计算可以无需将数据或者原始数据传回云端,从而可以大大保护数据的安全和隐私,减少数据泄漏。
在所有边缘计算种类中,人工智能是很核心很重要的一类计算,因为边缘往往和各类传感器相连,而传感器的数据往往是非结构化的,比如视频、图像和语音,很难直接用。因此需要边缘人工智能计算将非结构化的数据结构化,从而用于控制和决策。
寒武纪集齐“云边端”全家桶
寒武纪是国内较早推出AI芯片的公司,2008年寒武纪创始团队成员就开始从事处理器架构和人工智能的交叉研究。
2015年寒武纪研发世界首款深度学习专用处理器原型芯片。
2016年发布国际首个智能处理器指令集Cambricon ISA,同年推出的“寒武纪 1A”处理器已应用于数千万智能手机中。
2017年集成寒武纪1A处理器的世界首款人工智能手机芯片华为麒麟970正式发布,并在华为Mate 10手机中投入大规模商用。
2018年寒武纪推出了MLU100机器学习处理器芯片。
2019年11月14日,寒武纪在第21届高交会正式发布边缘AI系列产品思元220(MLU220)芯片及M.2加速卡产品。思元220标志寒武纪在云、边、端实现了全方位、立体式的覆盖。
图:寒武纪副总裁刘道福现场发布思元220
寒武纪曾于今年6月发布中文品牌“思元”及第二代云端芯片思元270,并于去年正式推出云端AI芯片品牌“MLU”(Machine Learning Unit)及第一代云端芯片思元100。此次推出思元220是寒武纪在边缘智能计算领域产品的代表,将进一步丰富和完善寒武纪端云一体产品体系,继续为客户提供性能卓越、高度优化的人工智能算力支撑。
图:思元220芯片
瞄准8~32TOPS这个范围
刘道福表示:“从算力角度,可以将人工智能计算分为终端,云端和边缘。第一个形态是终端,终端的形态为各类IOT设备、智能摄像头,典型算力要求为1~4Tops;第二个形态是云端,典型算力要求为上百Tops以上;第三个是边缘,这个市场的特点是,即要求高算力,也要求低功耗。”
从产品分布来看,现在各类人工智能芯片非常多,但是有一个特点,除了高端的云端加速卡,就是大部分产品性能都是4Tops以下,对于边缘这种会汇集多路数据,需要更强大算力的场景,8~32T这个范围的芯片,却非常少。“寒武纪就是瞄准这个市场,设计了一款低功耗、高算力的边缘芯片思元220。” 刘道福说到。
最新发布的思元220芯片采用了寒武纪在处理器架构领域的一系列创新性技术,其架构为寒武纪最新一代智能处理器MLUv02,实现最大32TOPS(INT4)算力,而功耗仅10W。
刘道福表示:“在最新一代的寒武纪人工智能处理器架构中,有六大方面的提升和优化。“
首先是单核性能的提升,通过重新设计运算电路,运算指令的能效大幅提升,单核算力提升8倍。第二,增加了了数据压缩和解压缩指令,大幅节省内存容量和访存带宽;第三,指令集扩展近百条,功能更强大更灵活;增加int4和int16的运算指令,可根据需求灵活选择,在高性能的场景使用更高性能的int4,在高精度的场景,使用更高精度的int16。增加了共享的软件可管理的共享缓存,可以软件直接控制在处理器核之间进行通讯,从而大大优化多核性能;最后,为了方便处理复杂数据,增加了灵活的转置等指令,可以支持各种复杂的数据预处理。
芯片特性
思元220芯片可提供16/8/4位可配置的定点运算,客户可以根据实际应用灵活的选择运算类型。在软件方面,通过端云一体的软件平台,思元220继续支持寒武纪Neuware软件工具链,支持业内各主流编程框架,包括Tensorflow,Caffe,mxnet,以及pytorch等。
思元220是一款专门用于深度学习的SOC边缘加速芯片,采用TSMC 16nm工艺,同时采用了FCCSP的封装,尺寸15mmx15mm,仅一个键盘按键大小,有利于让它部署于各类对尺寸有要求的边缘场景中。
加速卡,仅售1999元
基于思元220,寒武纪前期面向市场推出小尺寸的M.2加速卡,未来会推出更高算力的产品形态。
思元220-M.2边缘加速卡在尺寸为U盘大小的卡片上实现了16TOPS(INT4)或8TOPS(INT8)的算力。客户可以通过标准的M.2接口快速部署到已有的业务中实现业务的智能升级和边缘加速解决方案。
图:思元220-M.2
寒武纪自2018年5月发布第一代云端AI芯片思元100及板卡以来,端云一体战略稳步地推进,产品研发有序地前进,商用落地稳健地开展。发布一年多的思元100和今年发布的思元270,已在各场景广泛应用。此次发布的思元220,弥补了市场上边缘端加速方案的空白。
采用思元220的边缘人工智能加速卡在无人零售原型解决方案中的应用
采用思元220的边缘人工智能加速卡在无人零售原型解决方案中的应用
刘道福表示:“为了支撑更多边缘ai应用场景的落地,思元220 m2模组提供了一个有竞争力的价格——1999元。”以不到2000的成本为边缘设备提供最高16万亿次的人工智能算力,加速更多行业的人工智能落地。
寒武纪表示:“作为人工智能芯片的先行者和引领者之一,寒武纪不断推动技术创新,致力于满足市场的多样化需求。此次推出的思元220系列产品将为合作伙伴和客户带来更加高效高速、强大可靠的人工智能使用体验。”面对日新月异的AI产业挑战,寒武纪同样表示:“面向未来,针对不同的场景,包括边缘计算、自动驾驶车载计算、训练等场景,寒武纪将持续投资,推出更多的AI处理器,面向全场景持续提供更先进灵活、快速高效、性能卓越AI算力产品及服务,让AI芯片为各行业助力,让机器更好地理解和服务人类。”