4月7日，全球权威AI基准测试MLPerf发布最新榜单，在聚焦低功耗、高能效的IoT领域Tiny v0.7榜单中，基于平头哥玄铁RISC-V C906处理器的软硬件联合优化方案，取得了全部4个指标的第一，并且达到了其他竞品同类最优性能的10倍以上。这也意味着，玄铁RISC-V C906处理器成为了目前最高能效比的AIoT计算内核。
RISC-V手册开源指令集指南
在该测试结果公布的次日，芯智讯专访了阿里平头哥副总裁孟建熠，以及平头哥生态负责人杨静，希望为大家揭开平头哥玄铁RISC-V C906处理器此次在AI基准测试当中以绝对优势获得4项全球第一背后的秘密。同时，对于平头哥在RISC-V领域最新的技术及生态进展，以及对于RISC-V产业未来的发展，孟建熠与杨静也做了进一步的分享。
RISC-V架构的新机遇：CPU的高能效AI计算
众所周知，目前在CPU市场，英特尔的X86架构及Arm架构仍然是最为主流的指令集架构。其中，x86架构统治着PC及服务器市场，而Arm架构则完全占据了移动市场。不过，在IoT（物联网）市场，由于需求非常碎片化、对功耗、成本也更为敏感，目前不论是X86架构还是Arm架构的处理器，都难以很好的满足IoT市场各种定制化的需求。
相比之下，近几年来兴起的RISC-V架构，由于具有指令非常精简、模块化、可扩展、开源、免费等优点，使得它在IoT市场有着天然的优势，可以更容易地针对物联网市场开发出低功耗、高能效、低成本、满足各种定制化需求的处理器产品。更为关键的是，在IoT市场，x86或Arm都没有绝对的生态上的优势，RISC-V的发展并不会受到压制。再加上开源的RISC-V既能让企业参与全球RISC-V技术协同创新，又能满足相对独立的自主可控发展需求，使得RISC-V受到了众多中国厂商的追捧。
近年来，随着边缘计算以及人工智能（AI）技术的兴起，更多原本放在云端的AI计算被下放到边缘端，这样一方面可以减少对于网络带宽的消耗，同时也能降低数据处理的延时，保障用户数据的安全性，提升用户的整体的AI体验。在此背景之下，AIoT（智能物联网）市场对于边缘AI的能力也提出了更高的要求。
由于AIoT芯片对于成本和功耗都比较敏感，不同的细分市场也有着不同的个性化的需求，这也使得AIoT芯片大多无法像云端或移动端的芯片那样，直接外挂或集成定制的AI加速来负责AI计算，更多是依赖于CPU来进行AI计算。
孟建熠也表示，面对IoT领域的AI需求，其实很多场景都不需要用AI加速器去做，尤其是在面对1Tops以下算力需求的应用当中，通过优化提升CPU的AI能力就已经可以应对，这对于芯片的成本、功耗、可调试性、可开发性都是非常友好的。
相对于x86及Arm等CPU架构来说，由于RISC-V架构CPU本就有着低功耗、低成本的优势，这也使得进一步挖掘RISC-V CPU的AI能力，成为了不少AIoT芯片厂商重点拓展的新方向。特别是在控制功耗的前提下，RISC-V CPU的AI能效的表现则更为关键。
玄铁C906夺得四项AI测试全球第一，意义何在？
此次平头哥半导体玄铁RISC-V C906参与的MLPerf基准测试，是目前全球最权威的AI基准测试之一。Tiny是MLPerf近年新增的聚焦于低功耗、高性价比的IoT场景的性能测试分类，主要用于展示各芯片厂商在应用日益广泛的IoT智能市场情景中的软硬件性能和优化能力。
据了解，此次在本次Tiny v0.7的测试中，参与竞争的CPU架构多样，涵盖了Arm、RISC-V架构和自研架构等。在不使用加速器的情况下，阿里基于平头哥玄铁RISC-V C906处理器内核——全志D1提交的软硬件性能优化结果，在满足精度要求的同时，刷新了全部4个benchmark（主要是视觉唤醒、图像分类、语音唤醒及异常监测）性能指标的纪录，创造了RISC-V架构在MLPerf Tiny基准测试有史以来的最好成绩。
△MLPerf网站展示的玄铁C906的四项测试
从Tiny v0.7推理性能数据对比来看，玄铁C906的四项测试得分分别达到了其他机构最优性能的12.6倍、20.8倍、16.2倍和10.9倍以上。足见玄铁C906在AIoT领域的性能优势。
△权威AI榜单MLPerf Tiny V0.7性能数据对比
据了解，在AI Benchmark领域，过去大家看重的都是芯片的AI性能，在这块MLPerf已经做到了国际公认的权威。经过近几年的发展，特别是在IoT领域，芯片的AI能效表现越来越受到重视，MLPerf也对应的推出了针对IoT领域的AI能效的基准测试Tiny。
孟建熠告诉芯智讯：“由于此前阿里在AI能效方面一直有较多的布局和积累，当Tiny这个测试推出之后，我们自然就想来反映一下自身的能力，于是就去参与了测试，结果四个指标都拿到了第一，证明了我们的技术路线是正确的。”
需要特别指出的是，该测试成绩是在不使用加速器的情况下取得的，也就是说，这个测试的成绩完全反映的是平头哥C906的AI处理能力。
软硬协同优化是关键
那么，平头哥玄铁C906此次成功拿下四项AI测试的全球第一，并且相比友商的最优性能得分均高出了10倍以上，其背后又有着哪些秘密呢？
据介绍，此番玄铁C906这一成绩的取得，主要是得益于阿里软硬件协同创新优化的实力，包括了从硬件，到编译，到算法，再到应用的各个方面。
首先，在硬件层面，玄铁C906处理器是业界最早量产的向量扩展RISC-V指令集处理器。采用5~8级流水线设计，配备性能优异的单双精度浮点和128位矢量运算单元，支持INT8 / INT16 / INT32 / INT64 以及 BF16 / FP16 / FP32 / FP64多种格式的矢量运算。同时，C906在数据预取上也做了优化，采用多通道多模式的数据预取技术，可大幅提升数据访问带宽。
其次，在编译层面，平头哥进一步优化了针对玄铁CPU平台的神经网络模型部署工具集HHB（Heterogeneous Honey Badger） 及开源神经网络加速库CSI-NN2，将AI算子更好地与硬件适配，使得玄铁CPU实现了AI性能升级。目前，HHB及CSI-NN2均已开源。
第三，在算法层面，借助阿里云震旦异构计算加速平台SinianML对各个benchmark的神经网络进行了压缩、蒸馏、伸缩、网络结构搜索等多方位的优化，在保证达到要求精度目标的情况下，得到远高于标准模型的计算效率，同时集成阿里IoT、蚂蚁IoT、达摩院语音实验室等在各自领域的优化经验和能力，进一步拓展细分领域的优化的效果。
第四，在应用层面，玄铁RISC-V处理器经过数年的发展，目前已覆盖低功耗、高能效、高性能等各类场景，并支持了OpenXuantie的多操作系统（AliOS、FreeRTOS、RT-Thread、Linux、Android等），广泛应用于智能家电、车载、工业控制、边缘计算等领域。这也使得玄铁RISC-V处理器能够针对各种不同应用端的需求进行持续优化。
总结来说，玄铁RISC-V的硬件更多的是处理器这块，而软件则更多的是AI的编译框架以及上层的网络结构优化的工具。软硬协同优化，则得益于阿里云AI团队与平头哥团队之间的协同。
目前包括平头哥玄铁RISC-V E902、E906、C906、C910等4款量产处理器IP，以及针对玄铁RISC-V处理器AI方面的神经网络模型部署工具集HHB和神经网络加速库CSI-NN2，都是完全开源开放的。所以，在此基础上，客户在面向特定领域的时候，还可以自己做更深度的优化。
RISC-V在移动及服务器市场的未来
正如我们在前文当中所指出的，由于RISC-V所具有的低功耗、低成本的优势，使得其非常适合IoT市场。目前RISC-V生态的发展也主要是围绕着各种IoT的应用。但是，这并不代表RISC-V就没有机会进入Arm架构统治的移动市场，以及x86架构统治的服务器市场。
2021年10月13日，平头哥就宣布其基于RISC-V架构的玄铁C910成功兼容安卓系统，可运行Chrome浏览器等应用。这也是当时业界首次实现RISC-V架构对安卓的支持，意味着RISC-V架构有望打破场景壁垒，成为移动端芯片设计的新选择。
目前平头哥正持续推动基于RISC-V CPU架构的Android生态发展，未来将有更多新的进展和发布值得期待。
虽然，RISC-V的高能效、低成本等优势，可能会给移动设备带来更好的体验以及成本的降低。但是，RISC-V的劣势也很明显，因为它是一个新的架构，不论是在移动端、还是在PC/服务器端都缺乏生态的支持。
另外，RISC-V架构的完备性和处理的能力也需要进一步完善，以适应移动市场或PC/服务器市场的要求。但是，随着RISC-V CPU内核不断向高性能方向发展，以及各种复杂功能的加入，可能也会将使得RISC-V CPU内核变得越来越臃肿，功耗也会大幅增加，开发的门槛也会大幅提高。目前高性能的RISC-V CPU IP也主要是由一些RISC-V开发商（比如SiFive、平头哥）通过IP授权形式提供的。在此情况下，RISC-V原本的指令精简、低功耗、低成本的优势或将不再明显，恐怕很难与在移动市场占据绝对生态优势的Arm架构进行竞争，也难以在服务器市场与x86架构竞争。
据了解，目前RISC-V基金会已经有超过2000家会员企业，其内部有着多达60个左右的技术委员会，都在积极的从各个维度来完善RISC-V技术。这其中不仅有硬件的开发人员，还有软件开发者，以及各行各业里原来就在用Arm架构的芯片厂商。就连x86架构的处理器大厂英特尔也加入了RISC-V基金会。同时，英特尔和AMD也都投资了知名的RISC-V IP厂商SiFive。
RISC-V IP未来路在何方？
近两年来，随着RISC-V架构的火爆，以及资本的追捧，市场上涌现出了众多的RISC-V IP供应商，比如平头哥、SiFive、芯来、晶芯、赛昉等。
但是从市场角度来看，半导体IP市场规模本并不大，特别是在CPU IP领域。即便是垄断了整个移动市场CPU IP的Arm，其2020年的营收规模也只有19.80亿美元左右。更何况市场上本就有很多的开源RISC-V IP，还有一些终端厂商选择自研RISC-V IP。这些都将使得未来的RISC-V IP市场或将面临极为激烈的竞争。
RISC-V手册开源指令集指南
开启国产CPU和AI芯片的腾飞之路
1、行业深度报告：GPU研究框架
2、信创产业研究框架
3、ARM行业研究框架
4、CPU研究框架
5、国产CPU研究框架
6、行业深度报告：GPU研究框架
本号资料全部上传至知识星球，更多内容请登录智能计算芯知识（知识星球）星球下载全部资料。
免责申明：本号聚焦相关技术分享，内容观点不代表本号立场，可追溯内容均注明来源，发布文章若存在版权等问题，请留言联系删除，谢谢。
电子书<服务器基础知识全解(终极版)>更新完毕。
获取方式：点击“阅读原文”即可查看182页 PPT可编辑版本和PDF阅读版本详情。
温馨提示：
请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享，点击“阅读原文”获取更多原创技术干货。
