兼具FPGA灵活性和ASIC性能：新兴AI/ML应用需要新的FPGA架构-电子工程专辑



 0

 收藏

 分享

扫码分享到微信好友

 海报

 扫一扫

扫码查看更多文章

在FPGA市场，Xilinx和Intel是两家主导厂商，几乎占据HPC和数据中心的全部市场，留给其它FPGA厂商的机会很小。然而，有一家位于硅谷的小公司Achronix却跃跃欲试，想凭借突破性的FPGA技术和独特的产品策略抢夺这一市场的更多份额，他们有赢得市场和客户的机会吗？

据Semico Research的最新预测，新兴AI应用为FPGA创造的市场增长迅速，未来5年的CAGR将超过38%，到2023年规模达到52亿美元。这一市场增长主要来自云平台数据中心和高性能计算(HPC)应用，但针对这类应用的AI算法很多，而且仍在不断变化中，目前仍没有占据主导地位的AI芯片架构，GPU、CPU和FPGA都有机会。

图1：Semico对AI应用为FPGA创造的市场规模预测

Intel虽然在数据中心和HPC市场霸占着压倒性的龙头地位，但在新兴的AI应用上，传统通用CPU正逐渐失去优势，英伟达的GPU一跃成为这一新兴市场的宠儿。微软和亚马逊在FPGA上的投入也为FPGA行业注入了新的活力。尽管Intel有着最为完整的产品线，但收购Altera以来却一直没有明确FPGA的战略地位和价值。收购Mobileye决定了其FPGA在汽车市场已经没有发挥空间，最近发布的Agilex平台似乎希望将FPGA纳入其针对高端市场的整体方案的一部分，但能够发挥多大的价值还有待观察。

反观Xilinx在新兴的AI应用上做得有声有色，相对弱小的私营公司Achronix在强敌目前能否站稳脚跟？在最近举行的新闻发布会上，其CEO Robert Blake蛮有信心地表示，客户需要更多选择，Achronix有能力凭借其创新的FPGA+创新技术赢得客户青睐。对于FPGA，新兴AI应用要求芯片不但具有传统FPGA的灵活适应性，而且要有ASIC的性能，要同时在算力、数据传输、存储器层级和接口等方面达到最佳的能效比。如果还是按照传统的FPGA逻辑思路来设计，芯片尺寸、面积和性能将难以满足HPC和数据中心对AI推理的要求。

图2：新的FPGA架构要兼具传统FPGA的灵活适应性和ASIC的性能

芯片内部各功能模块之间的数据传输现在成了芯片性能提高的瓶颈。异构计算虽然是处理器发展趋势，但将不同架构的模块塞进一个芯片里并不能解决所有问题，相互间的数据传输和互联接口会导致延迟而影响性能，因此同构计算的架构仍有独特的优势。Achronix最新发布的Speedster7t芯片从三个方面对传统FPGA进行了彻底改造，从而满足高性能计算、高速内部数据传输，以及高速储存访问和接口的要求。

机器学习处理器(MLP)：专为AI/ML性能而优化的数学运算模块

带有DSP引擎的传统FPGA是针对无线滤波等复杂应用而设计的，需要高精度和浮点数字格式，但在处理AI/ML应用时效率比较低，需要消耗额外的逻辑和存储器资源，受限于FPGA路由布线，其性能难以达到AI算法的要求。而专为AI/ML性能而优化的数学运算模块MLP则具有高密度倍乘器阵列，同时支持浮点MAC和整数MAC，而且与存储器块紧密耦合。MLP可以支持FP16、FP24、Block Float 17/12，以及16/8/4位整数运算。

图3：机器学习处理器(MLP)带片上存储并支持多种数学运算格式

GDDR6：高速存储带宽和接口

处理器与片外存储器之间的数据存取已经成为高性能计算和机器学习系统的瓶颈，目前的高速储存标准有HBM和GDDR6。HBM成本比较高，Speedster7t选择支持GDDR6，可以降低成本约50%。每个GDDR6控制器可以支持512Gbps带宽，8个GDDR6的总带宽高达4Tbps。

图4：新型FPGA架构的高速存储带宽和通信接口

除GDDR6外，Speedster7t还支持DDR4/5以满足大容量存储要求。在高速接口方面，Speedster7t可以支持1-120Gbps SerDes，具有固化的400Gbps以太网接口，以及固化的PCIe Gen 5接口。

片上网络(NoC)：堪比城市立交和高架交通网络

如果一个芯片类似于一个拥挤的城市，那么片上网络(NoC)相当于这个城市的高架立体交通网络。一辆车要从城市的A点到达B点，走高架立交高速路可以快速达到，而走地面线路则要花费很长时间。同样的道理，在传统FPGA设计中，每增加一个加速器和接口所占用的面积都要以平方激增，相当于按照传统的地面线路规划行走。而有了NoC，增加一个加速器和接口所占用的面积只是线性增加。因为每个加速器都带有一个网络访问节点(NAP)，在NoC的水平行和垂直列交叉处都有一个主NAP和一个从NAP，让数据传输速率达到512Gbps，总带宽可以达到20Tbps。

图5：新型FPGA架构的NoC立体网络

此外，数据可以从PCIe接口直接预存到存储器，而不需要占用任何FPGA逻辑资源。例如，要进行400Gbps以太网传输，传统FPGA需要1024位的总线大小，最大频率要724MHz，这对传统PFGA来说是难以达到的。而带NoC和NAP加速器的FPGA则可以分为4个100Gbps，只需要256位和506MHz即可实现。这种固化的ASIC NOC架构具有可编程灵活性，可通过NAP连接FPGA逻辑功能块。

Speedster7t FPGA运行机器学习网络的初步仿真测试结果还是比较引人注目的，在ResNet 50上可以达到8600个图像/秒的性能，在Yolov2上可以达到1600，但真实性能还是要等MLperf测试结果出来才能确定。

除了以上展示的三项技术创新外，Achronix在产品规划策略上也跟Xilinx和Intel/Altera等FPGA厂商不同，这或许是小公司在高度竞争的市场上寻求生存和发展的独特模式吧。对于新发布的FPGA技术，Achronix不但销售Speedster7t FPGA芯片，还对外授权Speedcore eFPGA IP。

图6：eFPGA IP可以嵌入SoC设计

实际上，根据IPNest专门针对全球芯片设计IP的市场统计，2018年增长最快的IP供应商就是Achronix，相对于2017年IP销售额增长了2.5倍，达到5200万美元。Blake先生向《电子工程专辑》透露说，从超大型云计算平台客户那里得到的信息是，他们对单一架构的FPGA很有兴趣。微软和亚马逊的云平台都对FPGA投入了很多资源，也在尝试开发自己的AI推理芯片，Achronix的eFPGA IP对这些客户应该有很大的吸引力，因为市场上的同类选择并不多。此外，一旦针对某一特定应用的FPGA确信可以达到所期望的性能，他们会考虑快速转向ASIC以降低成本和大规模部署，这时候eFPGA IP就可以发挥更大价值。

结语

以往芯片设计师在FPGA的灵活性和ASIC的性能及成本方面总是难以兼得，但现在新兴的AI/机器学习应用要求芯片供应商同时做到可编程灵活性和高性能，这需要跟传统FPGA截然不同的设计思维才能达到这一标准。Achronix的Speedster7t FPGA芯片和Speedcore eFPGA IP是一个新的尝试，能否在HPC和数据中心市场站得住脚还要看其现实环境下的性能表现。

相关阅读：利用本性、借力培育打造令人惊叹的AI SoC

本文为EET电子工程专辑原创文章，禁止转载。请尊重知识产权，违者本司保留追究责任的权利。

FPGAs/PLDs EDA/IP/IC设计

兼具FPGA灵活性和ASIC性能：新兴AI/ML应用需要新的FPGA架构

机器学习处理器(MLP)：专为AI/ML性能而优化的数学运算模块

GDDR6：高速存储带宽和接口

片上网络(NoC)：堪比城市立交和高架交通网络

结语

杂志声明