国际测试委员会发布首个智能超算及芯片排行榜

10月30日，国际测试委员会（BenchCouncil）在2020青岛创新节期间举办的智能计算机大会和芯片大会联合主论坛上，发布了国际首个智能超级计算机榜单——HPC AI500。日本富士通公司夺得榜首，谷歌、索尼分列二三位，腾讯公司位列第四，中日美三国公司包揽了榜单前九名。

HPC AI500按照VFLOPS、Time（min）以及Quality的排名，数据（未经验证）是从原始论文和技术报告中收集的。(图自：benchcouncil官网，下同)

AI当道，传统超算测评标准已不再适用

随着人工智能（AI）的迅速发展，智能超级计算机成为科研界与工业界新的热点，全球各大科研机构、科技巨头、创业公司都纷纷推出了各自的智能超级计算机。

然而，当前基于Linpack测试评定的全球超算TOP500并没有对超级计算机向与AI应用融合的方向上倾斜，无法较好地反映超算对AI的支持能力。在这一背景下，打造一个智能超级计算机的评价标准变得十分必要。

等效的HPC AI500 V2.0方法论透视图

国际测试委员会主席詹剑锋在接受《中国科学报》采访时表示，“中美欧之间正在争夺智能超级计算机评价标准的主导权。”作为国际上第一个智能超算排行榜，HPC AI500榜单通过科学合理的实验，从人工智能性能评价标准AIBench中选取了最能代表智能超算应用场景的测试程序：图像分类和极端天气分析（目标检测）。

詹剑锋介绍说，考虑到模型精度在AI领域的重要性，HPC AI 500使用每秒有效浮点操作数（VFLOPS）作为主要的性能指标，该指标也是一个兼顾系统性能和模型精度的指标。除了VFLOPS，HPC AI500同时还使用训练AI模型所需时间和相应模型所能达到的精度作为辅助指标。

关于完整基准的AIBench的三个子集。 聚类基于17个AIBench组件基准的计算和内存访问模式

榜单显示，日本富士通公司推出的智能超级计算机系统以每秒3.141亿亿次的有效浮点运算速度位列榜首；排名第二和第三的智能超级计算机系统分别来自美国谷歌公司和日本索尼公司；由中国腾讯公司推出的智能超级计算机系统排在榜单第四位。榜单上前三的智能超级计算机系统均通过使用大规模的人工智能加速器（如GPU、TPU等）和相应的高性能算法来提高AI的性能，榜首富士通公司的智能超级计算机系统更是使用了多达2048块Tesla V100GPU，并提出了新颖的通讯算法来优化不同层次。

AI芯片也要重新排名

据媒体报道，会上，国际测试委员会还同步发布了智能芯片性能榜单，对近20款主流人工智能芯片配置进行了性能排名。

智能芯片性能榜单

性能评价标准是控制计算机生态的最核心标准之一。当前在CPU评测领域，SPECCPU标准被芯片厂商广泛采纳，成为评价处理器芯片性能优劣的权威标准。虽然SPECCPU在不断的进化（目前最新的SPECCPU 2017是第六代产品），但其主体还是基于桌面应用扩展的传统应用程序集合。对于大数据分析、人工智能、互联网服务等现代应用负载的体现非常有限。

和传统应用负载相比，大数据分析、人工智能、互联网服务等现代应用负载具有软件栈复杂、计算特征多样、数据访问频繁等显著特性。这使得其和传统应用负载存在明显差异。

针对现代应用负载特征，BENCHCPU采用层次化分析方法，从应用程序运行的计算逻辑、执行逻辑、实际执行三个层次对现代应用负载进行评测。BENCHCPU融合了现代应用负载与传统应用负载。现代应用负载主要为人工智能推断程序、大数据分析程序， 传统应用负载主要为编译、压缩、仿真等应用集合。这些应用程序可以在多类处理器平台上部署运行。BENCHCPU还会进一步扩展应用负载范围，并在计算逻辑层进行负载精简，推出评价标准测试集合。同时定义规范的测试流程，开展基于BENCHCPU的公开评测。

据国际测试委员会介绍，该排行榜基于最新的人工智能性能评价标准，旨在客观公正、综合全面地评价当前蓬勃发展的各类人工智能系统，引领人工智能系统的研发走向正确的方向。

榜单由国际测试委员会联合阿里、腾讯、微软亚研、Paypal 等国内外17家知名互联网企业共同发布，包含3个互联网人工智能场景和17个人工智能任务，能够反映真实的人工智能应用场景，是目前最全面的人工智能性能评价标准。

发布活动上，中国工程院院士倪光南在视频致辞中对国际测试委员会致力于建立人工智能、芯片等新技术标准体系的行动表达了赞赏。他认为，这些标准是未来计算机生态的关键。

责编：Luffy Liu

本文综合自benchcouncil官网、中国科学报、半岛新闻、中国工业新闻网报道