最近在深圳举行的高通AI开放日上,高通宣布一个全新的Cloud AI 100产品,但没有透露太多细节,因为要到下半年才能出样,量产要等到2020年。《电子工程专辑》分析师通过现场采访、市场分析人士访谈及外媒信息,逐渐梳理出高通开发Cloud AI 100背后的逻辑,揭开其神秘的面纱。
瞄准云端AI推理
据市场调研公司预测,数据中心AI加速器市场规模将从2018年的25亿美元增长到2023年的212亿美元。我们知道在云计算平台的AI加速包括训练和推理两部分,其中AI训练侧重算力和性能,而AI推理更看重能效比,即每瓦性能。
从AI芯片的用量来看,AI推理加速器使用场景更广泛,需求量自然更大。根据市调机构Tractica的预测数据,单单数据中心AI推理这一细分市场从2018年到2025年将有10倍的增长,达到170亿美元。在目前的数据中心处理器玩家中,英特尔垄断着服务器CPU和AI推理,而英伟达霸占着AI训练,AMD和赛灵思正在联合进攻这一令人垂诞的市场。此外,还有众多AI芯片初创公司想进来分一杯羹,比如Wave Computing, Graphcore和基于RISC-V架构的Esperanto。
全球Superscale云平台服务商是AI加速器的主要需求者,其中谷歌会使用自家开发的TPU,而亚马逊也在大力宣传自己的Inferentia机器学习推理芯片。看来潜在的大客户只有Facebook、微软、阿里云、腾讯云和百度了。曾经尝试进军服务器CPU市场而失败的高通欲涉足云端AI推理领域,能成功吗?
5G移动是高通的独家王牌
高通产品管理副总裁Ziad Asghar在介绍Cloud AI 100时,列出了高通在四个方面的优势,包括采用先进的7nm工艺、规模化、信号处理技术,以及低功耗设计专长。高通和英伟达的高端芯片都是交给台积电代工的,这方面高通并没有特别的优势。在规模化方面,高通的手机芯片出货量以亿计,规模和成本优势可以部分转移到新的产品上,但刚开始应该不会很明显。
在移动终端的信号处理方面,高通确实有独到之处。内置AI引擎的骁龙855 SoC是高通目前最高端的移动处理器了,而Asghar宣称Cloud AI 100的性能是855芯片的50倍,即其峰值AI性能将达到350 TOPS。这个AI引擎就是高通所谓的神经处理单元(NPU),集成了"Hexagon" DSP和"Adreno" GPU,在移动终端上与其"Kryo" CPU配合,可以高速执行密集的浮点和整数运算。
终端的AI性能如何在云端同样发挥其优势呢?高通有两张王牌可以打,即5G和低功耗设计。在移动应用处理器方面,高通的骁龙芯片并不比苹果、三星和华为的自研芯片强多少,但在5G基带上就无人能及了。最近苹果别无选择,只好跟高通达成和解,继续使用高通的5G芯片,不然5G iPhone都不知道什么时候能够出来。现在高通脚踏iOS和Android两只船,在即将到来的5G时代必将独立船头,一路领先。具有高速度和低延迟特性的5G必将成为嫁接移动终端和云端的桥梁,成为高通将AI性能带到云端的驱动器。
英特尔和英伟达都曾尝试进入智能手机和平板电脑的移动市场,但都以失败告终。究其原因,主要就在于他们的CPU/GPU功耗太大,这是电池供电的移动终端无法忍受的。好在他们两家都在数据中心市场找到了用武之地,但现在注重环保节能和节约成本的数据中心也开始以能效比为主要衡量指标了。高通在低功耗设计方面的专长在云端又可以充分发挥了,特别是用量比较大的云端边缘服务器,因为它起着连接移动终端和云平台的桥接作用。
Asghar在演讲中宣称Cloud AI 100的能效将比目前市面上AI推理芯片强10倍,并多次强调它将作为协处理器(co-processor)以插卡形式“即插即用”到云端服务器上。小尺寸和低功耗的AI推理加速器插卡将会得到云平台服务商的青睐。
此外,Cloud AI 100不需要单独的操作系统和软件支持,因此可以最大限度地支持现有的主流深度学习框架,包括Caffe、Keras、mxnet、TensorFlow、 PaddlePaddle和Cognitive Toolkit等。广泛的平台和软件支持可以吸引更多的软件和应用开发商,从而构建自己的生态圈。
应用为王
高通总裁Cristiano Amon在一次视频访谈中谈到Cloud AI 100的应用前景,预言到云端就是新的游戏平台,这是Cloud AI 100的“完美应用场景”。在云端服务器上执行的高能效AI推理可以减轻移动终端的AI处理负荷,移动游戏要求低延迟,因此AI操作要从数据中心的大型服务器中走出来,尽量接近移动终端。
谷歌最近公布的云游戏平台Stadia似乎也验证了这一预言。在深圳AI开放日上,高通邀请Vivo、王者荣耀开发团队和腾讯AI Lab负责人助阵,一起演绎了一场专业游戏电竞赛。由此可以看出移动游戏将是最能发挥Cloud AI 100极致性能的应用,而腾讯云也可能成为国内首批Cloud AI 100用户。
高通的多元化尝试
为应对增长逐渐放缓的手机市场,以及来自联发科和紫光展锐的蚕食竞争,高通早就开始进行多元化尝试,以分散业务过于依赖手机的风险,同时也在寻求新的增长点。欲借收购NXP进入汽车电子市场的计划破灭后,以Arm服务器芯片进军服务器市场的雄心壮志也未能实现。过去几年又遭受多个政府的反垄断调查,再加上官司缠身,高通似乎迷失了方向。
Amon承认在服务器CPU市场跟英特尔展开正面交战,付出的代价太大,而收效甚微。于是果断裁掉Centriq服务器业务部门,虽然裁员对公司员工会造成负面影响,而且高通与贵州省的合作项目华芯通也遭受到关闭的命运,但从公司战略角度来看是正确的决定。
这次瞄准云端AI推理这一细分市场的尝试能否成功呢?笔者认为,高通这次比较务实,从自身核心优势出发,以全新的产品切入一个有很大增长潜力的新兴市场,成功的概率还是比较大的,只要高通在策略执行上不出大错,能够沉下心来坚持几年的话。云端AI加速市场还没有出现明显的技术领先者,无论是高性能CPU,还是GPU,FPGA,还是特定域的ASIC,都有机会占据一席之地。也许这次高通真的能够将其在移动端的优势延伸到云端,借助AI和5G这两个高速运转的飞轮,开辟出一个新的领地来。