“当前,创新,特别是AI领域的创新层出不穷。但当开发者面对传统的固定架构硬件时,面临的第一个问题,却是不得不通过修改算法和软件的方式去适应已经存在的硬件。”赛灵思人工智能及软件市场总监罗霖日前在接受《电子工程专辑》采访时指出,赛灵思之所以一直在倡导“自适应计算”,就是意识到了自适应计算能够从云端部署到边缘再部署到终端,将最新的架构创新提供给端到端应用的每一个部分。软件和 AI 开发者现在只需借助硬件抽象工具,就能充分发挥它的优势,而无需成为硬件专家。
赛灵思人工智能及软件市场总监罗霖
“自适应计算”的概念,简单归纳起来,就是六个字:“硬件适应软件”——当开发者提出创新算法的时候,他能够根据具体的应用优化硬件,实现预期的性能,且硬件为可编程的软件所定义。
同时,这种优化是可持续的。这里的“持续”包含两层含义:一是可以对整个数据链路的每个环节(例如从数据的输入到AI模型,再到数据的输出)进行持续优化;二是即便在产品的量产和部署阶段,也能进行持续不断的优化,从而大幅提升相关应用的效率和整体性能。
于是,为了让更多的开发者能够获益于自适应计算硬件平台开发的高效率,赛灵思将易用性作为重要的战略着力点。通过为开发者提供他们熟悉的编程语言、框架和集成开发环境,以及足够的加速API库和参考设计,大幅降低了自适应计算的门槛,开发者上手设计的速度也得以大幅提升。
赋能所有开发者
罗霖用下图为我们呈现了赛灵思为赋能所有开发者而做出的努力。可以看出,Versal ACAP异构加速硬件平台作为基石,承载着整个自适应计算开发平台;向上,依次是包括标量引擎、可编程逻辑、AI加速引擎在内的不同处理单元,以及操作系统和嵌入式运行时、硬件IP、加速库、定制硬件和专门的AI加速库。
在此基础之上,是三种不同的开发工具:包括适合于底层硬件IP、加速库开发的Vivado;面向软件开发者的集成式开发环境和平台Vitis,开发者可以使用自己熟悉的高层次语言C、C++和Python来进行编程;Vitis AI是专门针对AI推理的开发平台,支持AI开发者使用熟悉的框架,例如TensorFlow、PyTorch、Caffe来训练模型,再通过Vitis AI来进行部署,让AI模型能够高效在赛灵思硬件平台上实现。
与此同时,为了提高开发者技能,帮助开发者能够在自适应计算平台上更好的进行项目设计,赛灵思在2020年底推出了新的开发者计划(Xilinx Developer Program),主要包括三方面内容:1. 全新设计的开发者网站,开发者可以在这里找到与Vivado、Vitis、Vitis AI相关的开发资源(项目、工程、底层设计);2. 向开发者提供40多个免费训练模块、点播培训课程等内容,加入赛灵思开发者计划的开发者可以享受五折优惠;3. 推出自适应计算全球设计大赛
此外,赛灵思还将推出相关的开发者认证计划,针对不同的开发者提供不同的培训课程和考试,在得到赛灵思官方认证后,开发者将有机会通过早期使用(Early Access)计划使用赛灵思的产品。值得一提的是,开发者计划对于所有开发者都是免费的,任何一位开发者都可以直接通过赛灵思开发者网站加入该计划,从而尽早享受所有权益。
2021年初,赛灵思还率先推出了应用商店(Xilinx App Store),开创了半导体厂商的先河。目前,商店提供200余个面向Alveo加速卡和云相关的应用,7个面向Kria SoM自适应系统模块产品组合的应用,开发者可以在10分钟之内完成相关应用的快速试用流程。
罗霖提供的数据显示,自Vitis和Vitis AI自发布以来,下载量已经分别超过15万次和10万次,50%以上都来自于新用户,而且基本都是开发者;开发者计划推出8个月以来,注册人数超过10000人;赛灵思应用商店上线半年时间,累计推出208款不同的应用程序。
当然,不断释放开发者的生产力,赛灵思的脚步从来都没有停止。
今年6月底,赛灵思推出了基于机器学习的Vivado ML版本,这是一个突破性的升级:通过在Vivado环境中使用机器学习技术来进一步提升布线的时延优化,进行模块化的自动化设计,从而将结果质量(QoR)平均提升约10%(在不同的测试的用例中甚至会提高50%)。与之同时出现的,还有基于可重配置模块的层级化编译器,用户可以自定义模块,再由赛灵思工具进行增量编译和并行编译,从而一举将平均编译时间缩短5倍,最高可以缩短17倍。
Vitis Video Analytics SDK是9月最新推出的开发工具,主要用于构建和部署基于AI的智能视频分析应用。之所以选择智能视频分析作为切入点,罗霖解释说,从2020年到2027年,AI推理应用市场正以35%的年复合增长率增长,视频图像和语音两大类应用起到了“领头羊”的作用。例如,55%的AI推理应用都基于图像视频,这也是造成视频分析成为增速最快的细分市场的原因所在。
视频分析成为增速最快的细分市场
从下图可以看出,Vitis Video SDK底层基于赛灵思Alveo嵌入式平台,支持运行时库、Vitis、Vitis AI、Gstreamer多媒体协议、以及包括视频编解码、图像预处理、DPU在内的各种各样的插件。为了构建智慧城市、智慧零售、智慧医疗、智慧建筑等方面的应用,Vitis Video SDK还提供了C++和Python接口,支持TensorFlow、Pytorch、Caffe等主流框架模型,开发者无需使用RTL进行编程,因为所有的编程都基C++和Python API,开发效率得以大幅提升。
评测数据显示,在车牌识别这样的应用场景中,Kria SoM可以运行3路,而英伟达的Jetson Nano和TX2只能运行1-2路,是其性能的1.5-3倍;如果基于Alveo加速卡,例如使用Versal VCK5000进行视频解码预处理和目标检测与分类,一张VCK5000卡可以做到32路,而主流的T4是16路,吞吐率高出2倍。
业界最大规模的FPGA设计竞赛
赛灵思自适应计算挑战赛今年是第二届,核心目标是运用赛灵思的自适应计算平台、Vitis、Vitis AI和Vivado ML进行设计,解决现实世界的问题。这也是目前半导体业界最大规模的FPGA设计竞赛,去年约有1000名选手报名参赛,120名选手入围,9名获胜者,奖金总额54000美元。罗霖表示,2021年大赛的规模将是去年的2倍,预计将吸引2000名参赛选手,最终将评选出360名入围选手,15名获奖者,奖金总额70000美金。
本届赛事共设三条主赛道,分别是基于Kria SoM的“边缘计算(Edge Computing)”;基于VCK5000的“数据中心AI”赛道;以及“大数据分析”赛道。每条赛道的冠军获得者都将获得10000美元奖金作为奖励。
此外,本届赛事还特别增设了两个特殊的奖项:赛灵大学计划(XUP)和科技女性(WIT, Women in Technology)专项奖,用于鼓励高等院校自适应计算的创新和推动技术领域的多元化发展,非常令人期待。
根据日程安排,9月7号为比赛正式开放报名日,报名选手可以进行注册并提交竞赛计划,11月中旬之前就可以拿到相关硬件进行开发,比赛的截止时间是在12月底,经过一段时间的评估后,最终的获胜者名单将于2022年3月对外公布。