这两年,疫情虽然影响到了很多行业内的原有活动安排,但项目推行质量也还是很坚挺。比如全国大学生电子设计竞赛下设的信息前沿专题邀请赛。
2020年我们也参加了瑞萨杯信息前沿专题邀请赛的颁奖典礼——原本按照双数年举办的传统,这个赛事的颁奖典礼也应该在2022年举办。但因为疫情,颁奖典礼从原定的去年8月,推迟到11月,最终延后到了今年3月,也算是好事多磨了。
在接受采访时,西安交通大学秘书长罗新民教授说不仅是颁奖典礼,比赛的展开也多番受到影响,比如在明确了邀请的高校队伍之后,瑞萨准备的开发板就要发往学校——但恰逢去年上海为期3个月的防疫封禁,“迟迟没有快递小哥能把这些东西送出去。”罗新民说,“后来我们有几个学校的指导老师当起了快递小哥,自己去给各个高校送了开发板。”项目呈现、评审过程也是线上线下结合的方式。
不过最终呈现的作品质量并没有受到影响。2022届的瑞萨杯邀请赛主题为“网络化语音图像检测与识别”。其实2020届的比赛就已经在尝试迎合时代AI主题,更多引入计算机视觉应用了。当时评委在接受采访时还提到,学生对于AI推理算力的利用仍然没有那么充分;但从今年的作品来看,切题程度是更加到位的。
几个一等奖获奖作品
比如说组委会委员/专家组专家、华南理工大学的殷瑞祥教授特别提到了“利用图像识别技术,把箱子里的面包、烘焙食品认出来,知道里面还有哪些食品、存量多少等等;然后通过互联网,实现进货、库存增减等操作”。
这个项目就是本次邀请赛获得了瑞萨杯的作品,厦门大学的“慧眼识珠-基于瑞萨RZ/G2L的现制烘焙简餐柜”(参与学生:林朴坚、黄添豪、廖元熙)。活动现场展示这个作品描述提到,是“将经过优化的YOLOv5目标检测算法部署在瑞萨嵌入式芯片RZ/G2L上”,结合人脸识别算法实现自助结算。
YOLOv5的“裁剪优化”,并部署于RZ/G2L板,应该是这个项目的核心。另外基于摄像头、QT人机交互界面的自助终端和服务器,实现取物、支付之类的操作,似乎也是项目重点。虽然因为时间关系,我们没能对项目做更为细致的了解,不过这个作品的完成度比我们前两年看到的大学生竞赛作品都更高,对于CV应用的实践也更为成熟。
瑞萨杯获奖队伍
值得一提的是,殷瑞祥教授评价本届邀请赛强调的“网络化”主题,在得奖作品中有比较好的体现。“不光是本地开发板资源的利用,同时还要考虑如何充分利用互联网技术、云资源来做开发。”殷瑞祥说,“从同学们的作品来看,现在的大学生应用互联网资源很娴熟,作品也能充分体现网络化主题。”
瑞萨电子中国战略市场销售部MCU/MPU现场支持团队高级经理于涛也说:“大部分作品在网络化这块都有挺好的体现。一等奖瑞萨杯的这个作品,其实它不光是简单的卖面包的这么一个系统,它包含有云端、数据库,还有人脸识别、购买习惯管理的一套东西做支撑。”“我记得还有个南邮的作品,是空地协同的搜救系统。天上有个无人机,地下一辆救援车,两头互相通信协调。网络化技术在同学们的应用里还是挺好的。”
网络化实际上也切实体现了作品完整度的增强。5个一等奖作品里,除了得到本届瑞萨杯的上述作品,还有4个一等奖作品在颁奖典礼现场也做了展示。分别有下面这些:
△ 智能出餐系统(林钰哲、张承翰宇、谭程珂,杭州电子科技大学)。整个作品包含了云端服务器系统、主控系统、从控系统。云端服务器系统下,可用微信公众号平台点餐;餐厅管理人员可以登录后台查看订单情况、修改上架菜品。
主控系统以瑞萨RZ/G2L为核心,“每隔一段时间向服务器申请订单信息”,通过摄像头捕获图像信息,藉由YOLOv5模型对传入的画面进行菜品识别,并将结果传输至从控系统。从控系统有个机械臂,上面接了勺子,用于打菜,“在接收到从控系统的数据后”“内置的G2L核心板控制舵机系统,根据既定的运动指令操控机械臂”——这个从控系统本质上也就是个完整的执行系统。
△ 智能垃圾分类系统(姜荣昇、孙海华、张广源,青岛大学)。主要功能是实现对垃圾的识别和分类,也是基于计算机视觉进行垃圾图像分类“和语音功能”——虽然不知道这个语音功能究竟是做什么的;执行部分会有开关、垃圾桶状态检测上传;另外配套开发了app,可以从中查看垃圾桶状态,比如在垃圾桶满时,会有实时消息推送。
△ 全自主空地协同搜救系统(朱淳溪、代军、冯骥川,南京邮电大学)。“基于V-SLAM的空地协同搜救系统”,“集合了无人机嵌入式声源定位(SSL),搜救音频信号处理与识别、受灾人体识别、多传感器融合定位、视觉SLAM、自主路径规划、多模态信息处理,目标检测以及智能体间目标位置的实时共享、网络化远程遥控等功能”。
展示的主体部分包括无人机和救援车。这套系统的亮点从介绍来看还挺多,包括“自主设计八通道立方体麦克风阵列,可实现对三维空间多方位的音频信息采集”;“利用瑞萨开发板上集成的TensorFlow-Lite环境搭建深度网络用于人脸检测,RNN网络用于人声提取”;还有“实时定位与建图”“动态避障与路径规划”,实施方案详情未知,看起来是个大工程...
△ 行车安全预警系统,主要是疲劳驾驶检测(关舟、张梓健、王虹极,西安交通大学)。摄像头的驾车者疲劳识别自然是主体,这个项目的核心大概在于对于眼部、嘴部、头部姿态的疲劳状态识别,“结合偏差时间累积算法避免误检”;另外加入了GPS模块用于检测车速,并记录驾驶时长等信息;以及有语音示警,和远程云端管理后台功能。
有关作品介绍的部分,再来谈谈以上所有得奖作品围绕的硬件核心,也就是基于瑞萨RZ/G2L的开发板。虽然今年的邀请赛同样大方向着眼在了CV,但并没有像去年那样选择RZ/A2M——也就是带DRP、专用AI单元的微处理器。
RZ/G2L的边缘AI推理,主要是依托于Cortex-A55的NEON指令集增强,“AI推理性能比前代产品提升约6倍”,“推理时延降低50%”。这应该也算是相当符合了当代TinyML时代潮流的选择。
瑞萨电子中国MPU事业发展部经理张智博说:“我们两届比赛给同学们选用的是不同的平台,希望可以丰富比赛多样性”:A2M“更加面向工业软件应用场景”,“像是RTOS这样的系统”;“而G2L平台跑Linux系统”,“这个平台主打的不是图形图像加速,而是工业HMI场景”。
另外张智博还谈到了RZ/G2L的“五大优势”:除了Cortex-A55相较之前的A53性能提升,以及强调边缘AI处理性能加强之外,还包括(1)工业HMI所需功能和接口丰富,包括MIPI、两路千兆以太网、两路CAN-FD等,“除了用RZ/G2L平台做工业HMI应用场景,还有许多客户会将其用于控制侧场景,比如PLC,比如太阳能逆变器管理侧”;
(2)内置了12位ADC、Cortex-M33子核,“还有个优化的电源管理芯片集成在平台上”。所以电路板整体尺寸可以更小,降低BOM成本。(3)针对工业级应用,提供“超长期支持Linux”“10年以上的长生命周期”——这一点主要是基于CIP Linux内核,“CIP联盟做了工业级Linux,对Linux系统会有10年以上内核的支持”,“瑞萨是CIP联盟的创始成员之一,会和CIP联盟成员共同参与维护、开发和支持”。(4)平台硬件和软件可扩展性支持,包括针对部分平台的pin-to-pin兼容性,包括V2L、G2LC等。
这种比赛的价值究竟何在?
全国大学生电子设计竞赛,大框架是分成了单数年的全国大赛,和双数年的邀请赛的。瑞萨杯是后者的一部分,现在TI和Intel也有对应冠名的主题邀请赛。瑞萨是从2008年开始参与全国大学生电子设计竞赛的。2018年属于赛制转变,也就是“瑞萨杯”信息科技前沿专题邀请赛新10年的开端。罗新民教授也将邀请赛称作“精英赛”,“面向电子信息类的双一流学校和相关专业的学生,做定向邀请”。
“从2018年开始,我们升级转变为信息科技邀请赛,到现在已经举办了三届。2022年是第三次。”瑞萨电子中国总裁赖长青在活动上说,“最早期的10年5届大赛有1000多所高校、10万+人参与。现在的邀请赛变得更加专业,要求也更高。”新10年的每一届瑞萨杯邀请赛,大约会有90支左右的队伍受邀参与。
每次参与此类活动,主办方似乎总要被问到,活动的价值何在。因为即便是精英邀请赛,一般来说面向大学生限定主题和时间的参赛作品,离真正的商用还是有距离的。而且很多时候,得奖作品选择的主题在市面上都已经有非常成熟的对应方案。那么这种比赛的意义就很值得关注。
要说这类赛事的价值,应该是对国家或社会,对冠名赞助的企业,以及对学校和学生这几个方向分别有何价值。北京理工大学副主任赵显利教授说:“大学生电子设计竞赛从开始到现在已经30年了。竞赛的目的也在与时俱进不断更新。”“当年教育部刚刚发起这个竞赛的年代,中国大学生的动手能力还比较差。我们当时竞赛的目的就是为了培养大学生的动手能力。这是最初的目标。”
“现在的信息科技前沿专题邀请赛,则在于中国人才的培养。”赵显利教授谈到,“我们搞人才培养的,要跟上国家的步伐。所以竞赛就有了目标的提升。现在竞赛的目标是创新、拔尖人才的培养。这已经和最初动手能力的培养有了质的飞跃。这也是现在这个比赛叫做信息科技前沿专题邀请赛的原因。”这是从国家、社会层面所做的解答。
以学生为出发点,虽然作品还做不到商用,但可谈的似乎也不少。“在这么短的时间内,能够实现基本功能其实已经很出色了。要最终形成产品还有难度。”赵显利说,“但参加竞赛的同学,成长速度,和在原有学习基础上在企业中做出的贡献,不少人都是被企业认可的。”
就学校的角度来看,“我们在招研究生的时候看到有同学有过这方面的经历,就会更期待他能来上我们的研究生。”“有些同学被免试保送研究生,跟竞赛获得的成绩也是有关系的。说明各高校对这些竞赛还是非常赞赏。”
从市场的角度来看,“人才市场给予了高度认可,获得全国奖的同学非常抢手。”殷瑞祥教授特别举了普源精电和大疆创始人的例子,他们当年就是参加了电子设计竞赛的学生。于涛也说:“从成果物转化来说,比赛还是增强了同学们的社会竞争力的。从我们企业的角度来看,对于本科阶段参加过竞赛、接受过相关训练的同学,他们的工作能力、上手速度都确实很优秀,我们也很希望这样的同学能进来。”
最终从瑞萨作为赞助商的角度,“这么多年和组委会一起组织这些比赛,对我们来说也是学习的过程。”赖长青说,“我们更多地去和高校做配合、合作,也看到高校培养目标人才的能力越来越高。学生的水平,不管是理论水平、实践水平也增长得很快。”
“瑞萨也希望不管在全球市场还是中国市场,帮助社会利用我们的技术、方案和服务,做出更多的努力和贡献。”“另外,人才培养也是一方面。”“我们也会有一些校招计划等培养人才相关的部分,不光是在竞赛中,去吸纳优秀人才,是为半导体也是为瑞萨。这是另一个收获。”