第二十届智能汽车竞赛智能视觉组增强现实总决赛阶段试行说明

一、背景介绍

  第二十届全国大学生智能汽车竞赛竞速比赛规则已发布，比赛将于2025年暑期举行。竞速组比赛分为10个赛题组，其中 “智能视觉”组细^[1] 则中已公布过在今年的智能视觉组中会根据裁判系统的改版进度来决定是否融入增强现实的手段，依据目前的准备情况，决定在今年全国总决赛阶段引入增强现实来叠加被识别的图片数据，以此来丰富比赛时的数据集内容以及规避比赛中的常见问题，包括志愿者裁判的工作太复杂以及受光线影响导致的环境不一致等。

二、增强现实实现方式说明

  为实现将图片数据叠加到图像处理平台（如OpenART，以下用OpenART进行代指）的图像里，正式比赛时，裁判系统会增加一个中继模块，参赛作品的OpenART获得的所有图像信息来自于中继模块，由中继模块模拟sensor的时序输出图像信息。中继模块本身有sensor接口，中继模块通过自己看到的实际图像进行红色立方体识别（立方体上方会放置AprilTag码），中继模块识别到红色立方体上的AprilTag码后，完成目标图片在红色立方体上的数据叠加，这样参赛作品上的OpenART看到的图像就已经是完成了目标图片叠加的完整图像。与当前大家使用OpenART看实际场景的区别是，传统的目标图片是真实放到红色立方体上的实物图片，而中继模块的目标图片是通过增强现实手段叠加目标图片到自己看到的红色立方体上的，叠加的目标图片不受光线干扰、图片库更丰富且裁判工作减少。

以上动图对应的演示视频可以下网盘链接获取

• 链接: https://pan.baidu.com/s/1kviFbamFcylkLN7h3gk9lg?pwd=ryht
• 提取码: ryht

2.1 、裁判系统中继模块简介

• 支持高速WiFi通信（预留给裁判系统）。
• 支持对外输出DVP接口（把自身模拟成一个摄像头）。
• 支持连接外部sensor，当使用增强现实方案时，用于连接外部sensor获取第一视角图像。
• 支持串口交互，用于与OpenART交互，如请求图片叠加以及识别结果的回传。
• 板载Flash，当使用离线方案时，可以将目标图片数据存储在本地。
• 自带显示屏，使用离线方案时，裁判可以通过屏幕显示内容核对识别结果。
• 支持USB接口，便于通过该接口传输数据。

2.2 、增强现实比赛流程说明

  全国总决赛时，不放置手写数字的红色立方体正上方会放置一张内容为11的AprilTag码，用于确定叠加目标图片的位置（AprilTag是一个视觉基准库，在AR、机器人、相机校准领域广泛使用。设定为与二维码相似但相对更简单的特定标志，实现快速检测）。

  增强现实版比赛流程如下：

1） 车模从起跑线前出发，在赛道上运行期间，遇到红色立方体后，车模首先进行判断是否需要申请图片，如果立方体上是数字则直接进行识别，并将结果发送给中继模块；如果是AprilTag码，则向中继模块发送请求目标图片的指令（请求图片指令1）。

2） 中继模块收到请求命令后，会先检测是否应该叠加图片内容（根据当前视野有无数值为11的AprilTag），如果符合条件，则从本地存储或者局域网裁判系统的数据库获取目标图片，叠加到红色立方上，目标图片的位置和大小根据看到的实际立方体位置和相对大小来进行叠加，叠加后的图片通过中继模块的DVP接口输出到OpenART Plus，供参赛作品的OpenART Plus进行目标图片识别。

3） 参赛作品的OpenART Plus根据中继模块输出的图像内容进行识别，并将识别结果反馈给中继模块。

4） 中继模块收到识别结果后停止叠加被识别图片内容，输出自己看到的实时图像，等待下次请求命令，往复执行直到完成所有根据内容推箱子的任务。

5） 车模完成第一个推箱子任务后，到遇到最后一个箱子出现前这段时间，可一边继续沿赛道往前运行，一边在没有箱子推的空闲时间再主动申请最多10张图片用于识别，每正确识别一张图片减时1秒，每错误识别一张罚时1秒。由选手自行决定是否申请额外的图片，被识别图片叠放位置随机。申请目标图片的命令为：请求图片命令2（使用不同的请求命令是为了与命令1区分开来。需要注意的是，中继模块的响应逻辑是收到申请图片命令1后，需要先判断视野范围内是否有AprilTag码，有AprilTag码才会进行目标图片叠加，收到申请后必须先回复本次识别结果才能再次发送请求图片命令，否则返回错误指令，选手需自行按逻辑把控空闲时间的奖励目标图片申请。同理，申请图片命令2发出后也需要先回复本次识别结果才能再次发送请求图片命令。选手编写程序时需注意，勿因时机和逻辑错误导致申请不到图片）。

6） 数字依然通过实物手写识别，由裁判放置实物图片，参赛作品需要将看到的数字识别结果回传给中继模块，中继模块做对应显示供裁判场核对。

• 注：回复的结果若结果为非数字，为官方数据集对应的英文分类标签，如AT+RESULT=mouse\r\n、AT+RESULT=electrodrill\r\n;
• 若结果为数字，则为数字对应的字符，如AT+RESULT=5\r\n、AT+RESULT=33\r\n等。回复数字的结果需要在没有请求图片命令1或2的时候发送（如果同时请求图片和看到数字，需要先发送识别请求图片的结果命令，完成请求和回复的交互后再发送识别数字的结果命令）

2.3 、局域网或离线实施说明

  当采用局域网联网获取图片时，中继模块通过WiFi与裁判系统进行通讯，并获取实时的图片内容，通过这样的方式可以最大化扩大考题内容，进一步考验同学们的模型鲁棒性。

  当采用离线本地获取图片时，会预先在中继模块上的Flash芯片存储300-500张图片，用存储在中继模块的本地图片库当做考题内容。相较于在线方式，离线方案可以在无线环境不理想时确保比赛的顺利进行，且图片内容相对前几届的实物图片来说也丰富了很多。

2.4 、图像处理平台（OpenART）硬件更新说明

  针对上述施行框架，现在设计的中继模块的模拟摄像头数据不能直接给现有的OpenART，经过和NXP讨论，决定由NXP合作伙伴逐飞公司将OpenART mini升级为OpenART plus，升级后使得OpenART模块能够直接获取中继模块模拟输出的图像，使得智能视觉组的增强现实乃至往后的虚拟现实考察手段能得以实现。因此，如文章开头所述，只计划在全国总决赛阶段引入增强现实来叠加被识别的图片数据，进入总决赛的队伍需要自行将OpenART mini升级至OpenART plus，且需要考虑正式比赛时，中继模块的安装位置可直接在参赛作品的OpenART plus的安装位置进行固定，使得视野不发生变化。中继模块无需购买，只会在比赛时作为裁判系统的一部分联合使用。平时练习时换上自带的CMOS对真实图像信息进行获取和图片识别分类训练。分赛区按传统视觉组组比赛模式进行。

• 注：OpenART plus是基于NXP的RT1170系列高性能MCU制作而成，性能相比OpenART mini搭载的RT1060系列性能提升约40%，新老图像处理平台的工作模式保持一致，对于参赛同学们来说，可以继续保持原有方式进行图像识别的开发工作。

2.5 、分赛区阶段识别结果显示要求的补充说明

  本文主要描述了总决赛阶段增强现实考察手段的说明，在分赛区阶段，参赛队员需要编写程序将当前场次比赛结果显示出来，车模需要在完成一周运行后，按顺序将依次遇到的图片内容和手写体数字显示到小车自带显示屏上，供裁判判罚识别是否正确，识别结果按两列+N行的表格的形式显示到屏幕上，第一列显示识别的顺序序号，1、2、3、...、N，N为总图片数量，第二列为当前序号对应识别到的类别标签，如果是数字则直接显示数字，如果是非数字，则显示对应标签的英文或者中文字符，图片标签内容如下：

  表2.2：图片类别标签中英文对照表

  LCD显示屏的显示示意图如下：

  视觉组未要求自制点阵屏进行结果显示，可自行选择大小合适的普通显示屏进行显示即可，若参赛同学有兴趣自制点阵屏进行显示，可以参考英飞凌LED驱动方案进行制作，要求显示效果清晰，便于辨认。