商汤绝影最新自动驾驶研究成果来了！
使用一种全新训练方式，能有效提升纯视觉3D目标检测模型精度！
该方式的研究论文入选了AI顶会ICCV 2023，代码已开源。
研究提出了一种叫做历史帧物体预测（HoP）的训练方法，能让3D目标检测模型更有效地利用时间信息。
并且，HoP方法即插即用，可以无缝集成到任何BEV检测框架中，并提升性能。
例如在主流3D目标检测方法之一——BEVDet4D框架下，使用HoP方法进行训练能够有效提升模型性能，并且发布时在nuScenes的纯视觉方案中取得SOTA。
这又是怎么做到的？
基于纯视觉的3D目标检测正逐渐成为自动驾驶领域的新研究热点，同时也是非常具有挑战性的任务。
目标物体被遮挡、图片信息不全等等都会影响到系统对3D环境的感知，如何融合多摄像头的信息也是其中的难点。
目前最常用的方法是在BEV空间里引入时空信息，对数据信息进行时间融合，比较著名的方法有BEVDet4D、BEVStereo、BEVFormer、PETRv2等等。
新方法不断迭代，SOTA的记录也不断被刷新，这意味着时间信息在纯视觉3D目标检测具有非常重要的作用。
因此，商汤基模型团队提出了一种新的，名为历史帧物体预测（Historical Object Prediction，HoP）的训练方案，能够更高效地利用时间信息，增强算法的时间建模能力。
并且，HoP可以无缝接入任何最先进的BEV检测框架中，并显著提升性能，同时只用在训练过程中使用，在测试时不会引入额外开销。
在BEVDet4D框架下，使用ViT-L作为骨干网络，在nuScenes数据集上，使用HoP训练后的NDS和mAP分别为68.5%和62.4%。论文4月发布时，达到当时纯视觉方案的SOTA。
另外，在使用历史帧Query融合优化后的BEVFormer框架下，使用HoP训练后，在ResNet101和V2-99两种骨干网络下，模型都获得了优于其他模型的结果。
那么，HoP又包括什么？
首先，利用图片的骨干网络和视角转换网络得到从t到t-N时刻的BEV特征，并丢弃第t-k帧的BEV特征信息。
其次，研究设计了一种时间解码器，用来在剩余帧的BEV特征中提取有价值的信息，重建一个虚拟的t-k帧的BEV特征。
该时间解码器包括长期时序信息捕捉分支和短期时序信息捕捉分支。
一方面，短期时序信息捕捉分支重点在于提取空间语义信息，主要利用t-k帧前后两帧；另一方面，长期时序信息捕捉分支则能够提取物体的运动信息，利用的是其余所有帧的信息。
两种方式互补结合，得到强时空特征，更有利于建立虚拟的t-k帧的BEV特征。
最后，研究在虚拟的t-k帧的BEV特征上，增加了一个轻量的BEV检测头来预测t-k帧的物体。
除了HoP，论文中还提出了历史帧Query融合（Historical Temporal Query Fusion），可以从Query层面融合历史帧的信息来帮助当前帧的检测。
在使用历史帧Query融合优化后的BEVFormer框架，使用HoP方法训练后，NDS和mAP都得到提高。
本文一共有7位研究人员，分别来自商汤、香港大学、哈尔滨工业大学（深圳校区）和香港中文大学。
两位同等贡献的第一作者均是商汤的研究人员，分别是Zong Zhuofan和Jiang Dongzhi。第三位作者Song Guanglu同样也来自商汤。
其余作者中，Xue Zeyue来自香港大学，Su Jingyong来自哈尔滨工业大学（深圳校区）。
另外，本文还有两位通讯作者，分别是来自香港中文大学的李鸿升，以及来自商汤的刘宇。
其中，李鸿升是香港中文大学电子工程系副教授，拥有美国理海大学计算机科学博士学位。主要研究方向包括计算机视觉、机器学习和医学图像分析，此次有13篇论文入选ICCV 2023，谷歌学术上总被引次数达到33369次。
刘宇是商汤智慧决策与游戏事业部总经理兼高级研究总监，博士毕业于香港中文大学MMLab，主要研究方向为机器学习和计算机视觉，在AI领域顶会顶刊发布论文超过30篇，被引次数达到5094次。
值得一提的是，本次共有2160篇论文入选ICCV 2023，10%来自中国，其中商汤科技及联合实验室录用了49篇，在产业机构中排在第一位。
论文链接：
https://arxiv.org/abs/2304.00967
代码链接：
https://github.com/Sense-X/HoP
参考链接：
https://mp.weixin.qq.com/s/W5qfQFHcBPR1tODqTSG7YQ
— 联系作者 —
— 完 —
【智能车参考】原创内容，未经账号授权，禁止随意转载。
点这里👇关注我，记得标星，么么哒～
