----追光逐电 光赢未来----
过去几年里，YOLOs因在计算成本和检测性能之间实现有效平衡而成为实时目标检测领域的主流范式。研究人员针对YOLOs的结构设计、优化目标、数据增强策略等进行了深入探索，并取得了显著进展。然而，对非极大值抑制（NMS）的后处理依赖阻碍了YOLOs的端到端部署，并对推理延迟产生负面影响。此外，YOLOs中各种组件的设计缺乏全面和彻底的审查，导致明显的计算冗余并限制了模型的性能。这导致次优的效率，以及性能提升的巨大潜力。在这项工作中，我们旨在从后处理和模型架构两个方面进一步推进YOLOs的性能-效率边界。为此，我们首先提出了用于YOLOs无NMS训练的持续双重分配，该方法同时带来了竞争性的性能和较低的推理延迟。此外，我们为YOLOs引入了全面的效率-准确性驱动模型设计策略。我们从效率和准确性两个角度全面优化了YOLOs的各个组件，这大大降低了计算开销并增强了模型能力。我们的努力成果是新一代YOLO系列，专为实时端到端目标检测而设计，名为YOLOv10。广泛的实验表明，YOLOv10在各种模型规模下均达到了最先进的性能和效率。例如，在COCO数据集上，我们的YOLOv10-S在相似AP下比RT-DETR-R18快1.8倍，同时参数和浮点运算量（FLOPs）减少了2.8倍。与YOLOv9-C相比，YOLOv10-B在相同性能下延迟减少了46%，参数减少了25%。代码链接：https://github.com/THU-MIG/yolov10。
效率驱动的模型设计。YOLO中的组件包括主干（stem）、下采样层、带有基本构建块的阶段和头部。主干部分的计算成本很低，因此我们对其他三个部分进行效率驱动的模型设计。
（1）轻量级的分类头。在YOLO中，分类头和回归头通常具有相同的架构。然而，它们在计算开销上存在显著的差异。例如，在YOLOv8-S中，分类头（5.95G/1.51M的FLOPs和参数计数）的FLOPs和参数计数分别是回归头（2.34G/0.64M）的2.5倍和2.4倍。然而，通过分析分类错误和回归错误的影响（见表6），我们发现回归头对YOLO的性能更为重要。因此，我们可以在不担心对性能造成太大损害的情况下减少分类头的开销。因此，我们简单地采用了轻量级的分类头架构，它由两个深度可分离卷积组成，卷积核大小为3×3，后跟一个1×1卷积。
（2）空间-通道解耦下采样。YOLO通常使用步长为2的常规3×3标准卷积，同时实现空间下采样（从H × W到H/2 × W/2）和通道变换（从C到2C）。这引入了不可忽视的计算成本 和参数计数。相反，我们提出将空间缩减和通道增加操作解耦，以实现更高效的下采样。具体来说，首先利用逐点卷积来调制通道维度，然后利用深度卷积进行空间下采样。这将计算成本降低到并将参数计数降低到。同时，它在下采样过程中最大限度地保留了信息，从而在降低延迟的同时保持了竞争性能。
（3）基于rank引导的模块设计。YOLOs通常对所有阶段都使用相同的基本构建块，例如YOLOv8中的bottleneck块。为了彻底检查YOLOs的这种同构设计，我们利用内在秩来分析每个阶段的冗余性。具体来说，计算每个阶段中最后一个基本块中最后一个卷积的数值秩，它计算大于阈值的奇异值的数量。图3(a)展示了YOLOv8的结果，表明深层阶段和大型模型更容易表现出更多的冗余性。这一观察表明，简单地对所有阶段应用相同的block设计对于实现最佳容量-效率权衡来说并不是最优的。为了解决这个问题，提出了一种基于秩的模块设计方案，旨在通过紧凑的架构设计来降低被证明是冗余的阶段的复杂性。
基于精度导向的模型设计。论文进一步探索了大核卷积和自注意力机制，以实现基于精度的设计，旨在以最小的成本提升性能。
（1）大核卷积。采用大核深度卷积是扩大感受野并增强模型能力的一种有效方法。然而，在所有阶段简单地利用它们可能会在用于检测小目标的浅层特征中引入污染，同时也在高分辨率阶段引入显著的I/O开销和延迟。因此，作者提出在深层阶段的跨阶段信息块（CIB）中利用大核深度卷积。这里将CIB中的第二个3×3深度卷积的核大小增加到7×7。此外，采用结构重参数化技术，引入另一个3×3深度卷积分支，以缓解优化问题，而不增加推理开销。此外，随着模型大小的增加，其感受野自然扩大，使用大核卷积的好处逐渐减弱。因此，仅在小模型规模上采用大核卷积。
（2）部分自注意力（PSA）。自注意力机制因其出色的全局建模能力而被广泛应用于各种视觉任务中。然而，它表现出高计算复杂度和内存占用。为了解决这个问题，鉴于普遍存在的注意力头冗余，作则提出了一种高效的部分自注意力（PSA）模块设计，如图3.(c)所示。具体来说，在1×1卷积之后将特征均匀地按通道分成两部分。只将一部分特征输入到由多头自注意力模块（MHSA）和前馈网络（FFN）组成的NPSA块中。然后，将两部分特征通过1×1卷积进行拼接和融合。此外，将MHSA中查询和键的维度设置为值的一半，并将LayerNorm替换为BatchNorm以实现快速推理。PSA仅放置在具有最低分辨率的第4阶段之后，以避免自注意力的二次计算复杂度带来的过多开销。通过这种方式，可以在计算成本较低的情况下将全局表示学习能力融入YOLOs中，从而很好地增强了模型的能力并提高了性能。
这里就不做过多介绍啦，直接上结果！！！latency减少，性能继续增加。
[1] YOLOv10: Real-Time End-to-End Object Detection.
申明：感谢原创作者的辛勤付出。本号转载的文章均会在文中注明，若遇到版权问题请联系我们处理。
----与智者为伍 为创新赋能----
联系邮箱：uestcwxd@126.com
QQ：493826566
