【光电智造】YOLOv5、YOLOv8与YOLOv10，性能分析与边缘部署梳理，YOLO算法进化史！

 今日光电 

----追光逐电 光赢未来----

这篇论文全面回顾了YOLO（You Only Look Once）目标检测算法的发展历程，重点关注了YOLOv5、YOLOv8和YOLOv10。

作者分析了这些版本在架构改进、性能提升以及适用于边缘部署方面的进展。YOLOv5引入了重要的创新，如CSPDarknet Backbone 网和Mosaic增强，平衡了速度和精度。YOLOv8在此基础上加强了特征提取和 Anchor-Free 点检测，提高了灵活性和性能。

YOLOv10代表了向前的一大步，无需NMS训练、空间通道解耦下采样和大核卷积，在减少计算开销的同时取得了最先进的性能。

作者的发现突出了在准确度、效率和实时性能方面的逐步提升，特别是强调它们在资源受限环境中的应用性。

这篇综述提供了模型复杂度与检测精度之间权衡的见解，为选择最适合特定边缘计算应用的YOLO版本提供了指导。

论文链接：https://arxiv.org/pdf/2407.02988

1 Introduction

YOLO（You Only Look Once）[1]系列彻底改变了实时目标检测，从其诞生以来，几乎推出了十几个变体。尽管YOLO有十多个版本，但YOLOv5[2]，YOLOv8[3]和YOLOv10[4]在边缘部署场景中尤其突出。这三种变体因其速度、准确性和效率的最佳平衡而受到关注，特别适合资源受限的环境。

1. 性能优化：它们在推理速度和检测准确性之间提供了卓越的平衡，这对于边缘设备上的实时应用至关重要。例如，YOLOv5s在V100 GPU上的推理时间为6.4ms，在COCO数据集上达到37.4 mAP[2]。
2. 可伸缩性：每个变体都提供了针对架构深度的多个子变体，使开发行人能够为特定的硬件限制和性能需求选择最佳匹配。这从针对极端资源受限设备的nano模型到针对准确性敏感应用的超大型模型不等。
3. 易于部署：这些模型配备了强大的工具和文档，便于集成到各种边缘计算平台中。YOLOv5的多格式导出能力和YOLOv8的统一API显著简化了部署过程。
4. 持续改进：每个新版本都解决了前一代的局限性，融入了深度学习和计算机视觉的前沿技术。例如，YOLOv10的无NMS训练方法显著减少了推理时间，这是边缘部署中的一个关键因素。
5. 社区支持：强大的社区支持和定期更新确保这些模型保持在目标检测技术的最前沿。这个广泛的社区还提供了丰富的资源、预训练模型和应用实例，进一步促进了它们在边缘场景中的采用。

2 YOLOv5

• YOLOv5n（纳米版）：这个版本专为资源非常有限的环境设计。它具有最小的架构，使其适合在计算能力有限的设备上部署，如微控制器和低功耗的物联网设备。尽管它体积小，但保持了合理的准确度，使其适用于速度和效率至关重要的应用。
• YOLOv5s（小型）：这个版本在性能和效率之间取得了平衡。它适合许多边缘应用，包括移动设备和嵌入式系统，这些设备具有适度的计算资源。YOLOv5s相对于纳米版提供了改进的准确度，同时仍然保持较低的计算占用。
• YOLOv5m（中型）：这个版本提供了一个折中选择，在适度的计算要求下提供更好的准确度。它适合于需要更高精度但仍然需要在边缘设备限制下运行的应用。
• YOLOv5l（大型）：这个模型专为需要高准确度的更复杂任务设计。它适合于边缘服务器和计算资源较少受限的更强大的嵌入式系统。
• YOLOv5x（超大型）：最大的变体YOLOv5x提供最大准确度，适用于需要最高精度且计算资源丰富的场景。它适用于高分辨率视频分析和复杂的目标检测任务。

• 简化的训练流程： YOLOv5采用基于PyTorch的框架[9]，这是广泛使用且文档齐全的。这使得研究行人和开发行人更容易理解、修改和扩展代码。训练流程设计得非常用户友好，清晰的文档和示例帮助用户快速入门。
• 与流行框架的集成： YOLOv5支持与TensorFlow、ONNX和其他框架[10]的集成。这增强了其多功能性，使其能够在各种应用和环境中被使用。能够将模型导出为不同格式确保了与各种部署平台的兼容性。
• 无缝部署： YOLOv5提供导出至ONNX、CoreML和TensorRT[11]的选项，便于在各种平台和硬件加速器之间部署。对于具有不同架构的边缘设备（如NVIDIA GPU[12]、Apple设备和其他专用硬件）来说，这一特性特别有价值。无缝部署能力确保模型能够轻松集成到生产环境中。

• 自动增强： 这种技术自动选择最佳的增强协议以提高模型的泛化能力。通过在训练期间实验不同的增强策略，自动增强帮助模型学习更鲁棒的特征，从而在未见数据上获得更好的性能[13]。这对于边缘应用尤为重要，因为模型可能会遇到各种环境和条件。
• 马赛克增强： 马赛克增强将四张训练图像组合成一张，使模型能够学习检测更小的物体，并提高其对不同尺度和长宽比的鲁棒性[14]。这种技术在处理包含多个物体的复杂场景时非常有用，这在现实世界的边缘应用中很常见。通过向模型展示一组多样化的训练示例，马赛克增强增强了其对新情况的泛化能力。

• 最小且最快的模型，输入大小为640像素。

• 达到COCO AP（val）28.0%和AP（val）50 45.7%。

• CPU延迟为45毫秒。

• 包含190万个参数，需要45亿FLOPs。

• 比YOLOv5n稍大且稍慢。

• 达到COCO AP（val）37.4%和AP（val）50 56.8%。

• CPU延迟为98毫秒。

• 包含720万个参数，需要165亿FLOPs。* 较大的模型，性能有所提升。

• 达到COCO AP（val）49.0%和AP（val）50 67.3%。

• CPU延迟为430毫秒。

• 包含4650万个参数，需要1091亿FLOPs。

• YOLOv5系列中最大且最复杂的模型。

• 在COCO上达到50.7%的AP（验证）和68.9%的AP (val) 50。

• CPU延迟为766毫秒。

• 包含8670万个参数，需要2057亿FLOPs。

3 YOLOv8

• CSPDarknet 主干网络：
• YOLOv8采用CSPDarknet主干网络的增强版[15]，将跨阶段部分（CSP）网络融入Darknet架构中。主要特性包括：
• CSP 设计：
• 主干网络将每个阶段的特征图分成两部分。一部分经过密集卷积块处理，另一部分直接与密集块的输出进行拼接。这种设计在保持准确性的同时降低了计算复杂性。
• 主干网络由多个CSP块组成，每个块包含分割操作、密集块、过渡层和拼接操作。
• 激活函数：
• YOLOv8使用高级激活函数如SiLU（Swish），代替Leaky ReLU，改进梯度流动和特征表现力。
• 这种设计降低了计算复杂性，增强了梯度流动，提高了特征复用，同时减少了模型大小，保持了高准确性，这些特性对于边缘部署特别有利，因为在边缘部署中计算资源通常有限。
• PANet  Neck 网络：
• 采用路径聚合网络（PANet）[16, 17] Neck 网络，以改善网络不同层次间的信息流和特征融合。主要方面包括：
• PANet在特征金字塔网络（FPN）设计的基础上，增加了额外的自底向上的路径到传统的自顶向下路径。
• 它包括用于特征提取的自底向上的路径、用于语义特征传播的自顶向下的路径以及用于进一步特征层次增强的额外自底向上的路径。
• 特征融合：
• 在每个层次上，将来自相应自底向上和自顶向下路径的特征进行融合，通常通过逐元素加法或拼接。
• 自适应特征池化：
• PANet引入自适应特征池化以增强多尺度特征融合，对每个感兴趣区域（RoI）从所有层次池化特征。
• 这种设计增强了不同特征层次间的信息流动，提高了网络检测不同尺度目标的能力，并提升了小目标检测的性能。这些改进对于边缘应用至关重要，因为在边缘应用中目标可能以不同的尺度和距离出现。

• ** Anchor-Free 点检测Head**：与依赖预定义 Anchor 点框的传统YOLO模型不同，YOLOv8使用 Anchor-Free 点检测Head[19]。这简化了模型架构并减少了计算开销，从而加快了推理速度。Anchor-Free 点方法还提高了模型检测小型和密集物体能力，这对边缘应用很有利。

• 混合精度训练：YOLOv8利用混合精度训练，结合16位和32位浮点运算。这种技术加快了训练过程，减少了内存使用，同时不牺牲模型精度。混合精度训练对于计算能力和内存有限的边缘设备特别有利。
• 超参数优化：YOLOv8包括自动超参数优化，调整模型的超参数以达到最佳性能。这个过程涉及运行多个具有不同超参数设置的训练实验，并选择最佳配置。自动超参数优化节省了时间，并确保模型在各种任务和数据集上表现良好。

• C2f构建块：YOLOv8引入了C2f（跨阶段部分卷积与两种融合）构建块[20]，增强了特征提取和融合。这个块提高了模型捕获细粒度细节和复杂模式的能力，从而提高了检测准确性。
• 统一框架：YOLOv8为各种计算机视觉任务提供了一个统一框架，包括目标检测、实例分割和姿态估计。这种多功能性使其成为边缘应用中需要多种分析类型的强大工具。
• 导出选项：YOLOv8支持导出到多种格式，包括ONNX、CoreML和TensorRT，便于在不同平台和硬件加速器上部署[21]。这种灵活性确保了YOLOv8可以轻松集成到各种边缘计算环境中。

• YOLOv8系列包括从YOLOv8n到YOLOv8x的各种模型，每种模型都旨在在模型大小、计算效率和性能之间取得平衡。YOLOv8n是最小的模型，输入尺寸为640像素，在COCO AP（val）上达到37.3%的得分。它使用ONNX在CPU上的延迟为80.4毫秒，A100 TensorRT的延迟为0.99毫秒，计算需求总计达到87亿次FLOPs。
• 移到稍大的变体YOLOv8s，它获得更高的COCO AP（val）得分44.9%，同时在CPU上使用ONNX需要128.4毫秒，使用A100 TensorRT需要1.20毫秒，利用了286亿次FLOPs。
• YOLOv8系列中的中等大小模型YOLOv8m，在COCO AP（val）上取得了显著的50.2%得分，ONNX CPU延迟为234.7毫秒，A100 TensorRT延迟为1.83毫秒。它推理所需的FLOPs为78.9亿次。从YOLOv8系列中小型模型到大型模型的这一进展，展示了在计算需求和延迟在各种部署场景中相应增加的同时，性能指标的不断提高。

4 YOLOv10

• 双重标签分配: YOLOv10在训练期间采用了一对多和一对一策略的组合。这种方法确保了训练与推理之间的一致性，在推理过程中无需进行非极大值抑制（NMS）。一对多分配允许每个真实值有多个预测，提高召回率；而一对一分配通过选择最佳预测确保精确度[23]。
• 减少延迟: 通过移除NMS步骤，YOLOv10显著减少了推理延迟，这对于实时应用和边缘部署至关重要[24]。这种延迟的减少对于需要立即响应的应用特别有益，如自动驾驶和实时监控。
• 端到端部署: 无需NMS的方法使得模型能够真正实现端到端的部署，简化了推理 Pipeline ，可能提高整个系统的效率[25]。这种简化的流程减少了将模型集成到各种系统中的复杂性，使其更适应不同的用例。

• 轻量级分类头: YOLOv10中的分类头设计为轻量级，减少了分类过程中的计算冗余。这种优化确保了模型可以在不过度计算成本的情况下做出准确预测，使其适用于部署在资源有限的设备上。
• 空间-通道解耦下采样: 这种技术在下采样期间分离空间和通道信息，优化特征提取过程。通过解耦这些方面，模型可以更有效地处理输入数据，以更低的计算需求带来更好的性能。
• 排序引导的块设计: 排序引导的块设计简化了整体架构，提升了计算效率。这种设计使用排序信息来引导重要特征的选择，确保模型关注输入数据的最重要的方面。
• 大核卷积: YOLOv10采用了大核卷积，以提高模型捕获较大空间区域内详细特征的能力。这些卷积使模型能够更好地理解图像中目标上下文，提高检测准确度。
• 部分自注意力模块: 部分自注意力模块在增加极小额外计算成本的情况下提升了准确度。这个模块帮助模型关注输入数据中的相关特征，提高其准确检测和分类目标的能力。

• 改进的小目标检测：与之前版本相比，YOLOv10在小目标检测方面显示出更强的能力。这种改进对于监控和医学成像等经常需要小目标检测的应用至关重要。

• 减少误报：该模型展示了更低的误预测率，提高了整体检测的可靠性。通过更好的特征提取和更准确的分类，实现了误报的减少。

• 置信度得分提升：YOLOv10对其预测的置信度得分更高，表明检测更可靠。更高的置信度得分意味着模型对其预测更加确定，这对于准确性至关重要的应用非常重要。

• 可伸缩性：YOLOv10提供了多种模型大小（n, s, m, l, x），以满足不同的计算需求和用例。这种可伸缩性确保了模型可以适应广泛的应用，从资源受限的边缘设备到高性能服务器。

5 Comparative Analysis of YOLOv5, YOLOv8, and YOLOv10

Architectural Features Comparison

5.1.1 Backbone Evolution

5.1.2 Neck Architecture

5.1.3 Detection Head Design

5.1.4 Non-Maximum Suppression (NMS)

5.1.5 激活函数

5.1.6 Feature Pyramid Network (FPN)

5.1.7 Loss Function

5.1.8 Data Augmentation

5.1.9 Training Strategy

6 Conclusion

Performance and Accuracy

Final Thoughts

参考

----与智者为伍 为创新赋能----

投稿丨合作丨咨询

联系邮箱：uestcwxd@126.com

QQ：493826566