NNCF压缩与量化YOLOv8模型与OpenVINO部署测试

OpenCV学堂 2023-12-31 20:06

【TI资料】专为高压系统设计的新型MCU 如何增强能源基础设施的实时控制？

点击上方蓝字关注我们

微信公众号：OpenCV开发者联盟
关注获取更多计算机视觉与深度学习知识

NNCF介绍

OpenVINO2023版本衍生出了一个新支持工具包NNCF(Neural Network Compression Framework – 神经网络压缩框架)，通过对OpenVINO IR格式模型的压缩与量化更好的提升模型在OpenVINO框架上部署的推理性能。

github

https://github.com/openvinotoolkit/nncf

安装NNCF

pip install nncf

NNCF关键特性

训练后压缩算法支持权重压缩与量化，训练时压缩算法支持感知量化、混合精度量化、二值、稀疏、过滤剪枝、运动剪枝等算法。图示如下：

YOLOv8量化压缩

基于NNCF实现YOLOv8预训练模型的训练后量化压缩（PTQ），实现INT8量化YOLOv8模型生成。首先需要使用YOLOv8命令行工具导出OpenVINO格式模型，命令行如下：

yolo export model=yolov8n.pt format=openvino

然后基于YOLOv8框架的函数构建一个YOLOv8模型对应的COCO数据集的Validator，相关的代码如下：

官方给出的代码里面是有个ValidatorClass，但是我发现YOLOv8框架早已经不支持，这里其实主要是构建自己的Dataset跟DataLoader而已，简单粗暴的点是可以自己直接构建，就是要写点代码。我发现了YOLOv8框架里面有个DetectionValidator是可以用的，于是我就用这个，然后直接给一个图像文件夹就可以获取dataloader实例了。准备好验证数据以后，就是最后一步了，启动模型INT8量化，相关的代码如下：