前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >NNCF压缩与量化YOLOv8模型与OpenVINO部署测试

NNCF压缩与量化YOLOv8模型与OpenVINO部署测试

作者头像
OpenCV学堂
发布2023-11-20 15:27:52
9190
发布2023-11-20 15:27:52
举报

NNCF介绍

OpenVINO2023版本衍生出了一个新支持工具包NNCF(Neural Network Compression Framework – 神经网络压缩框架),通过对OpenVINO IR格式模型的压缩与量化更好的提升模型在OpenVINO框架上部署的推理性能。

github

代码语言:javascript
复制
https://github.com/openvinotoolkit/nncf

安装NNCF

代码语言:javascript
复制
pip install nncf

NNCF关键特性

训练后压缩算法支持权重压缩与量化,训练时压缩算法支持感知量化、混合精度量化、二值、稀疏、过滤剪枝、运动剪枝等算法。图示如下:

YOLOv8量化压缩

基于NNCF实现YOLOv8预训练模型的训练后量化压缩(PTQ),实现INT8量化YOLOv8模型生成。首先需要使用YOLOv8命令行工具导出OpenVINO格式模型,命令行如下:

代码语言:javascript
复制
yolo export model=yolov8n.pt format=openvino

然后基于YOLOv8框架的函数构建一个YOLOv8模型对应的COCO数据集的Validator,相关的代码如下:

官方给出的代码里面是有个ValidatorClass,但是我发现YOLOv8框架早已经不支持,这里其实主要是构建自己的Dataset跟DataLoader而已,简单粗暴的点是可以自己直接构建,就是要写点代码。我发现了YOLOv8框架里面有个DetectionValidator是可以用的,于是我就用这个,然后直接给一个图像文件夹就可以获取dataloader实例了。准备好验证数据以后,就是最后一步了,启动模型INT8量化,相关的代码如下:

这样就可以完成PTQ量化模型的生成。最后这部分的代码,其实在GITHUB的官方教程上是有说明跟给出的,我这里再贴一下:

就是说,实际上针对自定义数据集,你自己构建一个DataLoader即可。

量化版YOLOv8推理测试

基于量化版本,基于OpenVINO C++ SDK在不同的部署与加速方式下,最终的测试结果如下:

从此,我又相信YOLOv8+OpenVINO了

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-11-19,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 OpenCV学堂 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
腾讯云服务器利旧
云服务器(Cloud Virtual Machine,CVM)提供安全可靠的弹性计算服务。 您可以实时扩展或缩减计算资源,适应变化的业务需求,并只需按实际使用的资源计费。使用 CVM 可以极大降低您的软硬件采购成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档