基于OpenVINO2023.1 C++ SDK在爱克斯开发板上部署YOLOv8

OpenVINO2023 C++ SDK安装

爱克斯开发板对应的乌班图版本是ubuntu20，可以通过下面的命令行查询到版本号：

uname –a

然后根据对应版本的系统下载开发包，从2022.3版本开始OpenVINO的开发包已经变成zip格式的压缩包而非exe安装包。

下载完成以后，解压缩到本地，然后执行下面的这个脚本文件：

./setupvars.sh

这样就完成安装了。

YOLOv8模型转换

直接在艾克斯开发板上安装好YOLOv8框架，然后运行下面的命令行：

yolo export model=yolov8n.pt format=openvino

这样就成功导出OpenVINO IR格式文件了。

C++ SDK加速推理YOLOv8

首先创建YOLOv8 OpenVINO C++工程源码与CMake文件生成，YOLOv8模型量化支持，请参考我以前写的三篇文章：

NNCF压缩与量化YOLOv8模型与OpenVINO部署测试

OpenVINO2023异步回调流水线提升推理吞吐率

Ubuntu系统下编译OpenCV4.8源码记录

准备好以后，直接在工程目录下执行cmake然后make,再开启运行

CPU上的推理速度（比树莓派好那么一点点）

我注意到爱克斯开发板上是有个独立NPU计算单元的，直接修改了一下代码，启动GPU(NPU)加速推理能力，这次帧率真的可以惊艳了我！（吊打树莓派，完爆很多千元以下开发板）

怒开四个Request，直接把NPU推理流水线拉起来，这个时候，奇迹又又发生了（说它是千元以下开发板中的王者也当得起！）

从此我又相信OpenVINO在爱克斯开发板的边缘端推理能力了。

推荐阅读

Ubuntu系统下编译OpenCV4.8源码记录

Pytoorch轻松学 – RetinaNet自定义对象检测

基于OpenCV实现精准线线间距测量

OpenVINO2023异步回调流水线提升推理吞吐率

NNCF压缩与量化YOLOv8模型与OpenVINO部署测试

技能 | 三种主流的深度学习模型部署框架

深度学习模型C++推理，推荐看看 OpenVINO2022

OpenCV4系统化学习路线图(2023版)