英特尔OpenVINO Export

将介绍如何将YOLOv8 模型导出为 OpenVINO格式的模型，这种格式可将CPU速度提高 3 倍，并可加速YOLO 在英特尔GPU和NPU硬件上的推理。

OpenVINOOpen Visual Inference & Neural Network Optimization toolkit 的缩写，是一个用于优化和部署人工智能推理模型的综合工具包。虽然名称中包含 Visual，但OpenVINO 还支持语言、音频、时间序列等各种附加任务。

使用示例

将YOLOv8n 模型导出为OpenVINO 格式，并使用导出的模型运行推理。

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='openvino')  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO('yolov8n_openvino_model/')

# Run inference
results = ov_model('https://ultralytics.com/images/bus.jpg')

论据

1. 性能：OpenVINO 利用英特尔 CPU、集成和独立 GPU 以及 FPGA 的强大功能提供高性能推理。
2. 支持异构执行：OpenVINO 提供 API，只需编写一次，即可在任何支持的英特尔硬件（CPU、GPU、FPGA、VPU 等）上部署。
3. 模型优化器：OpenVINO 提供了一个模型优化器，可从PyTorch,TensorFlow,TensorFlow Lite、Keras、ONNX,PaddlePaddle 和 Caffe 等流行的深度学习框架导入、转换和优化模型。
4. 易用性：工具包附带80 多本教程笔记本（包括YOLOv8 优化），教授工具包的不同方面。

将模型导出为OpenVINO 格式时，会生成一个包含以下内容的目录：

XML 文件：描述网络拓扑结构。

BIN 文件：包含weights and biases 二进制数据。

映射文件：保存原始模型输出张量到OpenVINO tensor 名称的映射。

可以使用这些文件通过OpenVINO 推理引擎运行推理。

获得OpenVINO 文件后，就可以使用OpenVINO Runtime 运行模型。运行时为所有支持的英特尔硬件提供了统一的推理 API。它还提供跨英特尔硬件负载均衡和异步执行等高级功能。有关运行推理的更多信息，请参阅《使用OpenVINO Runtime 进行推理指南》。

请记住，您需要 XML 和 BIN 文件以及任何特定于应用程序的设置，如输入大小、规范化的比例因子等，以便正确设置模型并将其用于 Runtime。

在部署应用程序中，通常需要执行以下步骤：

1. 初始化OpenVINO ，创建 core = Core().
2. 使用 core.read_model() 方法。
3. 使用 core.compile_model() 功能。
4. 准备输入内容（图像、文本、音频等）。
5. 使用 compiled_model(input_data).

我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！