普通PC上CPU运行YOLOv5推理 400+FPS

OpenVINO2022

OpenVINO2022.x版本全面抛弃了之前的SDK函数，升级为API2.0方式支持C++与Python推理，同时支持多种深度学习框架训练的模型部署，支持CPU与GPU推理，支持主流的操作系统。图示如下：

流程与API2.0接口

常用组件与推理流程支持：

全新API2.0 接口：

支持IR11版本、推理支持ONNX。

对比之前的版本简化了诸多开发流程与函数使用：

效果演示

提供了更加强大的预训练模型库，超过200+的预训练模型，支持车牌识别：

OCR识别

常见场景的行人检测与实例分割：

在推理层面支持同步与异步方式，异步方式支持通过回调实现后处理，实现视频流水线支持，下面是一系列的基于异步+流水线方式的推理演示（CPUi7 11th ）均达到了GPU3060的推理能力，截图如下：