如果说深度学习模型性能的不断提升得益于英伟达GPU的不断发展，那么模型的边缘部署可能就需要借助英特尔的边缘计算来解决。伴随交通、医疗、零售等行业中深度学习应用的发展，数据处理和智能分析逐渐从云端走向边缘。本人与大家分享一下英特尔的边缘计算方案，并实战部署yolo v3-tiny模型。
爱克斯开发板对应的乌班图版本是ubuntu20，可以通过下面的命令行查询到版本号：
OpenVINOOpen Visual Inference & Neural Network Optimization toolkit 的缩写，是一个用于优化和部署人工智能推理模型的综合工具包。虽然名称中包含 Visual，但OpenVINO 还支持语言、音频、时间序列等各种附加任务。
OpenVINO2023版本的SDK支持同步与异步推理模式相比之前OpenVINO2021版本更加的简洁，易用。同时支持创建多个Requst然后基于多个Requst实现流水线方式的推理从而提升CPU推理的吞吐率。同步模式下OpenVINO2023 SDK的推理方式如下：
OpenVINO2022.x版本全面抛弃了之前的SDK函数，升级为API2.0方式支持C++与Python推理，同时支持多种深度学习框架训练的模型部署，支持CPU与GPU推理，支持主流的操作系统。图示如下：
本篇文章主要内容为在使用OpenVino时的一些注意点，方便带大家快速入门。OpenVino相比TVM和libtorch在intelx86的CPU端还是有很大优势的，可以说在X86上推断速度没有什么框架可以媲美OpenVino。实际测试中OpenVino确实出乎了我的意料，值得尝试。另外，Intel也在大力发展OpenVino(从跟新频率可以看出来)，也有一些相关的活动和比赛可以参与试试。
自大语言模型 (LLM) 成为热点话题以来，涌现了一大批中文大语言模型并在优化平台中得到了积极部署。ChatGLM 正是广受好评的主流中文大语言模型之一。
随着物联网的快速发展，全世界每天都在产生海量的数据，这对云端存储和网络带宽都带来了极大的挑战。虽然通信技术也在不断发展，但是这个速度还是难以赶上数据增长的速度。所以，边缘计算逐渐进入了大家的视野。为了充分解决这一问题，各个厂家都发布了各种软件框架和工具，英特尔的OpenVINO就是其中之一。 OpenVINO是一种可以加快高性能计算机视觉和深度学习视觉应用开发速度的工具套件，支持各种英特尔平台的硬件加速器上进行深度学习，并且允许直接异构执行。 为了让大家更好地了解OpenVINO™工具套件及使用方法，英特尔
通过观察转换期间日志, 发现由于模型结构比较简单紧凑, 特征也非常稀疏, 导致转换时可以被算子融合和量化的节点并不多, 故性能提升不是特别明显.
YOLOv5兼具速度和精度，工程化做的特别好，Git clone到本地即可在自己的数据集上实现目标检测任务的训练和推理，在产业界中应用广泛。开源社区对YOLOv5支持实例分割的呼声高涨，YOLOv5在v7.0中正式官宣支持实例分割。
https://www.oschina.net/news/136060/opencv-4-5-2-released
前几天加了两个Openvino群，准备请教一下关于Openvino对YOLOv3-tiny的int8量化怎么做的，没有得到想要的答案。但缺发现有那么多人Openvino并没有用好，都是在网络上找资料，我百度了一下中文似乎没有靠谱的目标检测算法的部署资料，实际上这个并不难，用官方提供的例子改一改就可以出来。所以我答应了几个同学写一个部署流程希望对想使用Openvino部署YOLOv3-tiny(其他目标检测算法类推)到cpu或者Intel神经棒上(1代或者2代)都是可以的。
在本教程中，将学习如何将OpenVINO工具包与OpenCV一起使用，以便在Raspberry Pi上进行更快速的深度学习推理。
人工智能模型的复杂度不断增加，对内存的需求也越来越大。深度学习的进一步发展需要解决内存限制问题，而当前的解决方案无法利用所有可用计算，业内人士逐渐意识到需要专用芯片来支持深度学习训练和推理。
FFmpeg作为一个集录制、转换、音/视频编码解码功能为一体的开源框架，自然也需要考虑怎样去和当下流行的视频分析技术融合。本文来自英特尔网络平台部软件工程师谢林在LiveVideoStack线上分享中
英特尔从去年推出OpenVINO开发框架，从此以后几乎每三个月就更新一个版本，最新版本2019R03，但是此版本跟之前的版本改动比较大，所以在配置Python SDK支持与开发API层面跟之前都有所不同。这里假设你已经正确安装好OpenVINO框架。如果不知道如何安装与配置OpenVINO可以看我在B站视频教程：
生成式人工智能是当今人工智能技术发展最快的领域。 如果您是生成式 AI 的新手或从传统机器学习过渡，那么使用生成式 AI 似乎令人生畏。
在AI深度学习模型的训练中，一般会用Python语言实现，原因是其灵活、可读性强。但在AI模型实际部署中，主要会用到C++，原因在于其语言自身的高效性。
Photo by Lukas from Pexels FFmpeg作为一个集录制、转换、音/视频编码解码功能为一体的开源框架，自然也需要考虑怎样去和当下流行的视频分析技术融合。本文来自英特尔网络平台
设置完成以后，搜索CUDA关键字，全部勾上相关选项之后继续点击【Configrure】，运行完成以后，再次搜索CUDA关键字，选择如下：
CVPR 2021 相关论文、代码 、解读和demo整理，同时为了方便下载论文，已把部分论文上传到上面了，欢迎小伙伴们 star 支持一波！
本文主要介绍如何将YOLOv10模型转为OpenVINO支持的模型并做推理时间对比。
人工智能（AI）的发展是一个从学术研究、行业验证、商业落地、行业平台到智能生态的一层层深入过程，这也是人工智能理想的发展阶段。人工智能的重要性无需赘述，对AI学习对我们来说同样重要，但是如何学习人工智能呢？
OpenVINO自发布以来，依靠其强大的加速性能，在CPU上进行深度学习模型加速优势，迅速受到很多公司与开发者的青睐，但是如何从OpenCV源码编译生成OpenVINO的inferinference engine(IE)加速推理支持的OpenCV版本，一直是很多开发者头疼的事情，很多人都不得不使用OpenVINO官方编译的OpenCV支持版本，无法实现从源码开始的定制化的OpenCV版本编译。本人从2018年12月份开始研究OpenVINO开发技术，上半年也发布一系列的OpenVINO开发技术相关文章，得到了大家热烈响应，今天我们就来很详细的一步一步的教大家如何从OpenCV源码开始在windows10系统下如何编译IE加速版本的OpenCV安装包，并如何配置与测试IE支持之后的OpenCV DNN的卓越性能。
OpenVINO 2020R04版本支持ONNX格式文件的直接读取了，使用的函数还是跟之前读取IR文件函数保持一致，只是第二个参数缺省为空时候，就会尝试读取ONNX格式文件。相关的函数与参数解释如下：
当今时代，各行各业与人工智能（AI）加速融合，通过智能化创新来寻求业务转型升级。与为数不多的顶级AI研发公司相比，大多数传统行业或企业有着更丰富的 AI 应用场景，推动着规模化的AI应用落地，其AI应用更具有实践意义。然而，在智能化技术架构和平台选择上，它们又往往面临着“拿着钉子到处找锤子”的尴尬局面。
在2020年以前，OpenVINO(这里以OpenVINO2019年最新的一个版本为例)的Int8量化工具实现在openvino_2019.3.379\deployment_tools\tools\calibration_tool，因为文档比较难读，所以做个翻译记录在这里，便于使用OpenVINO的量化工具上手。要做Int8量化首先需要将你需要部署的模型Caffe/Pytorch/Tensorflow转化为OpenVINO的IR中间模型。此文档的原因为文档为openvino_2019.3.379\deployment_tools\tools\calibration_tool\README.md。
以 UGC 为中心的直播世界中经常发生用户在某一时间大量涌入的现象，这对于用户规模较大的平台而言是一个亟待解决的问题。Video AI 包含了很多有意思的视频处理功能，包括对低分辨率图像进行超分而获得清晰图像、对视频进行去噪（包括去雨、去雾、去划痕等）、进行对象识别、元数据提取等数百种功能。
https://www.cnblogs.com/Can-daydayup/p/18164905
OpenVINO中的推断引擎(Inference Engine-IE)在加载网络权重与配置文件，生成一个可执行网络以后，通过下面两个API可以获取InferRequest对象
人工智能、无所不在的计算、无处不在的连接、从云到边缘的基础设施是驱动创新与变革的四大超级力量。近日，在“英特尔AI开发者私享会”现场，英特尔AI 软件布道师武卓分享了在云端和边缘端实现高性能人工智能推理的一些特点与好处。 （英特尔AI 软件布道师武卓线上分享） 云规模开发具有很多的好处：云端能很好的支持多种不同的AI框架和服务，另外在云端可以简化训练开发，比如无需软件下载、无需配置、无需安装，可以直接使用云端所提供的计算资源和服务。在边缘端进行推理也有很多优势：由于数据通常是在边缘端产生和采集的，
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 YOLOX目标检测模型 旷视科技开源了内部目标检测模型-YOLOX，性能与速度全面超越YOLOv5早期版本！ 如此神奇原因在于模型结构的修改，下图说明了改了什么地方： 把原来的耦合头部，通过1x1卷积解耦成两个并行的分支，经过一系列处理之后最终取得精度与速度双提升。实验对比结果如下： 论文与代码模型下载地址： https://arxiv.org/pdf/2107.08430.pdfhttps://github
高盛，抑或是摩根大通，这些传统意义上的金融投行，正在投入大量人力和资本，向AI技术公司转型，而他们也已经从自己的AI 战略中尝到了甜头。事实上，它们只是整个金融行业发展趋势的代表。
最近这一个月基本没写过博客，因为一直在树莓派4B上部署yolov5的模型，已经数不清楚踩了多少坑了，来来回回折腾了一个月，终于完成了。于是写下这篇博客，一是记录下全部的流程，方便以后其他项目借鉴；二是希望和我一样有类似需求的朋友能少走些弯路。
对象检测是计算机视觉最常见的任务之一，应用非常广泛，本文主要给给大家价绍两条快速方便的自定义对象检测模型的训练与部署的技术路径，供大家实际项目中可以参考。
本文评测来自好友Jack OmniXRI的测试。本篇结尾有原文链接，大家可以访问他的Blog，如果大家对边缘计算技术的发展很感兴趣，相信他的Blog一定不会让你失望的。
很高兴能有机会在LiveVideoStock做有关于FFmpeg深度学习模块相关内容的技术分享。
深度学习模型部署有OpenVINO、ONNXRUNTIME、TensorRT三个主流框架，均支持Python与C++的SDK使用。对YOLOv5~YOLOv8的系列模型，均可以通过C++推理实现模型部署。这里以YOLOv8为例，演示了YOLOv8对象检测模型在OpenVINO、ONNXRUNTIME、TensorRT三个主流框架上C++推理演示效果。所有测试均基于我笔记本电脑，相关的硬件配置如下：
亲测以上模型除了SSD导出ONNX格式无法被ONNXRUNTIME、OpenVINO2022解析之外，其他模型导出均可正常加载部署并推理使用。SSD导出无法使用Pytorch官方已经说了，是因为torchvision的Bug，但是好像还一直没有解决。RetinaNet支持自定义模型训练，这个我已经集成到OpenMV工具软件中，准备好数据集支持一键零代码训练自定义数据，导出ONNX模型。单独导出RetinaNet模型为ONNX的脚本如下：
现在，通过普通的摄像头+一套门店客流系统，商家就能知道一天的客流量、顾客平均停留时间、行动轨迹、试吃次数等等人力难以统计的数据。
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 OpenVINO2022 API介绍 OpenVINO2022 版本的SDK在使用比之前版本简单，而且功能比较丰富，特别是支持动态输入设置，一次可以推理多张图像；相比之前的模型输入只支持一种尺度输入跟每次一张图片推理来说是大大的提升执行效率。特别是Python版本的API简单易学，容易上手，只需要掌握下面几个函数就可以完成从模型加载到推理。 01 导入支持 要使用Python SDK，首先需要导入支持语句， fro
OpenVINO刚刚不久之前发布了新版本OpenVINO2021.3版本，其中最引入关注的是有了OpenVINO扩展模块，github的地址如下：
大家好，今天给大家分享一下如何把Keras框架训练生成模型部署到OpenVINO平台上实现推理加速。要把Keras框架训练生成的h5模型部署到OpenVINO上，有两条技术路线：
5月2日，英特尔宣布在全新英特尔® 酷睿™ Ultra处理器上，有超过500款AI模型得以优化运行。这是市场上目前可用的业界出众的AI PC处理器，兼具全新AI体验、沉浸式图形和出色电池续航表现。这一重大里程碑是英特尔在客户端AI技术、AI PC转型、框架优化和包括OpenVINO™工具包在内的AI工具方面投资的成果。
YOLOv5 于2020年6月发布！一经推出，便得到CV圈的瞩目，目前在各大目标检测竞赛、落地实战项目中得到广泛应用。
搞深度学习的人，应该感谢“祖师爷”Geoffrey Hinton在2012年的尝试。
本文编辑的时间是2020年12月3日,官方最新的releases是v3.1,在v3.0的版本中,官网有如下的声明
OpenVINO自带的表情识别模型是Caffe版本的，这里使用的模型是前面一篇文章中训练生成的pytorch全卷积网络，模型基于残差网络结构全卷积分类网络。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
