视频 | 教你学会五种典型大模型部署

OpenVINO2025开发包C++/Python SDK全新实现深度学习模型与大模型部署，其中深度学习模型部署的流程如下：

图片

大模型部署工作流支持如下：

图片

其中大模型支持函数主要是基于流水线Pipeline机制实现，把预处理跟后处理都放在流水线SDK中，有效降低大模型的部署门槛与难度，现已支持多种大模型类型流水线部署支持。

为了让大家更好的掌握深度学习与大模型部署，本人录制了一套最新OpenVINO2025深度学习与大模型部署教程。

课程介绍

OpenVINO2025开发包C++SDK全新演绎实现YOLO11与YOLO12目标检测、实例分割、姿态评估、旋转目标检测实时推理；三种代码层面的模型加速技能与两种模型压缩量化方法，让YOLO11系列模型在CPU上部署快到起飞。

全面解析OpenVINO-GenAI模块的大模型部署能力，实现文本到文本、文本到图像、图像到文本、语音到文本等多种主流大模型本地化部署与WEB部署，解析大模型的图像语义描述、对象计数、OCR识别、图像生成、VQA等各种能力的应用演示。

解析最新的OpenVINO2025 C#支持包YOLO11实时推理代码与OpenVINO2025 +PaddleOCRv4模型的快速部署推理实现超强OCR识别能力

课程目标

全面提升AI开发者的深度学习与大模型部署能力，掌握YOLOv8~YOLO12系列模型权重压缩、INT8量化技巧；学会使用同步、异步、回调等多种推理模式；掌握异步流水线、异步队列、异步回调流水线等模型部署代码加速技能。

掌握多种主流大模型Llama、Tiny-Llama、DeepSeek、Stable Diffusiion、QWen、Whisper、InternVL本地与Web部署方法。

掌握OpenVINO C++、C#、Python三种语言下的YOLO11全系列模型（对象检测、实例分割、姿态评估、旋转目标检测）推理加速技巧，CPU上轻松实现超实200+FPS推理

课程目录如下：

第一章 SDK介绍与使用
001-课程介绍与概述
002-开发环境配置与SDK介绍
003-实现图像分类推理
 
第二章 YOLO11系列模型部署
001-YOLO11对象检测模型部署
002-YOLO11实例分割模型部署
003-YOLO11姿态评估关键点检测模型部署
004-YOLO11旋转目标检测模型部署
 
第三章 模型推理的代码加速
001-异步流水线加速部署机制
002-异步回调流水线加速机制
003-异步队列模式加速部署机制
 
第四章 模型压缩与量化
001-YOLO11模型PTQ INT8量化加速
002-YOLO11模型权重压缩量化加速
 
第五章 C# API实时部署YOLO11
001-C#部署YOLO11对象检测
002-C#部署YOLO11实例分割
 
第六章 Python SDK模型部署
001-YOLO12对象检测
002-OCR文本识别(PaddleOCR部署)
 
第七章 大模型本地部署
001-大模型下载与部署环境搭建
002-部署tinyLLama与DeepSeek R1文本大模型
003-部署文生图stable-diffusion模型
004-部署VQA图文多模态InternVL模型
005-部署Whisper语音大模型
006-QWen多模态模型与WEB化部署

大模型OCR

大模型VQA

图片

YOLO11部署 流水线异步加速（无GPU需要）

图片

YOLO11 C# 部署实时推理（无GPU）

图片

旋转目标检测

图片

图片