NVIDIA Deepstream 4.0笔记（四）：工业检测场景应用

本次笔记整理自NVIDIA 8月20日在线研讨会，原讲座标题：DEEPSTREAM SDK – ACCELERATING REAL-TIME AI BASED VIDEO AND IMAGE ANALYTICS

演讲人：

目录：

我们已经整理了第一点和第二点：

NVIDIA Deepstream 4.0笔记（一）：加速基于实时AI的视频和图像分析

接下来的几篇我们从几个实际的案例来讲解如何构建Deepstream

我们已经讲了第三点中的Smart Retail

NVIDIA Deepstream 4.0笔记（二）：智能零售场景应用

和智能交通系统

NVIDIA Deepstream 4.0笔记（三）：智能交通场景应用

今天我们讲工业检测场景应用

可以从相机和人工智能中受益的下一个行业是制造业和工业。

我们在半导体检测中检测PCB上的元件或检测工厂的零件。

很多这些故障检测检查现在都是手动进行，这是耗时且容易出错的。

通过AI和深度学习，我们可以自动执行大量的这种手动检测。制造业检查通常是针对更高分辨率的图像而不是视频。

非常有用的工业应用的检测技术是分割（segmentation）。与对象检测（ object detection）中的边界框相比，您可以突出显示对象的精确轮廓，像素到像素。

下图左侧的图像显示左上侧的微小缺陷。

如果您手动执行此操作，则很容易忽略小错误。但是对于AI，最小的缺陷将突出显示，因为您可以在右侧看到。这显示了缺陷上的segmentation覆盖。

它在Deepstream4.0中的工业检测可以支持分割模型，单色模型和硬件加速的JPEG解码

NVIDIA扩展了nvinfer插件的功能，以便本地处理Segmentation。要使用Segmentation网络，请更改nvinfer插件中的网络类型属性, 有关更多选项，请参阅插件手册章节的结尾。

为了可视化Segmentation结果，我们引入了一个新的插件nvsegvisual。 Segmentation pipline看起来与物体检测pipline非常相似，但不同之处在于您必须在nvinfer之后使用nvsegvisual。

在SDK的模型目录中，NVIDIA已经包含了用于工业和语义应用的U-net模型。 SDK中的包也是运行Segmentation网络的参考示例。

NVIDIA为分段添加了一个新的元数据字段。这个数字包含类,像素类地图,宽度和高度。

处理和理解高分辨率图像对于工业检查至关重要。 这需要在CPU上完成大量的计算资源。 在Deepstream 4.0中，NVIDIA 带来了GPU accelerated JPEG解码功能。 它用于各种NVIDIA JPEG库进行解码。它可以接受JPEG或JPEG动画格式，输出一个RGBA buffers.

剩下的pipline看起来非常类似于视频流pipline，其中包括批处理，推理和显示。

该插件还可以支持彩色和灰度图像。