Github 项目推荐 | Nvidia 用于数据增强和 JPEG 图像解码的 GPU 加速库 DALI

今天的深度学习应用程序包括复杂的多阶段预处理数据流水线，其中包括主要在 CPU 上执行的计算密集型步骤。例如，在 CPU 上执行诸如从磁盘加载数据、解码、剪裁、随机调整大小、颜色和空间增强以及格式转换等步骤，限制了训练和推理任务的性能和可扩展性。此外，今天的深度学习框架有多个数据预处理实现，这导致诸如训练和推理工作流的可移植性以及代码可维护性等挑战。

NVIDIA 数据加载库（DALI）是高度优化的构建模块和执行引擎的集合，可加速深度学习应用程序的输入数据预处理。 DALI 提供加速不同数据管道的性能和灵活性，作为一个单独的库，可以轻松集成到不同的深度学习训练和推理应用程序中。

Github 链接：

https://github.com/NVIDIA/DALI

DALI 开发者文档：

https://docs.nvidia.com/deeplearning/sdk/dali-developer-guide/index.html

DALI 的主要亮点包括：

• 从磁盘读取到准备训练/推理的完整的数据流水线；
• 可配置图形和自定义操作员的灵活性；
• 支持图像分类和分割工作量；
• 通过框架插件和开源绑定轻松实现集成；
• 具有多种输入格式的便携式训练工作流 - JPEG，LMDB，RecordIO，TFRecord；
• 通过开源许可证可扩展以满足用户的特定需求

注意：DALI v0.1 是预发布软件，这意味着某些功能可能不完全正常运行，可能包含错误或设计缺陷。

安装预构建的 DALI 包

安装前提：

• Linux
• NVIDIA CUDA 9.0
• DALI 支持的深度学习框架: MXNet，Version 1.3 beta is required, mxnet-cu90==1.3.0b20180612 or later pyTorch，Version 0.4 TensorFlow，Version 1.8

安装：

pip install --extra-index-url https://developer.download.nvidia.com/compute/redist nvidia-dali

从源代码编译 DALI：

前提：

• Linux
• NVIDIA CUDA 9.0
• nvJPEG library
• protobuf version 2 or above (version 3 or above is required for TensorFlow TFRecord file format support)
• CMake version 3.5 or above
• libjpeg-turbo version 1.5.x or above
• OpenCV version 3 or above
• (Optional) liblmdb version 0.9.x or above
• DALI 支持以下深度学习框架:
• MXNet，Version 1.3 beta is required, mxnet-cu90==1.3.0b20180612 or later pyTorch，Version 0.4 TensorFlow，Version 1.8

注意：TensorFlow 需要为 DALI 构建 TensorFlow 插件。

获取 DALI 源代码：

git clone --recursive https://github.com/NVIDIA/dali
cd dali

建立目录：

mkdir build
cd build

编译 DALI：

无 LMDB 支持编译 DALI：

cmake ..
make -j"$(nproc)" install

LMDB 支持编译 DALI：

cmake -DBUILD_LMDB=ON ..
make -j"$(nproc)" install

可选的 CMake 构建参数：

• BUILD_PYTHON - build Python bindings (default: ON)
• BUILD_TEST - include building test suite (default: ON)
• BUILD_BENCHMARK - include building benchmarks (default: ON)
• BUILD_LMDB - build with support for LMDB (default: OFF)
• BUILD_NVTX - build with NVTX profiling enabled (default: OFF)
• BUILD_TENSORFLOW - build TensorFlow plugin (default: OFF)

安装 Python 绑定：

pip install dali/python