NVIDIA Tao 工具包都到5.1了，你还没开始用么？

10月19日，NVIDIA升级TAO Toolkit到5.1了，为计算机视觉领域带来了一系列新的关键功能和改进。这个工具包旨在帮助开发者快速构建和训练自定义的深度学习模型，从而提高计算机视觉应用的性能和精度。

主要特点：

1. 新的计算机视觉解决方案：

TAO Toolkit 5.1.0引入了全新的计算机视觉解决方案，其中最引人注目的是Visual Changenet分类和分割的端到端训练流程。这意味着用户现在可以使用工具包中提供的一整套工具，从头开始构建、训练和优化Visual Changenet模型，以用于各种视觉任务。

2. 基于精选的图像模型的微调：

TAO Toolkit 5.1.0还为图像模型微调提供了支持，具体来说，它允许用户对以下基础图像模型骨干进行微调，以进行分类任务：

• OpenCLIP
• EvaCLIP

这些精选的图像模型骨干可以作为起点，用于构建特定任务的自定义模型，从而提供更高的性能和效果。

3. 预训练模型：

这个版本还引入了一些预训练模型，特别是Visual Changenet分类和分割模型。这些预训练模型可以用作开发者的起点，帮助他们更容易地构建自己的定制模型，以满足特定的需求。其中包括：

• Visual Changenet Classification
• Visual Changenet Segmentation - LEVIRCD（仅用于研究）
• Visual Changenet Segmentation - LandSat-SCD

已知问题和限制：

尽管TAO Toolkit 5.1.0带来了许多有益的功能，但也存在一些已知问题和限制，开发者需要注意：

• 通过TAO Toolkit API不支持Visual Changenet和基础模型的微调。
• 对基础模型进行微调需要至少具备24GB VRAM的GPU。

新人可能想知道NVIDIA Tao工具包是什么？

NVIDIA TAO Toolkit（Transfer Learning Toolkit）是一个基于TensorFlow和PyTorch构建的低代码AI工具包，旨在通过抽象化AI模型和深度学习框架的复杂性，简化和加速模型训练过程。

通过TAO，用户可以从NGC中选择100多种预训练的视觉AI模型，并在自己的数据集上进行微调和定制，而无需编写一行代码。TAO的输出是一个经过训练的ONNX格式模型，可以部署在支持ONNX的任何平台上。TAO支持大多数流行的计算机视觉任务，包括：

• 图像分类
• 物体检测
• 实例分割
• 语义分割
• 光学字符检测和识别（OCD/OCR）
• 人体姿势估计
• 关键点估计
• 动作识别
• Siamese网络
• 变化检测

对于图像分类、物体检测和分割，用户可以选择其中之一的特征提取器，并与分类、检测和分割任务中的一个或多个头部结合使用，打开了100多种模型组合的可能性。TAO支持一些领先的Vision Transformers（ViT），如FAN、GC-ViT、DINO、D-DETR和SegFormer。

预训练模型：

TAO拥有广泛的预训练模型选择，这些模型可以在公共数据集（如ImageNet、COCO、OpenImages）上进行训练，也可以在专门用于特定任务的专有数据集上进行训练，如人员检测、车辆检测和动作识别等。这些任务特定模型既可以直接用于推断，也可以在自定义数据集上进行微调，以提高准确性。

关键特点：

TAO工具包提供了多项关键功能，帮助开发人员加速他们的AI训练和优化过程。以下是其中一些关键特点：

• 计算机视觉工作流程：
  • 模型剪枝 - 减少模型中的参数数量，以减小模型大小并提高准确性。
  • ONNX导出 - 支持使用行业标准ONNX格式导出模型输出，然后可以直接与任何平台一起使用。
  • 量化感知训练 - 在训练过程中模拟较低精度的量化，以减少从训练到低精度推理的准确性损失。
  • 多GPU - 通过在单个节点上的多个GPU上并行训练作业来加速训练。
  • 多节点 - 通过在多个节点上并行化训练作业来加速训练。
  • 训练可视化 - 在Tensorboard或第三方服务中可视化训练图表和指标。
• 数据服务：
  • 数据增强 - 离线和在线增强，以增加数据集的多样性，从而可以泛化模型。
  • AI辅助标注 - 无论是自动生成分割蒙版还是提供边界框，都可以生成分割蒙版的类别不可知自动标记工具。
  • 数据分析 - 分析对象检测标注文件和图像文件，计算洞察，生成图形和摘要。

此外，TAO还为希望将TAO与其工作流程整合以提供附加服务的服务提供商和NVIDIA合作伙伴提供了多项功能：

• AutoML - 自动超参数扫描和优化，以在给定数据集上生成最佳准确性。
• REST API - 使用云API端点调用托管在云中的TAO服务。
• Kubernetes部署 - 在本地或使用云管理的Kubernetes服务之一中部署TAO服务。
• 源代码可用性 - 访问TAO的源代码以添加自己的定制功能。

NVIDIA的TAO Toolkit 5.1.0版本不仅简化了深度学习模型的构建和训练过程，还提供了丰富的工具和功能，以满足各种计算机视觉任务的需求，为开发者和研究人员提供了强大的工具。

更多：

使用NVIDIA TAO工具包优化Arm Ethos-U NPUs的AI模型

CUDA Toolkit 12.3发布：NVIDIA强化GPU计算生态系统