有奖捉虫:办公协同&微信生态&物联网文档专题 HOT
PyTorch 是一种基于 Python 为接口的深度学习框架,允许用户利用 GPU 资源对矩阵进行运算,类似 numpy 中 Array 的运算,更多详细介绍可参考 PyTorch 官方文档 。可视化建模中有 PyTorch / PyTorch_TI_ACC 两个版本的组件,分别为原版,TI-ACC 加速版。

操作步骤

1. 添加组件
从左侧菜单栏中,选择组件算子 > 深度学习列表下的 PyTorch 节点,将其拖拽至画布中。
2. 算法 IO 参数
高级设置内,主要包含输入数据和输出数据的设置,您可以通过自定义路径设定或通过拖拽数据源、输出算子连接到组件算子上进行设置。请注意本地路径,您的程序可能需要在对应路径进行读写。
3. 算法参数
*代码包:从指定对象存储 COS 存储桶中选择文件夹。
启动命令:算子启动时执行的命令,默认入口为 start.sh 。
调优参数:填写的超参数 JSON 会保存为 /opt/ml/input/config/hyperparameters.json 文件,您的代码需自行解析。
4. 资源参数
*框架版本:使用的 PyTorch 框架版本。
*训练模式:可选 DDP 、 MPI 或 HOROVOD ,TI_ACC 加速版仅支持 DDP 。
*计费模式:可选择按量计费和包年包月
5. 运行
单击保存并运行工作流。
6. 查看 PyTorch日志
在 PyTorch 节点上单击右键菜单可查看详细日志。

Demo

下面演示如何通过 PyTorch 组件算子在 DDP 训练模式下训练卷积神经网络识别 MNIST 数据集。
1. 准备好代码包和数据集,您可以点击 代码包数据集 下载。解压后将文件夹上传到您的 COS 存储桶中,使其可以在组件算子中被导入。
2. 进行参数配置,首先是算法 IO 参数的高级设置(为了方便修改本地路径,使用自定义路径)。输入数据 0 使用自定义路径,数据源类型使用 COS 。点击选择文件选择数据所在的文件夹,由于要与代码中所设定的数据路径对齐,本地路径名改为 mnist :
PyTorch自定义路径


算法参数:单击选择文件,选择代码所在文件夹。启动命令为空,使用默认的入口。
资源参数:
*框架版本:torch1.9-py3.8-cuda11.1-gpu
*训练模式:DDP
*计费模式:后付费
*算力规格:8C32G T4*1
*节点数量:2
3. 等待运行结束后,查看日志,可以看到训练过程的输出,以及最后的耗时,在 30~40s 左右: