PyTorch 是一种基于 Python 为接口的深度学习框架,允许用户利用 GPU 资源对矩阵进行运算,类似 numpy 中 Array 的运算,更多详细介绍可参考 PyTorch 官方文档 。可视化建模中有 PyTorch / PyTorch_TI_ACC 两个版本的组件,分别为原版,TI-ACC 加速版。
操作步骤
1. 添加组件
从左侧菜单栏中,选择组件算子 > 深度学习列表下的 PyTorch 节点,将其拖拽至画布中。
2. 算法 IO 参数
高级设置内,主要包含输入数据和输出数据的设置,您可以通过自定义路径设定或通过拖拽数据源、输出算子连接到组件算子上进行设置。请注意本地路径,您的程序可能需要在对应路径进行读写。
3. 算法参数
*
代码包:从指定对象存储 COS 存储桶中选择文件夹。启动命令:算子启动时执行的命令,默认入口为 start.sh 。
调优参数:填写的超参数 JSON 会保存为 /opt/ml/input/config/hyperparameters.json 文件,您的代码需自行解析。
4. 资源参数
*
框架版本:使用的 PyTorch 框架版本。*
训练模式:可选 DDP 、 MPI 或 HOROVOD ,TI_ACC 加速版仅支持 DDP 。*
计费模式:可选择按量计费和包年包月5. 运行
单击保存并运行工作流。
6. 查看 PyTorch日志
在 PyTorch 节点上单击右键菜单可查看详细日志。
Demo
下面演示如何通过 PyTorch 组件算子在 DDP 训练模式下训练卷积神经网络识别 MNIST 数据集。
2. 进行参数配置,首先是算法 IO 参数的高级设置(为了方便修改本地路径,使用自定义路径)。输入数据 0 使用自定义路径,数据源类型使用 COS 。点击选择文件选择数据所在的文件夹,由于要与代码中所设定的数据路径对齐,本地路径名改为 mnist :![PyTorch自定义路径](....\\images\\PyTorch自定义路径.png)
![PyTorch自定义路径](....\\images\\PyTorch自定义路径.png)
算法参数:单击选择文件,选择代码所在文件夹。启动命令为空,使用默认的入口。
资源参数:
*
框架版本:torch1.9-py3.8-cuda11.1-gpu*
训练模式:DDP*
计费模式:后付费*
算力规格:8C32G T4*1*
节点数量:23. 等待运行结束后,查看日志,可以看到训练过程的输出,以及最后的耗时,在 30~40s 左右:![](https://qcloudimg.tencent-cloud.cn/image/document/83700f385cbeadca7468d38cfa51a17a.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/83700f385cbeadca7468d38cfa51a17a.png)