批量计算
有奖捉虫：办公协同&微信生态&物联网文档专题 HOT
文档中心 > 批量计算 > 最佳实践 > 深度学习示例

深度学习示例

最近更新时间：2023-12-27 11:44:42

我的收藏

本页目录：

快速开始

本文介绍一个基于 scikit-learn 机器学习库，编写一个多层感知器（MLP，Multilayer Perceptron）BP 算法的深度学习示例。通过对历史国际足球比赛、球队排名、球员体能技术指标以及 FIFA 2018 小组赛结果建模，预测两只球队的胜负平概率。具体操作步骤如下。

步骤1：制作自定义镜像

1. 制作步骤参见 创建自定义镜像 文档。
2. 安装依赖包，以 CentOS 7.2 64 bit 为例：
yum -y install gcc
yum -y install python-devel
yum -y install tkinter
yum -y install python-pip
pip install --upgrade pip
pip install pandas
pip install numpy
pip install matplotlib
pip install seaborn
pip install sklearn
pip install --upgrade python-dateutil

步骤2：下载程序包

单击 下载程序压缩包，下载完成后上传压缩包至 对象存储。通过指定程序包的对象存储地址，Batch 会在作业运行前下载压缩包到云服务器，自动解压后执行。

步骤3：创建 “fifa-predict” 任务模板

1. 登录批量计算控制台，选择左侧导航栏中的 任务模板。
2. 在任务模板页面上方选择目标地域后，单击新建。
3. 单击新建，进入新建任务模板页面，参考以下信息进行创建。如下图所示：


名称：fifa-predict。
描述：数据训练与预测。
计算环境类型：请按需选择，本文选择自动计算环境。
资源配置：S2.SMALL1（1核1G），公网带宽按量收费。
镜像：自定义镜像标识符，选择 步骤1 中已创建的镜像。
资源数量：并发渲染数，例如3台，并行训练3个神经网络模型。
超时时间、重试次数：请保持默认值。
4. 单击下一步，配置程序信息。如下图所示：


执行方式：PACKAGE。
程序包地址：以对象存储举例，cos://barrygz-1251783334.cosgz.myqcloud.com/fifa/fifa.2018.tar.gz。
Stdout 日志：格式参考 COS、CFS 路径填写。
Stderr 日志：同 Stdout 日志。
命令行：python predict.py "Japan" "Senegal"。 球队列表：'Saudi Arabia', 'Egypt', 'Uruguay', 'Portugal', 'Spain', 'Morocco', 'Iran', 'France', 'Australia', 'Peru', 'Denmark', 'Argentina', 'Iceland', 'Croatia', 'Nigeria', 'Brazil', 'Switzerland', 'Costa Rica', 'Serbia', 'Germany', 'Mexico', 'Sweden', 'Korea Republic', 'Belgium', 'Panama', 'Tunisia', 'England', 'Poland', 'Senegal', 'Colombia', 'Japan'。
5. 跳过存储映射配置步骤，单击下一步。
6. 预览任务 JSON 文件，确认无误后，单击保存。

步骤4：创建 “fifa-merge” 任务模板

1. 登录批量计算控制台，选择左侧导航栏中的 任务模板。
2. 在任务模板页面上方选择目标地域后，单击新建。
3. 单击新建，进入“新建任务模板”页面，参考以下信息进行创建。如下图所示：


名称：fifa-merge。
描述：预测数据汇总。
计算环境类型：请按需选择，本文选择自动计算环境。
资源配置：S2.SMALL1（1核1G），公网带宽按量收费。
镜像：自定义镜像标识符，选择 步骤1 中已创建的镜像。
资源数量：1台。
超时时间、重试次数：请保持默认值。
4. 单击下一步，配置程序信息。如下图所示：


执行方式：PACKAGE。
程序包地址：以对象存储举例，cos://barrygz-1251783334.cosgz.myqcloud.com/fifa/fifa.2018.tar.gz。
Stdout 日志：格式参考 COS、CFS 路径填写。
Stderr 日志：同 Stdout 日志。
命令行：python merge.py /data。
5. 单击下一步，配置存储映射。如下图所示：


输入路径映射 - COS/CFS路径：填写 “fifa-predict” 模板 Stdout 日志路径。
输入路径映射 - 本地路径：/data。
6. 预览任务 JSON 文件，确认无误后，单击保存。

步骤5：提交作业

1. 单击左侧导航栏中的作业，进入“作业”列表页面。
2. 在“作业”列表页面上方选择目标地域后，单击新建。
3. 进入“新建作业”页面，参考以下信息配置作业信息。
作业名称：fifa。
优先级：默认值。
描述：fifa 2018 model。
4. 选中任务流页面左侧 fifa-predict 和 fifa-merge 任务，移动鼠标将任务放置到右侧画布中。单击 fifa-predict 任务拖拽箭头到 fifa-merge 任务。


5. 打开任务流右侧 任务详情，确认配置无误后，单击完成。
6. 查询作业运行信息，请参考 查询信息。


7. 渲染结果查询，请参考 查看对象信息。



下一步操作

本文列举了一个简单的机器学习示例，仅仅是向用户展示最基本的能力，您可以根据控制台使用指南继续测试 Batch 更高阶的能力。
丰富的云服务器配置：Batch 提供了丰富的云服务器 CVM 配置项，您可以根据业务场景自定义 CVM 配置。
远程存储映射：Batch 在存储访问上进行优化，将对远程存储服务的访问简化为对本地文件系统操作。
并行训练多个模型：Batch 支持指定并发数，通过 环境变量 区分不同的并发实例，每个实例读取不同的训练数据，实现并行建模。
中国站