有奖捉虫:办公协同&微信生态&物联网文档专题 HOT
文档中心 > TI-ONE 训练平台 > 最佳实践 > 使用自动学习构建模型-图片分类

操作背景

TI-ONE 自动学习模块内置了常见深度学习场景,例如图片分类、目标检测,使用户仅需通过简单的配置即可完成深度学习模型构建、评测、发布等模型生命周期全流程工作。
为了方便您有效地使用 TI-ONE 的自动学习,本文将通过一个图片分类案例向您演示使用流程。

前提条件

完成 TI-ONE 服务注册与开通,请参考 账号和权限说明
开通 对象存储 COS 服务并完成 存储桶创建
在数据中心 上传 带有标注标签的数据或对数据进行 标注
使用按量计费类型资源会预先冻结所选配置2个小时的使用费用,若您的现金账户余额不足,请先进行充值。

使用自动学习进行图片分类模型训练

步骤1:新建任务

进入自动学习 > 立即开始,选择对应的区域,单击新建任务
立即开始-新建任务

单击后进入新建任务页面,用户需在此填写本次任务的任务名称、训练数据、训练输出路径、训练配置及训练资源配置等信息。
1. 填写基本信息

新建任务-配置任务-填写基本信息


2. 填写数据配置

新建任务-配置任务-填写数据配置

其中:
是否增量训练:对于首次训练的任务,是否增量训练默认关闭。如果您需要基于某个已有训练任务进行模型的增量更新,可选择将该项开启。
数据来源:您可选择数据中心中的数据或示例数据。数据中心的数据通常是您自己创建的数据集,示例数据为平台内置数据。
3. 填写训练配置

新建任务-配置任务-填写训练配置

其中:
训练偏好设置:可结合您的业务场景设置训练偏好,得到对应精度高或预测速度快或两者均衡的模型。
期望准确率:可结合业务目标设置合理的期望准确率值,到达准确率后会为您自动停止训练。
最长训练时长:默认为1小时,到达后任务会立即停止。该设置下,模型可能无法达到所需的训练效果,可结合实际情况对该项进行调整。 训练参数设置为可选项,自动学习会为您提供默认值。也可结合您的实际情况进行修改,可修改的训练参数包括:
epochs:模型训练次数,可选择系统内置的值或进行自定义。
lr:学习率,可选择系统内置的值或进行自定义。
batch_size:训练批次大小,可选择系统内置的值或进行自定义。
warmup:预热训练次数,可选择系统内置的值或进行自定义。
4. 填写训练资源配置,可按需选择按量计费或包年包月训练模式,确认后单击下一步。 单击下一步后,进入训练模型页面如您在单击下一步后离开训练模型页面,可至任务管理列表页重新找到该任务。

步骤2:训练模型

训练模型页,可以查看模型的运行状态及训练详情。页面展示信息如下:
1. 训练状态



已运行时长:展示模型训练任务已经运行的时长。
最长运行时长:为本任务在配置任务页所设置的值,本例中为1小时。
训练进度:展示模型训练任务进度及训练任务当前所处阶段。如果您不再需要本次训练任务,可以单击停止按钮。如果训练意外中断,可单击重启按钮
2. 训练详情
实时指标:展示模型训练过程中的实时指标,包含横坐标为epoch(模型训练次数), 纵坐标为具体指标所对应的数值。
训练模型-训练详情-训练实时指标


训练日志:展示模型训练过程中产生的日志详情,支持自动刷新及检索分析。
训练模型-训练详情-训练日志


3. 图片分类训练指标说明:
accuracy:正确预测图片的数量 / 图片总数量。
valid_top1_accuracy:验证集预测结果中,排名第一的类别里面正确预测的准确率。
valid_top5_accuracy:验证集预测结果中,排名前五的类别里面正确预测的准确率。
loss:损失值,代表模型预测与目标之间的距离。

步骤3:模型评测

模型评测提供基于测试集的模型表现信息。包含模型评测任务基本信息(如评测时长、评测图片数量、badcase数量),整体指标(可通过定义不同的全局阈值查看模型的精确率、召回率、F1-Score),PR曲线。
1. 查看模型评测的基本信息,包含测试集、评测时长、评测图片数量、badcase数量等。
模型评测-基本信息


如需查看测试数据集,请单击测试集对应的查看,单击后,可看到测试集的标签分布信息、各类别标签数量及标签占比。由于图片读取会产生COS请求及流量费用,因此,默认不展示测试集图片详情。如需展示图片详情,您可打开详情展示开关
模型评测-测试集数据预览


单击详情展示后,会为您展示测试集中所包含的图片详情信息。您可依次查看,或根据标注类别选择具体的标签进行查看。
模型评测-测试集数据详情


对于模型在测试集上的badcase,可单击基本信息badcase数量对应的查看,进入到对应的页面进行查看。由于badcase访问需要产生对象存储COS的请求和流量费用,因此图片默认是不展示的。请将预览badcase图片开关打开后查看详情。
模型评测-评测图片badcase

可通过筛选正确结果、预测结果对应的标签快速了解模型表现,以便于制定有针对性的模型优化计划。
2. 查看模型整体指标,包含精确率、召回率、F1-Score。
模型评测-整体指标


精确率:表示预测结果为正类的样本中,真正的正样本比例。
召回率:实际图片类别被检测到的比率。
全局阈值:默认为80%,可按步长为5进行数值调整。通过调整阈值,可以权衡精确率和召回率,以判断模型是否符合实际业务场景的需求。
F1-Score:F1-Score 通常用于概括分类模型的性能,它结合了精确率和召回率两个指标。计算公式为: F1 = (2 * 精确率 * 召回率)/ (精确率 + 召回率)。
3. 查看模型的PR曲线,横轴表示Recall(召回率),纵轴表示Precision(精确率),鼠标hover至曲线上可查看每个类别对应的精确率、召回率及阈值。
模型评测-进阶指标-PR曲线


4. 在PR曲线下方提供每个类别对应的预测结果及指标。可通过调整右侧面板中的阈值,查看不同阈值对应的精度、召回率及F1-Score。同时在左侧表格中,可以单击分类错误的数量查看每个类别下对应的badcase。
模型评测-进阶指标-分类别指标



步骤4:一键发布

1. 模型评测结束后,可单击下一步,进入一键发布页面,快速将训练得到的模型部署为在线预测服务。
计费模式:可选择按量计费或包年包月。
算力规格:按需选择模型部署所需的算力。
最长运行时长:为节省资源您可设置最长运行时长,服务将按照设置时长停止。
单击一键发布按钮进行模型发布,如果计费模式选择按量计费,则会预先冻结所选配置2个小时的费用,需要保证账户余额能满足您的业务要求。
2. 单击一键发布后,进入到发布页面:

一键发布-上传图片进行测试


运行状态:显示预测服务当前所处的状态。如您不再需要此服务,可单击停止,停止该服务。
在线预测服务:单击查看服务,进入该服务对应的详情页面。包含服务的基本信息、实例列表、监控、事件、日志、更新记录。详情可查看 在线服务运营
服务测试:服务测试区域,您可单击点击上传按钮,上传新的测试图片,查看模型的预测结果。
说明
如果识别结果显示暂无数据,可通过调整置信度,对显示结果进行过滤。