有奖捉虫:行业应用 & 管理与支持文档专题 HOT

操作场景

当您提交自动学习训练任务后,自动学习任务会进入模型训练阶段。在此您可以看到模型当前的训练状态、训练实时指标及训练日志,并查看模型在测试集上的测试结果,或上传其他测试集对模型进行测试及验证。n本文介绍图片分类场景的模型训练及评测过程。

前提条件

完成自动学习模型训练任务的创建,具体操作请参见 配置任务

操作步骤

图像分类模型训练

1. 训练模型页面会显示训练已运行时长,预计运行时长,训练进度,模型优化进度等信息。如需要停止本次训练,请单击训练模型页面的停止训练按钮。


2. 如训练提示异常,可单击训练模型页面的异常按钮,重新启动训练任务。
3. 在训练过程中,您可查看实时指标(如Accuracy、Loss等)随模型训练次数的变化情况。
训练模型-训练详情-训练实时指标


4. 在训练过程中,您可查看及检索训练日志,了解训练的最新进展,或查看任务异常的详细原因:
训练模型-训练详情-训练日志


任务 ID:页面展示任务 ID,如遇到训练任务异常无法自行解决,请复制该 ID 并描述异常情况,选择提交工单。
节点:可查看全部或单个指定节点的日志信息。
时间范围:默认为最近时间,也可选择近1小时,近24小时,近7天,页面也提供时间选择控件供您选择指定的时间范围。
自动刷新:默认关闭,开启后会每15s进行一次刷新,获取最新的任务运行日志。
检索分析:提供便捷的日志检索功能,您可在此输入所需的关键词,快捷定位到所在的日志行。如输入“error”,快速定位任务异常原因,输入“epoch”快速了解每一轮的训练情况。
日志持久化存储:平台默认显示最近7天的运行日志,如您希望对日志进行持久化保存,可选择将日志投递至腾讯云CLS服务。日志投递界面如下,对于CLS的更多说明请参阅 CLS 日志服务使用文档及收费指南

训练模型-训练日志-开启日志投递



图像分类模型评测

模型评测提供基于测试集的模型表现。包含模型评测任务基本信息(如评测时长、评测图片数量、badcase数量),整体指标(可通过定义不同的全局阈值查看模型的精确率、召回率、F1-Score),PR曲线。
1. 查看模型评测的基本信息,包含测试集、评测时长、评测图片数量、badcase数量等。
模型评测-基本信息


如需查看测试数据集,请单击测试集对应的查看,单击后,可看到测试集的标签分布信息、各类别标签数量及标签占比。由于图片读取会产生COS请求及流量费用,因此,默认不展示测试集图片详情。如需展示图片详情,您可打开详情展示开关。
模型评测-测试集数据预览


单击详情展示后,会为您展示测试集中所包含的图片详情信息。您可依次查看,或根据标注类别选择具体的标签进行查看。
模型评测-测试集数据详情


对于模型在测试集上的 badcase,可单击基本信息badcase 数量对应的查看,进入到对应的页面进行查看。由于 badcase 访问需要产生对象存储 COS 的请求和流量费用,因此图片默认是不展示的。请将预览 badcase 图片开关打开后查看详情。
模型评测-评测图片badcase

可通过筛选正确结果、预测结果对应的标签快速了解模型表现,以便于制定有针对性的模型优化计划。
2. 查看模型整体指标,包含精确率、召回率、F1-Score。
模型评测-整体指标


精确率:表示预测结果为正类的样本中,真正的正样本比例。
召回率:实际图片类别被检测到的比率。
全局阈值:默认为80%,可按步长为5进行数值调整。通过调整阈值,可以权衡精确率和召回率,以判断模型是否符合实际业务场景的需求。
F1-Score:F1-Score通常用于概括分类模型的性能,它结合了精确率和召回率两个指标。计算公式为: F1 = (2 * 精确率 * 召回率)/ (精确率 + 召回率)。
3. 查看模型的PR曲线,横轴表示Recall(召回率),纵轴表示Precision(精确率),鼠标hover至曲线上可查看每个类别对应的精确率、召回率及阈值。
模型评测-进阶指标-PR曲线


4. 在PR曲线下方提供每个类别对应的预测结果及指标。可通过调整右侧面板中的阈值,查看不同阈值对应的精度、召回率及F1-Score。同时在左侧表格中,可以单击分类错误的数量,查看每个类别下对应的badcase。
模型评测-进阶指标-分类别指标



更新测试集

模型评测页面选择测试集,并击重新评测按钮,可开始重新选择新的测试数据集对模型效果进行评测。
模型评测-重新评测

单击重新评测后,会弹出二次确认框,如确认要重新评测,请单击确定
模型评测-重新评测-请确定是否开始评测


单击确定后,会提交评测任务,待评测完毕即可查看结果。
说明
如果提交任务时选择的测试数据集是内置的样例数据,则此处不可选择其他数据集进行模型测试。

下一步操作

如您认为模型符合需求,可进一步进行如下操作:
如果希望启动模型服务,进行服务测试或发布,请参考 模型发布