有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

操作场景

当您提交自动学习训练任务后,自动学习任务会进入模型训练阶段。在此您可以看到模型当前的训练状态、训练实时指标及训练日志,并查看模型在测试集上的测试结果,或上传其他测试集对模型进行测试及验证。n本文介绍目标检测场景(含杯盘检测)的模型训练及评测过程。

前提条件

完成自动学习模型训练任务的创建,具体操作请参见 配置任务

操作步骤

目标检测模型训练

1. 训练模型页面会显示训练已运行时长,预计运行时长,训练进度,优化进度等信息。如需要停止本次训练,请单击训练模型页面的停止训练按钮。


2. 如训练提示异常,可单击训练模型页面的异常按钮,重新启动训练任务。
3. 在训练过程中,您可查看实时指标(如mAP、Loss等)随模型训练次数的变化情况。 n
训练模型-训练详情-训练实时指标


4. 在训练过程中,您可查看及检索训练日志,了解训练的最新进展,或查看任务异常的详细原因:
训练模型-训练详情-训练日志


任务 ID:页面展示任务 ID,如遇到训练任务异常无法自行解决,请复制该 ID 并描述异常情况,选择提交工单。
节点:可查看全部或单个指定节点的日志信息。
时间范围:默认为最近时间,也可选择近1小时,近24小时,近7天,页面也提供时间选择控件供您选择指定的时间范围。
自动刷新:默认关闭,开启后会每15s进行一次刷新,获取最新的任务运行日志。
检索分析:提供便捷的日志检索功能,您可在此输入所需的关键词,快捷定位到所在的日志行。如输入“error”,快速定位任务异常原因,输入“epoch”快速了解每一轮的训练情况。
日志持久化存储:平台默认显示最近7天的运行日志,如您希望对日志进行持久化保存,可选择将日志投递至腾讯云CLS服务。日志投递界面如下,对于CLS的更多说明请参阅 CLS 日志服务使用文档及收费指南

训练模型-训练日志-开启日志投递



目标检测模型评测

模型评测提供基于测试集的模型表现。包含模型评测任务基本信息(如评测时长、评测图片数量、badcase数量),整体指标(可通过定义不同的全局IOU查看模型的精确率、召回率、mAP),PR曲线。
1. 查看模型评测的基本信息,包含测试集、评测时长、评测图片数量、badcase数量等。
模型评测-基本信息


如需查看测试数据集,请单击测试集对应的查看,单击后,可看到测试集的标签分布信息、各类别标签数量及标签占比。由于图片读取会产生COS请求及流量费用,因此,默认不展示测试集图片详情。如需展示图片详情,您可打开详情展示开关。
模型评测-测试集数据预览


单击详情展示后,会为您展示测试集中所包含的图片详情信息。备注:单击测试集后的查看可查看完整数据集的信息,单击评测图片数量后的查看会默认选中评测过程中已选择的标签。
模型评测-测试集数据详情


单击缩略图,可以展示大图,并可展示标注信息:
测试集-图片详情-显示标注


对于模型在测试集上的 badcase,可单击基本信息badcase 数量对应的查看,进入到对应的页面进行查看。由于 badcase 访问需要产生对象存储 COS 的请求和流量费用,因此图片默认是不展示的。请将预览 badcase 图片开关打开后查看详情。
模型评测-评测图片badcase

可通过筛选正确结果、预测结果对应的标签快速了解模型表现,以便于制定有针对性的模型优化计划。
单击缩略图,可以查看预测框位置是否准确,左侧展示原始标注数据,右侧展示预测数据。(注:本例中未识别到物体,因此图中无检测框) n
评测图片badcase-详情


2. 查看模型整体指标,包含精确率、召回率、mAP。
模型评测-整体指标


全局 IOU:IOU 为预测框和标注框面积的交并比(Intersection over Union),默认为50%,可按步长为5进行数值调整。通过调整 IOU,可以权衡精确率和召回率,以判断模型是否符合实际业务场景的需求。
精确率:表示预测结果为正类的样本中,真正的正样本比例。
召回率:实际图片类别被检测到的比率。
mAP:AP(Average Precision)为目标检测中,每一类对应的P-R曲线下的面积。mAP(Mean Average Precision)即平均AP值。该值越大,代表模型效果越好。
3. 查看模型的PR曲线,横轴表示Recall(召回率),纵轴表示Precision(精确率),鼠标hover至曲线上可查看每个类别对应的精确率、召回率及阈值。
模型评测-进阶指标-PR曲线


4. 在PR曲线下方提供每个类别对应的阈值及指标。可通过调整面板中的阈值,查看不同阈值对应的Pre(精度)、Recall(召回率)及mAP。n
模型评测-进阶指标-分类别指标



更新测试集

模型评测页面选择测试集,并单击重新评测按钮,可开始重新选择新的测试数据集对模型效果进行评测。
模型评测-重新评测

单击重新评测后,会弹出二次确认框,如确认要重新评测,请单击确定
模型评测-重新评测-请确定是否开始评测


单击确定后,会提交评测任务,待评测完毕即可查看结果。
说明
如果提交任务时选择的测试数据集是内置的样例数据,则此处不可选择其他数据集进行模型测试。

下一步操作

如您认为模型符合需求,可进一步进行如下操作:
如果希望启动模型服务,进行模型发布,请参考 模型发布