本文旨在介绍在 TI-ONE 平台的如何评测 LLM 大模型精调效果,做不同评测的合适时机。
前置准备
1. 评测模型:准备需要评测的模型,可以是开源模型或者您经过精调后的模型。
2. 评测数据集:用来评测的数据集,包括客观评测数据集与主观评测数据集。对于二者的要求如下:
客观评测集:您可参考客观评测-自定义评测集准备。
主观评测集:您可参考主观评测-自定义评测集准备。
第一步: 轻量体验
1. 轻量体验是指您将训练任务中保存的中间模型 checkpoint 进行部署,并对模型效果进行体验。轻量体验只关心模型的定性效果,不关心模型的定量指标。
2. 建议您训练到 0.5epoch 启动轻量体验。根据关键的任务要求,重点体验模型的回复是否符合预期。例如用户在训练集中加入了按 Markdown 格式输出,或者特殊语气回复的数据,则可以通过轻量体验,检验模型是否学到了这样的能力。
3. 如果模型在关键任务中的回复与预期差异较大,认为是模型学习失败,需要及时排查模型训练超参以及训练数据是否正确。
第二步: 客观评测
1. 客观评测是指您对模型使用开源评测集,计算模型在评测集上的打分。由于开源评测集拥有一套客观评测打分体系,因此不需要人工介入即可评测模型。
2. 建议您从 0.5epoch 的模型开始,每 0.5epoch 都开启一次客观评测。客观评测的目的在于让您监控模型训练中能力的变化趋势,并筛选出 best model(最优模型)。频率可以按照实际训练任务中保存模型的频率进行调整,过于频繁的评测意义有限,会造成评测资源的浪费,过于低频的评测容易错过 best model。
3. 在客观评测的开源评测集中,不同的评测集对应不同的评测能力项,例如 MMLU 为英语通用能力,C-EVAL 为中文通用能力,GSM8K 与 Math 为数学能力,AGIEval 为各类资格考试。您可选择所关注的能力项选择客观评测的开源评测集,用于选择自己的 best model。
第三步: 主观评测
1. 主观评测是指您使用自己设计的评测集,并人工对模型进行打分。由于主观评测集往往与实际业务一致,因此主观评测的效果最能明确反映模型的效果。但是主观评测十分耗费人力,因此建议您根据轻量体验与客观评测的综合结果,选取若干个(建议不超过3个)模型进行主观评测。最终您可选择主观评测最优的模型进行业务的上线。
2. 针对主观评测中标注经验,建议您根据实际的业务需求仔细制作主观评测集,包括问题、参考答案与打分标准。其中打分标准越细节越客观越好。例如针对摘要能力的主观评测,可以设置需要包含关键信息一、二、三等要求,如果有遗漏则扣1分。完成主观评测集后,需要对标注同学进行培训,并在标注过程中进行交叉校验,以确保多人审核标准的一致性。