【语言模型】开源 | 对分布内和分布外数据的校准语言模型微调

论文地址： http://arxiv.org/pdf/2010.11506v1.pdf

代码： 公众号回复：09091027250

来源： 乔治亚理工学院

论文名称：Calibrated Language Model Fine-Tuning for In- and Out-of-Distribution Data

原文作者：Lingkai Kong

内容提要

由于过参数化，调优的预训练语言模型可能会对分布内和分布外(OOD)数据产生严重的误校准。为了缓解这一问题，本文提出了一种正则化的微调方法。为了更好地校准，我们的方法引入了两种正则化方法:(1)对流形进行正则化，通过在数据流形内插值生成伪对流形样本。用这些伪样本进行增强训练后，通过平滑正则化来改进分布内校准。(2)非流形正则化，鼓励模型对伪非流形样本输出均匀分布，以解决OOD数据的过度自信问题。实验表明，该方法在期望校正误差、误分类检测和良好的文本分类检测等方面都优于现有的文本分类校准方法。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请加上文微信联系删除。