首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >【大模型后训练SFT】Entropic Distribution Matching in Supervised Fine-tuning of LLMs

【大模型后训练SFT】Entropic Distribution Matching in Supervised Fine-tuning of LLMs

作者头像
用户5595415
发布于 2026-11-16 12:47:14
发布于 2026-11-16 12:47:14
140
举报
概述
Entropic Distribution Matching in Supervised Fine-tuning of LLMs: Less Overfitting and Better Diversity LLMs监督微调中的熵分布匹配:更少过拟合与更优多样性 论文 摘要 大语言模型依赖监督微调(SFT)来专门化于下游任务。交叉熵(CE)损失是 SFT 中事实上的首选,但由于其对数据分布进行激进

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档