社区首页 >专栏 >【大模型后训练SFT】Entropic Distribution Matching in Supervised Fine-tuning of LLMs
【大模型后训练SFT】Entropic Distribution Matching in Supervised Fine-tuning of LLMs
用户5595415
发布于 2026-11-16 12:47:14
发布于 2026-11-16 12:47:14
140
举报
概述
Entropic Distribution Matching in Supervised Fine-tuning of LLMs: Less Overfitting and Better Diversity LLMs监督微调中的熵分布匹配:更少过拟合与更优多样性 论文 摘要 大语言模型依赖监督微调(SFT)来专门化于下游任务。交叉熵(CE)损失是 SFT 中事实上的首选,但由于其对数据分布进行激进