首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

每日论文速递 | NLP大佬们联合发文,倡导使用检索增强模型RA-LMs

摘要:参数化语言模型(LMs)通过在大量网络数据上进行训练,展现出了显著的灵活性和能力。然而,它们仍然面临着诸如幻觉、难以适应新数据分布以及缺乏可验证性等实际挑战。在这篇立场论文中,我们主张将检索增强型LMs作为下一代LMs取代参数化LMs。通过在推理过程中结合大规模数据存储,检索增强型LMs可以更加可靠、适应性强,并且具有可归因性。尽管具有潜力,但检索增强型LMs由于几个障碍尚未被广泛采用:具体来说,当前的检索增强型LMs在超出知识密集型任务(如问答)的文本利用方面遇到困难,检索和LM组件之间的互动有限,缺乏用于扩展的基础设施。为了解决这些问题,我们提出了开发通用检索增强型LMs的路线图。这涉及重新考虑数据存储和检索器,探索具有改进的检索器-LM交互的流水线,并且在高效训练和推理的基础设施上进行重大投资。

01

每日论文速递 | 语言模型的最优学习

摘要:这项工作研究了改善语言模型(LM)学习的一般原则,旨在减少必要的训练步骤,以实现卓越的性能。具体来说,我们提出了一个理论的LM的最佳学习。我们首先提出了一个目标,通过最大限度地提高数据压缩比,在“LM训练无损压缩”视图中优化LM学习。然后,我们推导出一个定理,命名为学习律,以揭示在我们的目标下的最优学习过程中的动力学性质。然后通过线性分类和真实世界语言建模任务的实验验证了该定理。最后,我们的经验验证,最佳学习的LM本质上源于改进的系数的缩放律的LM,表明很大的承诺和意义,设计实用的学习加速方法。我们的代码可以在https://aka.ms/LearningLaw上找到。

01
领券