首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

每日论文速递 | InsCL: Data-efficient 持续指令学习

摘要:Instruction tuning 可有效优化大型语言模型(LLM),使其适用于下游任务。由于实际应用中的环境不断变化,LLMs 需要在不发生灾难性遗忘的情况下,针对特定任务进行持续适应。考虑到沉重的计算成本,基于重放的持续学习(CL)方法是解决遗忘问题的最简单、最广泛的 LLM 方法。然而,传统的基于重放的方法不能充分利用指令来定制重放策略。在这项工作中,我们提出了一种名为基于指令的持续学习(InsCL)的新模式。InsCL 基于任务相似性动态重放之前的数据,任务相似性由带有指令的 Wasserstein Distance 计算得出。此外,我们还进一步引入了指令信息度量(InsInfo)来量化指令的复杂性和多样性。根据 InsInfo,InsCL 引导重放过程更倾向于高质量数据。我们在 16 个任务中以不同的训练顺序进行了大量实验,观察到 InsCL 在性能上的持续改进。当所有任务都训练完毕后,InsCL 与随机重放相比实现了 3.0 的相对性能增益,与无重放相比实现了 27.96 的相对性能增益。

01

Python 概念

Python(KK英语发音:/paθn/),是一种面向对象、直译式计算机程序设计语言,由GuidovanRossum于1989年底发明,第一个公开发行版发行于1991年。Python语法简洁而清晰,具有丰富和强大的类库。它常被昵称为胶水语言,它能够很轻松的把用其他语言制作的各种模块(尤其是C/C++)轻松地联结在一起。常见的一种应用情形是,使用python快速生成程序的原型(有时甚至是程序的最终界面),然后对其中有特别要求的部分,用更合适的语言改写,比如3D游戏中的图形渲染模块,速度要求非常高,就可以用C++重写。 Python本身被设计为可扩充的。并非所有的特性和功能都集成到语言核心。Python提供了丰富的API和工具,以便程序员能够轻松地使用C语言、C++、Cython来编写扩充模块。Python编译器本身也可以被集成到其它需要脚本语言的程序内。因此,很多人还把Python作为一种“胶水语言”(gluelanguage)使用。使用Python将其他语言编写的程序进行集成和封装。在Google内部的很多项目,例如GoogleEngine使用C++编写性能要求极高的部分,然后用Python或Java/Go调用相应的模块。《Python技术手册》的作者马特利(AlexMartelli)说:“这很难讲,不过,2004年,Python已在Google内部使用,Google召募许多Python高手,但在这之前就已决定使用Python,他们的目的是Pythonwherewecan,C++wherewemust,在操控硬件的场合使用C++,在快速开发时候使用Python。”

02
领券