首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

每日论文速递 | 用于参数高效微调的小型集成LoRA

摘要:参数高效微调(PEFT)是一种流行的方法,用于裁剪预训练的大型语言模型(LLM),特别是随着模型规模和任务多样性的增加。低秩自适应(LoRA)基于自适应过程本质上是低维的想法,即,显著的模型变化可以用相对较少的参数来表示。然而,与全参数微调相比,降低秩会遇到特定任务的泛化错误的挑战。我们提出了MELoRA,一个迷你合奏低秩适配器,使用较少的可训练参数,同时保持较高的排名,从而提供更好的性能潜力。其核心思想是冻结原始的预训练权重,并训练一组只有少量参数的迷你LoRA。这可以捕获迷你LoRA之间的显著程度的多样性,从而促进更好的泛化能力。我们对各种NLP任务进行了理论分析和实证研究。我们的实验结果表明,与LoRA相比,MELoRA在自然语言理解任务中的可训练参数减少了8倍,在指令跟随任务中的可训练参数减少了36倍,从而实现了更好的性能,这证明了MELoRA的有效性。

01

想去机器学习初创公司做数据科学家?这里有最常问的40道面试题

选文/校对 | 姚佳灵 翻译 | 郭姝妤 导读 想去机器学习初创公司做数据科学家?这些问题值得你三思! 机器学习和数据科学被看作是下一次工业革命的驱动器。这也意味着有许许多多令人激动的初创公司正在起步成长、寻找专业人士和数据科学家。它们可能是未来的特斯拉、谷歌。 对于有职业抱负的你来说,看好一家好的创业公司团队后,如何能够脱颖而出,进入一家靠谱的创业团队呢? 想得到这样的工作并不容易。首先你要强烈认同那个公司的理念、团队和愿景。同时你可能会遇到一些很难的技术问题。而这些问题则取决于公司的业务。他们是咨询

05

在Python中实现你自己的推荐系统

现今,推荐系统被用来个性化你在网上的体验,告诉你买什么,去哪里吃,甚至是你应该和谁做朋友。人们口味各异,但通常有迹可循。人们倾向于喜欢那些与他们所喜欢的东西类似的东西,并且他们倾向于与那些亲近的人有相似的口味。推荐系统试图捕捉这些模式,以助于预测你还会喜欢什么东西。电子商务、社交媒体、视频和在线新闻平台已经积极的部署了它们自己的推荐系统,以帮助它们的客户更有效的选择产品,从而实现双赢。 两种最普遍的推荐系统的类型是基于内容和协同过滤(CF)。协同过滤基于用户对产品的态度产生推荐,也就是说,它使用“人群的智慧

010

TCBB|基于多视角图嵌入学习模型识别蛋白质折叠结构

今天给大家介绍北京理工大学刘滨教授和哈工大(深圳)徐勇教授团队在“IEEE/ACM Transactions on Computational Biology and Bioinformatics“上发表的工作 “Protein Fold Recognition Based on Auto- Weighted Multi-view Graph Embedding Learning Model”。蛋白质折叠识别对于蛋白质结构预测和药物设计都至关重要。目前已经提出一些方法来从蛋白质序列提取有识别度的特征来进行折叠识别,但是如何集成这些特征以提高预测准确性,仍是一个具有挑战性的问题。在本文中,作者提出两种新的模型:AWMG和EMfold。AWMG是一种基于多视图学习框架的模型,其将每个视图视为对应蛋白质数据源的中间表示形式,例如进化信息和检索信息。Emfold是一种集成模型,它结合AWMG和DeepSS这两种互补的方法,其中DeepSS是一种基于模板的算法,集成了SPARKS-X 和 DeepFR 算法。Emfold集成了基于模板算法和机器学习的优势。实验结果表明,AWMG 和 Emfold的性能显著优于其他现有的预测方法。

04

TCBB|基于多视角图嵌入学习模型识别蛋白质折叠结构

今天给大家介绍北京理工大学刘滨教授和哈工大(深圳)徐勇教授团队在“IEEE/ACM Transactions on Computational Biology and Bioinformatics“上发表的工作 “Protein Fold Recognition Based on Auto- Weighted Multi-view Graph Embedding Learning Model”。蛋白质折叠识别对于蛋白质结构预测和药物设计都至关重要。目前已经提出一些方法来从蛋白质序列提取有识别度的特征来进行折叠识别,但是如何集成这些特征以提高预测准确性,仍是一个具有挑战性的问题。在本文中,作者提出两种新的模型:AWMG和EMfold。AWMG是一种基于多视图学习框架的模型,其将每个视图视为对应蛋白质数据源的中间表示形式,例如进化信息和检索信息。Emfold是一种集成模型,它结合AWMG和DeepSS这两种互补的方法,其中DeepSS是一种基于模板的算法,集成了SPARKS-X 和 DeepFR 算法。Emfold集成了基于模板算法和机器学习的优势。实验结果表明,AWMG 和 Emfold的性能显著优于其他现有的预测方法。

01
领券