暂无搜索历史
摘要:我们提出了一种方法,通过在token level交错使用多个大语言模型(LLM),让它们学会协作。我们将由哪个 LLM 生成下一个token的决定建模为一...
摘要:量化是为服务大语言模型(LLMs)不可或缺的技术,最近已经应用到LoRA微调中。在这项工作中,我们关注的是在一个预训练模型上同时应用量化和LoRA微调的情...
摘要:参数化语言模型(LMs)通过在大量网络数据上进行训练,展现出了显著的灵活性和能力。然而,它们仍然面临着诸如幻觉、难以适应新数据分布以及缺乏可验证性等实际挑...
摘要:最近的研究已经证明了基础代理在特定任务或场景中的成功。然而,现有的代理无法在不同的场景中进行泛化,主要是由于它们的观察和行动空间的多样性以及语义差距,或者...
摘要:训练大型语言模型(LLMs)面临着显著的内存挑战,主要是由于权重和优化器状态的不断增大。常见的内存降低方法,如低秩适应(LoRA),在每一层中向冻结的预训...
摘要:探索agent是否可以在不依赖于人工标记数据的情况下与其环境保持一致,提出了一个有意思的研究课题。从智能生物观察到的对齐过程中汲取灵感,我们提出了一种新颖...
摘要:深度神经网络(DNNs)的可迁移性在图像和语言处理领域取得了显著进展。然而,由于表格之间的异构性,这种DNN的优势在表格数据预测(例如回归或分类任务)方面...
摘要:以显著的能力,大语言模型(LLMs)已成为许多自然语言处理应用中不可或缺的元素,而参数高效的微调,特别是 LoRA,已经因其轻量级的模型定制方法而备受青睐...
最近,整个AI圈都在关注OpenaAI和SpaceX首席执行官埃隆·马斯克的官司。继OpenAI驳回“埃隆的所有主张”(dismiss "all of Elon...
研究背景: 生成式大语言模型,如 ChatGPT,在实体识别方面与监督学习模型相比仍存在差距。为了弥补这一能力的不足,目前的研究主要集中在使用开源大语言模型(例...
摘要:参数高效微调(PEFT)是一种流行的方法,用于裁剪预训练的大型语言模型(LLM),特别是随着模型规模和任务多样性的增加。低秩自适应(LoRA)基于自适应过...
摘要:虽然大型语言模型(LLM)通常采用微调来解锁其下游应用程序的功能,但我们对不同微调方法的归纳偏差(特别是缩放属性)的理解仍然有限。为了填补这一空白,我们进...
摘要:这项工作研究了改善语言模型(LM)学习的一般原则,旨在减少必要的训练步骤,以实现卓越的性能。具体来说,我们提出了一个理论的LM的最佳学习。我们首先提出了一...
摘要:最近的研究,如BitNet,正在为1位大型语言模型(LLM)的新时代铺平道路。在这项工作中,我们引入了一个1位LLM变体,即BitNet b1.58,其中...
摘要:尽管在各种复杂任务中表现出色,但现代大型语言模型(LLM)仍然难以处理一些对人类来说简单直观的数学问题,例如加法。虽然我们可以很容易地学习加法的基本规则,...
摘要:我们在大型语言模型(LLM)中观察到一种经验现象-很少有激活表现出比其他激活大得多的值(例如,100,000倍)。我们称之为大规模激活。首先,我们证明了广...
摘要:大型语言模型对不同的任务表现出强大的解决问题的能力。然而,大多数基于LLM的代理都被设计为具有复杂提示工程的特定任务求解器,而不是能够通过交互学习和进化的...
大家应该还记得,Mamba 被 ICLR 2024 大会 Decision Pending(待定)的消息在 1 月份引发过一波社区热议。
团队将 Mistral Large 在常用基准上的性能与顶尖的 LLM 模型进行比较。涵盖推理和知识,多语言能力,数学与代码能力。
左侧:原始版本的LoRA,权重是稠密的,每个样本都会激活所有参数;右侧:与混合专家(MoE)框架结合的LoRA,每一层插入多个并行的LoRA权重(即MoE中的多...
暂未填写公司和职称
暂未填写个人简介
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市