分享10篇优秀论文，涉及LLM对齐、LLM评估、LLM隐私、RAG增强等热门话题！

更多干货，第一时间送达

引言

紧跟技术发展趋势，快速了解NLP领域最新动态。今天继续给大家分享10篇最新论文，其中涉及大模型幻觉、大模型对齐、大模型剪枝、大模型隐私、大模型毒性、大模型评估、RAG能力增强、Transformer架构优化等热门研究方向。

全部论文获取方式，后台回复：20240129

语言模型对齐

https://arxiv.org/pdf/2310.17022.pdf

本文介绍了「受控解码 (CD)，这是一种将语言模型 (LM) 与特定目标（例如安全性和真实性）结合起来的新方法」。CD 利用离策略强化学习来控制 LM 的自回归生成，以获得高奖励结果。CD 的一个关键组成部分是前缀评分器—一种在推理时使用的价值函数，用于引导生成过程达到预期的结果。

该论文展示了CD 的两种操作模式：「Token-wise 采样和一种新型 Blockwise 采样策略」。Token-wise 采样需要调整每个Token的生成。相比之下，Blockwise 采样需要根据前缀评分器的评估对整个文本块进行采样和选择，从而弥合了 best-of-K 策略和Token级别控制之间的差距。

在DSTC8 Reddit对话语料库上的实验证明了CD 在提高对话安全性和长度方面的有效性。CD 提供了处理多个目标的灵活性，允许在推理过程中实时调整奖励优先级。块式 CD 变体始终在奖励和 KL 散度之间实现更好的权衡，表明其实际 LM 对齐的潜力。

Transformer架构优化

https://arxiv.org/pdf/2310.11453.pdf

本文介绍了 「BitNet，这是一种针对大型语言模型 (LLM) 进行优化的1-Bit Transformer 架构」。为了解决与 LLM 相关的高能耗和大内存问题，BitNet 提供了可扩展且高效的解决方案。它采用 BitLinear，它是 Transformers 中标准线性层的替代品，可以从头开始训练 1 位权重。与 8 位量化方法和 FP16 Transformer 基准相比，这种方法显着减少了内存使用和能源需求，同时保证了模型性能。

BitNet 遵循传统的 Transformer 布局，具有自注意力和前馈网络，使用二值化模型权重进行矩阵乘法。使用signum 函数对权重进行二值化，并将激活值量化为8 位精度。结合了组量化和归一化技术，可实现高效的模型并行性，优化能源和内存使用的计算效率。

BitNet的训练采用直通估计器进行反向传播，并采用混合精度训练来保证稳定性和准确性。「BitNet 表现出比 FP16 Transformers 更高的训练稳定性，有效利用了更大的学习率」。

与其他量化方法的比较分析表明，BitNet 在各种任务和模型大小上始终优于基线。在 Winogrande、Winograd、Storycloze 和 Hellaswag 等标准数据集上实现了卓越的零样本和少样本性能。值得注意的是，BitNet 遵循类似于全精度 Transformer 的缩放法则，这表明它有潜力有效缩放到更大的模型，同时保留效率和性能优势。

RAG能力增强

https://arxiv.org/pdf/2310.11511.pdf

本文讨论了「自我反思检索增强生成（SELF-RAG），这是一种旨在增强大型语言模型（LLM）质量和事实性的新颖框架」。传统的LLM面临着事实不准确的问题，部分原因是他们完全依赖参数知识。尽管它们能够减少错误，但现有的检索增强生成（RAG）方法经常会检索到不相关的信息，从而影响大模型的输出质量。

SELF-RAG 是一个新框架，通过按需检索和自反思来提高LLM的质量和真实性。它使用反射Token进行自评估，在各种任务中显着优于传统的LLM。该框架涉及两个组件：生成器和批评家模型。

• 「生成器模型」在使用反射Token和检索到的段落增强的数据集上进行训练，预测下一个输出Token，包括反射标记。
• 「评论家模型」评估检索到的段落的相关性以及生成的输出的质量。这种训练使得 SELF-RAG 在推理过程中无需 Critic 模型即可运行，从而减少了计算开销。

在六项任务的评估结果中表明，SELF-RAG 优于经过预训练和指令调整的 LLM，包括那些具有更多参数的 LLM。它在开放域问答、推理、事实验证和长格式生成任务中表现更好，实现了更高的事实性和引用准确性。、

大模型剪枝

https://arxiv.org/pdf/2310.06694.pdf

「本文介绍了一种通过结构化剪枝开发更小但更强大的大型语言模型 (LLM) 的创新方法」，这是从头开始训练模型的一种经济高效的替代方案。

该方法称为LLM-shearing，采用两个关键策略。

• 有针对性的结构化修剪：这种新颖的算法将更大的预训练模型修剪到指定的目标架构，有效地删除冗余组件，例如层、头和维度。这种有针对性的修剪可以保留模型性能，同时实现紧凑、高效的结构。
• 动态批量加载：为了解决剪枝模型中不同域之间学习率不平衡的问题，动态批量加载根据每个域的损失减少率调整训练数据的组成。该技术提高了训练效率并加速了整体性能的提高。

Sheared-LLaMA 系列证明了这种方法的有效性，其中 LLaMA2-7B 模型被修剪至 1.3B 和 2.7B 参数。这些修剪后的模型在各种任务上都优于类似大小的最先进模型，同时只需要从头开始训练等效模型所需的 3% 的计算资源，展示了未来模型开发的成本效益和潜在的可扩展性。

大模型隐私

https://arxiv.org/pdf/2310.16111.pdf

得益于大量的训练数据和LLM的推理能力，机器模型能够根据作者特有的语言风格来识别文章的作者。尽管数据集会删除个人身份数据，但是攻击者却可以根据作者特有的语言风格来识别文章作者。在本文中，「作者提出一个名为 DP-Prompt 的框架来解决这个问题，该框架使用差分隐私 (DP) 来衡量解决方案，这是量化数据集隐私的事实上的标准方法」。

DP-Prompt 的工作方式如下。LLM会被提示生成释义，然后作为处理后的文档发布。选择该过程主要有两个原因：

• 释义已被证明是针对去匿名化攻击的强大防御机制。
• 预训练的大型语言模型已显示出处理复杂任务的能力，而无需针对特定任务进行昂贵的微调。

DP-Prompt通过保留原始文档的情感(使用f1分数衡量)显示出了很好的结果，并大大降低了作者去匿名化攻击的准确性。

减轻LLM毒性

https://arxiv.org/pdf/2310.07589.pdf

「本文介绍了一种新方法 GOODTRIEVER，用于减轻语言模型 (LM) 中的毒性」。该方法打破了现有方法的局限性（这些方法计算量大，并且需要对模型参数进行重大修改）。GOODTRIEVER 因其对语言不断发展的性质和毒性的适应性而脱颖而出，利用检索增强模型并根据所需属性控制文本生成。

GOODTRIEVER包含两个外部数据存储库，其中包含有毒和无害的示例。在推理过程中，它将语言模型中的下一个标记概率与数据存储中的下一个标记概率相结合，使用PoE(Product of Experts)方法来控制数据存储对最终输出的影响。这种方法确保根据语言模型和数据存储的无毒概率来选择Token。

该论文评估了 GOODTRIEVER 在各种模型上的有效性，证明了其在无需大量计算开销的情况下减轻毒性的效率。与最先进的方法相比，它的推理时间减少了 43%，同时在毒性缓解方面保持了相当的性能。GOODTRIEVER 在不同的基线和不同的环境中进行了测试，包括持续的毒性缓解，它适应新类型的毒性，同时保持对以前遇到的领域的有效性。

数据集合规性

https://arxiv.org/pdf/2310.16787.pdf

「本文着重解决语言模型训练中数据透明度和合法性的问题」。作者对 1800 多个文本数据集进行了全面审核，并开发了 Data Provenance Explorer 等工具来追踪数据集详细信息，其中包括源创建者、许可条件、属性和使用情况。

研究结果揭示了不同许可条件下可用的数据类型存在显着差异，特别是在商业开放和封闭数据集。封闭数据集往往会限制数据集的多样性，包括资源较低的语言和更新的合成训练数据。

另外，分析发现流行数据集托管网站上的许可证经常出现错误分类，遗漏率超过70%，错误率超过 50%。「本文介绍了 Data Provenance Explorer和Data Provenance Cards等工具，以帮助从业者应对这些复杂性，提高数据集透明度和法律合规性」。

作者的实证分析表明，许可证类型存在广泛多样性，众包商“未指定”许可证的程度很高。该论文强调了人工智能开发中准确数据和数据归属的重要性，旨在以提高数据透明度和法律合规性。

LLM评估

https://arxiv.org/pdf/2310.14424.pdf

本文解决了通过人工标注有效评估大型语言模型 (LLM) 的问题。传统的评估指标通常无法捕捉自然语言的细微差别，因此需要人工评估。然而，这个过程是资源密集型的，在时间和成本方面消耗较大。本文优先考虑能够有效区分模型的Prompt来减少所需的人工标注，通过使用 KL 散度和交叉熵等指标来确定提示的优先级，从而提高大型语言模型 (LLM) 的人类评估效率。

该方法成对比较每个Prompt的模型输出结果，使用这些指标评估它们的差异性。然后，提示按照平局可能性增加的顺序排列。该论文详细介绍了实验设置，包括选择prompt和模型、完成生成以及收集人工注释。

结果表明，与随机选择相比，该方法可以有效地将前 20% 的prompt中的平局结果减少高达 54%。它还增强了 Elo 分数（一种评估零和游戏表现的指标）的稳定性，从而减少了对大量人工标注的依赖。

序列模型GateLoop

https://arxiv.org/pdf/2311.01927.pdf

本文介绍了 「GateLoop，这是一种基础序列模型，可增强长序列建模的线性递归能力」。GateLoop 通过合并数据控制的状态转换来推广现有的线性循环模型，例如 S4、S5、LRU 和 RetNet。这项创新允许高效且有效的自回归语言建模，展示了相对于 Transformer 和 Hyena 等最先进模型的优越性。

「GateLoop 解决了递归神经网络 (RNN) 及其衍生物的局限性」，这些局限性由于梯度消失和爆炸问题而难以解决长程依赖性。与 Transformer 不同的是，Transformers 消除了递归以支持注意力机制，GateLoop 保留了线性递归的优点，同时克服了其局限性。

「GateLoop 的核心涉及输入、隐藏状态和输出的数据控制门控，从而实现对内存保留和遗忘的动态控制」。这种方法与现有模型有很大不同，现有模型通常缺乏这种数据控制的门控机制。GateLoop 可以在低成本的

循环模式、高效的

并行模式和

代理注意力模式下运行，在不同的上下文中提供灵活性和效率。

实验结果证实了GateLoop的功效。在 WikiText-103 基准（自回归自然语言建模标准）上，GateLoop 的性能显着优于现有模型。该论文还包括一个综合任务“Memory Horizon”，旨在演示数据控制状态转换的优势。这项任务凸显了 GateLoop 根据输入有效管理内存的能力，这是实际序列建模中的一个关键因素。

降低LLM幻觉

https://arxiv.org/pdf/2310.01405.pdf

本文讨论了「表示工程 (RepE)，这是一种通过关注深度神经网络 (DNN) 中的高级认知现象来增强人工智能透明度的创新方法」。RepE 借鉴了认知神经科学的见解，强调了单个神经元或回路的表征在理解和控制人工智能系统中的重要性。

该方法由两个主要部分组成：表示读取和表示控制。

「表示读取旨在识别网络中高级概念和功能的新兴表示，使模型更适合概念提取、知识发现和监控」。此过程涉及基线技术，即线性人工断层扫描 (LAT)，其中包括设计刺激和任务、收集神经活动以及构建线性模型。

「基于表征阅读的见解，表示控制旨在修改或控制这些内部表征」。它引入了基线转换，例如对比度向量，其中涉及使用不同的提示通过模型运行相同的输入并使用所得的表示差异。这些方法包括线性组合、分段运算和投影来控制表示。

RepE 的应用之一是增强大型语言模型 (LLM) 中的诚实性，减少大模型幻觉。这种方法在检测和控制法LLM的诚实性方面取得了最先进的结果，展示了其在解决安全相关问题以及提高人工智能透明度和控制方面的潜力。