大模型社区再掀波澜，Meta重磅开源LLAMA-2，性能升级可商用

Meta于北京时间 7 月 19 日凌晨开源了 LLaMA 的升级版：LLaMA-2，7B 到 70B 三种大小的模型全开放并且可免费商用。我们一起快速看一下新升级的 LLaMA-2 都有哪些令人激动的新特性吧。

基座微调全都有，模型丰富显诚意

LLaMA-2 目前开源了 70 亿参数, 130 亿参数和 700 亿参数 3 个尺寸版本。与 LLaMA-1 不同，本次除了开源基座模型以外，也开源了各个尺寸的微调模型，支持直接进行对话应用。目前仍需填写申请获取下载链接。同时本次 Meta 官方提供原始版本和 HuggingFace 版本，共计 12 种模型，满足不同用户的各类需求。

多增加 40% 的预训练数据，带来超强性能

据官方介绍，LLaMA-2 在预训练阶段比 LLaMA-1 多使用了 40% 的训练数据，共计使用了 2T 的 token 进行模型预训练。

在具体性能评测中，LLaMA-2 相比前代模型也展现出超强性能，在学科能力、推理能力、知识能力、理解能力等多个能力维度的评测集上均获得了不同程度性能提升。以 LLaMA-2-7B 为例，相比前代模型，LLaMA-2 在大模型常用的学科综合能力评测数据集 MMLU 上实现了 21% 的性能提升，在代码评测集 GSM8K 上获得几乎翻倍的性能提升，在知识能力评测集 TrivialQA 上获得 12% 的性能提升。

700 亿参数模型，推动社区开放进程

相比 LLaMA-1，LLaMA-2 将模型尺寸提升到了 700 亿参数，搭配更海量的训练数据，LLaMA-2(70B) 获得了客观的性能提升，在多个评测集上达到了和 ChatGPT 近似的性能。

论文也提供了 LLaMA-2(70B) 与闭源模型（GPT-3.5，GPT-4，PaLM, PaLM-2）的性能对比，ChatGPT 在 MMLU 上获得了 70.0 的分数，与 LLaMA-2(70B) 的 68.9 的分数相差无几。相信在社区的努力下，开源模型离 ChatGPT 的水平会越来越近。

支持 4K 上下文长度，复杂应用潜力大

根据论文描述，LLaMA-2 在模型架构上继承 LLaMA-1 的整体结构，将上下文长度从2048增加到了4096，同时引入了 Grouped-query Attention(GQA) 技术来提升模型的推理效率。

完整微调路线图，开源对话模型

LLaMA-2-Chat 是本次升级更新的重点，通过引入有监督微调（SFT）和基于人类反馈的强化学习（RLHF），构建了具有超强对话能力的模型。除此之外，LLaMA-2 还引入了 Ghost Attention 技术，来提升模型的多轮对话能力。

在 SFT 阶段，LLaMA-2 基于开源的指令微调数据集，开展了一系列数据质量提升的工作。基于筛选的高质量的 27540 条数据，LLaMA-2 即可解锁优异的对话能力。

在 RLHF 阶段， LLaMA-2 设计一套基于 2 个模型回复对比的方式来收集用户偏好数据，同时也额外收集了一批安全偏好数据集。基于收集的偏好数据，LLaMA-2 训练了一个奖励模型（Reward Model），从有帮助（Helpfulness）和安全（Safety）两个角度了对齐人类的偏好。

通过对基座模型进行两个阶段的微调，LLaMA-2-Chat 不仅保持了基础的模型能力，更在对话场景下更好的响应人类指令，提供有用和安全的内容回复。

安全能力提升，推进大模型健康发展

LLaMA-2 在安全层面开展了全面研究，在预训练、微调和安全评测等多个环节开展了系统性工作，整体提升了模型的安全能力。

在预训练阶段，LLaMA-2 依照相关规定去除了个人隐私相关的数据，同时也对预训练数据中的偏见和毒性开展了系统性的分析研究。在微调阶段，LLaMA-2 引入了三个技术，包括

• 对齐安全准则的微调（Align with Safety Guideliens）
• 面向安全的 RLHF（Safety RLHF）
• 面向安全的上下文蒸馏（Safety Context Distillation）

除此之外，LLaMA-2 还引入了红队测试（Red Teaming），通过模拟安全攻击的方式来进一步提高模型的安全能力。LLaMA-2 同时可以开源了其对于安全能力的分类和标注准则，相信其可以促进学术社区在大模型的安全性提升上开展更多有价值的工作。

经过上述环节的 LLaMA-2 模型，在两个安全能力评估数据集 TruthfulQA 和 ToxiGen 上都取得了优异成绩，有害性评测数据集上 ToxiGen 上更是取得了比 ChatGPT 更优异的性能。