Llama 2：开源 可供研究和商业使用的大模型

前言

Llama 2 是一个包含了从 70 亿到 700 亿参数的预训练和微调生成文本模型的集合。我们的微调后的 LLM（Llama-2-Chat）专为对话场景进行了优化。在我们测试的大多数基准测试中，Llama-2-Chat 模型的性能优于开源对话模型，并且在我们的人工评估中，就实用性和安全性而言，与一些流行的闭源模型（如 ChatGPT 和 PaLM）不相上下。

注：本文主要为科普，需要微调和了解原理的，论文中讲解得很详细，建议看论文。想获取论文原文和中文版的，可以到公众号后台回复“论文”获取。

资源地址

•论文地址：https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/•项目地址：https://github.com/facebookresearch/llama

Llama 2：开源，可供研究和商业使用

最新版本的 Llama 现在可以让个人、创作者、研究人员和各种规模的企业访问，以便他们能够负责地进行实验、创新和扩展他们的想法。此版本包括预训练和微调的 Llama 语言模型的模型权重和起始代码，参数范围从 70 亿到 700 亿。

相比于 Llama 1，Llama 2 的训练数据多了 40%，上下文长度也翻倍，并采用了分组查询注意力机制。具体来说，Llama 2 预训练模型是在 2 万亿的 token 上训练的，精调 Chat 模型是在 100 万人类标记数据上训练的。有关更详细的示例，可参考 llama-recipes[1]。

如何下载（来自官方github）

⚠️ **7/18：我们注意到今天有人遇到了许多下载问题。任何仍然遇到问题的人应该删除所有本地文件，重新克隆存储库，并请求一个新的下载链接[2]。这些步骤都是至关重要的，以防您有本地损坏的文件。当您收到电子邮件时，只需复制链接文本 - 它应该以 https://download.llamameta.net[3] 开头，而不是以 https://l.facebook.com[4] 开头，否则会出现错误。

要下载模型权重和分词器，请访问Meta AI 网站[5]并接受我们的许可协议。

一旦您的请求得到批准，您将收到一封带有签名的电子邮件链接。然后运行 download.sh 脚本，在提示时输入提供的链接以开始下载。请确保只复制链接文本本身，不要使用“复制链接地址”选项，右键单击链接时要注意。如果复制的链接文本以 https://download.llamameta.net[6] 开头，那么复制正确。如果复制的链接文本以 https://l.facebook.com[7] 开头，那么复制方式错误。

先决条件：确保您已安装了 wget 和 md5sum。然后运行脚本：./download.sh。

请注意，链接在 24 小时后和一定数量的下载后将失效。如果出现“403: Forbidden”等错误，您可以重新请求链接。

在 Hugging Face 上访问

我们还提供在Hugging Face[8]上的下载。您必须先使用与 Hugging Face 帐户相同的电子邮件地址从 Meta AI 网站请求下载。在这样做之后，您可以请求访问 Hugging Face 上的任何模型，您的帐户将在 1-2 天内获得访问所有版本的权限。

Llama的Hugging Face主页：[9]

作为 Llama 2 发布的一部分，您将获得以下内容：

•模型代码•模型权重•README（用户指南）•负责任使用指南•许可证•可接受使用政策•模型卡片

技术规格

Llama 2 是在公开可获取的在线数据源上进行预训练的。经过微调的模型 Llama-2-chat 利用了公开可获取的指令数据集和超过 100 万个人工注释。

论文摘要：

在这项工作中，我们开发并发布了 Llama 2，这是一系列预训练和微调的大型语言模型（LLM），参数规模从 70 亿到 700 亿不等。我们的微调 LLM，称为 Llama 2-Chat，针对对话使用案例进行了优化。我们的模型在大多数基准测试中表现优于开源的聊天模型，并且根据我们的人工评估结果，可能是封闭源模型的合适替代品。我们详细描述了我们对 Llama 2-Chat 进行微调和安全改进的方法，以便使社区能够在我们的工作基础上进行拓展，并为 LLM 的负责任开发做出贡献。

论文地址：https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/

模型内部

Llama 2 模型训练使用了 2 兆个标记，并且上下文长度是 Llama 1 的两倍。Llama-2-chat 模型还额外训练了超过 100 万个新的人工注释。

基准测试

Llama 2 在许多外部基准测试中表现优于其他开源语言模型，包括推理、编码、熟练度和知识测试。

安全性和有用性：从人类反馈中进行强化学习(RLHF)

Llama-2-chat 使用从人类反馈中进行强化学习，以确保安全性和有用性。

训练 Llama-2-chat： Llama 2 使用公开可获取的在线数据进行预训练。然后，通过监督微调创建了 Llama-2-chat 的初始版本。接下来，使用从人类反馈中进行强化学习（RLHF）对 Llama-2-chat 进行迭代优化，其中包括拒绝抽样和近端策略优化（PPO）。

许可证

我们的模型和权重适用于研究人员和商业实体，秉承开放原则。我们的使命是通过这个机会赋予个人和行业力量，同时促进发现和道德人工智能进步的环境。具体的许可协议地址为：https://github.com/facebookresearch/llama/blob/main/USE_POLICY.md

负责任使用

像所有 LLMs 一样，Llama 2 是一项潜在风险的新技术。迄今为止进行的测试未能涵盖所有场景。为了帮助开发者应对这些风险，我们创建了 负责任使用指南[10]。更多详细信息可以在研究论文[11]和模型卡片[12]中找到。

声明

本文翻译整理自Llama官文资料，感兴趣的请点赞、收藏。想获取论文原文和中文版的，可以到公众号后台回复“论文”获取。

References

[1] llama-recipes: https://github.com/facebookresearch/llama-recipes/ [2] 请求一个新的下载链接: https://ai.meta.com/resources/models-and-libraries/llama-downloads/ [3] https://download.llamameta.net: https://download.llamameta.net/ [4] https://l.facebook.com: https://l.facebook.com/ [5] Meta AI 网站: https://ai.meta.com/resources/models-and-libraries/llama-downloads/ [6] https://download.llamameta.net: https://download.llamameta.net/ [7] https://l.facebook.com: https://l.facebook.com/ [8] Hugging Face: https://huggingface.co/meta-llama [9] Llama的Hugging Face主页：: https://huggingface.co/meta-llama [10] 负责任使用指南: https://ai.meta.com/llama/responsible-use-guide [11] 研究论文: https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/ [12] 模型卡片: https://github.com/facebookresearch/llama/blob/main/MODEL_CARD.md