Amazon Bedrock + Llama3 生成式AI实践

在 4 月 18 日，Meta在官网上公布了旗下最新大模型Llama 3。目前，Llama 3已经开放了80亿（8B）和700亿（70B）两个小参数版本，上下文窗口为8k，据称，通过使用更高质量的训练数据和指令微调，Llama 3接受了超过 15 万亿个标记数据的训练——比 Llama 2 模型使用的训练数据集大七倍，其中包含四倍于 Llama 2 的代码数据，支持 8K 的上下文长度，是 Llama 2 的两倍。

现在，Meta 的 Llama 3 模型已在 Amazon Bedrock 中正式可用，本篇文章将浅要分析Llama 3模型特点，然后在Amazon Bedrock上使用Meta Llama 3 模型进行实践。

一、关于 Llama 3

在人工智能领域，性能的提升往往意味着技术的巨大进步，Llama 3的推出，正是这种进步的一个生动例证。与它的前身Llama 2相比，Llama 3在性能上实现了“重大飞跃”，这不仅仅是一个简单的比较，而是在多个维度上的全面超越。

Meta公司在Llama 3的训练程序上做出了显著改进，这些改进直接反映在了模型的性能上。错误拒绝率的降低意味着模型更加可靠，对齐度的提升则表明模型对输入数据的理解更加深入，而响应多样性的增加则为模型的应用提供了更广阔的空间。这些改进共同作用，使得Llama 3在推理、代码生成和指令跟踪等关键能力上都有了显著提高，极大地增强了模型的可操控性。

在具体的参数数量上，Llama 3 8B和Llama 3 70B在两个定制的24,000个GPU集群上的训练，不仅展示了Meta在硬件资源上的雄厚实力，也体现了其在软件优化上的深厚功底。这样的训练规模，使得Llama 3成为了当今性能最好的生成人工智能模型之一。

将视角转向人工智能基准测试，Llama 3的表现同样令人瞩目。Llama 3 8B在至少九个基准测试中超越了其他开放模型，如Mistral 7B和Google的Gemma 7B，这一成就充分证明了其卓越的性能；Llama 3 70B虽然未能超越Anthropic性能最高的机型Claude 3 Opus，但在MMLU、HumanEval和GSM-8K等五个基准测试上，它的得分却高于Claude 3系列中第二弱的模型Claude 3 Sonnet。

从两个模型的特点来说：

Llama 3 8B 适合有限的计算能力和资源以及边缘设备。该模型擅长文本摘要、文本分类、情感分析和语言翻译。

Llama 3 70B 适合内容创作、对话式 AI、语言理解、研发和企业应用。该模型擅长文本摘要和准确性、文本分类和细微差别、情感分析和细微推理、语言建模、对话系统、代码生成和遵循指令。

此外，Meta 目前也正在训练参数超过 400B 的其他 Llama 3 模型。这些 400B 模型将具有新的能力，包括多模态、多语言支持和更长的上下文窗口。

二、Amazon Bedrock + Llama3 实践

现在，Meta 的 Llama 3 模型已在 Amazon Bedrock 中正式可用。

Amazon Bedrock 是一项完全托管的服务，通过单个 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon 等领先人工智能公司的高性能基础模型（FM），以及通过安全性、隐私性和负责任的 AI 构建生成式人工智能应用程序所需的一系列广泛功能。

Amazon Bedrock 提供易于使用的开发者体验，借助 Amazon Bedrock 知识库，可以安全地将基础模型连接到数据来源，以便在托管服务中增强检索，从而扩展基础模型已有功能，使其更了解特定领域和组织，越用越好，才是王道。

要使用Llama 3 8B和Llama 3 70B模型，我们首先需要进入Amazon Bedrock控制台，下滑左侧导航栏，找到模型访问权限，点击然后在右侧找到Llama 3 8B和Llama 3 70B，初次使用会显示可请求状态。

如果显示为“可请求”，则翻到上面，点击管理模型访问权限，然后勾选刚刚的Llama3模型，翻到底部提交更改即可。

下面在 Amazon Bedrock 控制台中测试 Meta Llama 3 模型。首先在左侧菜单窗格中选择操场下的文本或聊天。然后选择选择模型，并将类别设置为 Meta，将模型设置为 Llama 8B Instruct 或 Llama 3 70B Instruct。

进入后可以看到Llama 3 为我们提供了多项配置：

其中温度是一个控制生成文本多样性的参数，较高的温度值，如1.0，会产生更随机的输出，而较低的温度值，如0.1，会使模型更倾向于选择最可能的单词。排名前P也称Top-p，是一种考虑模型输出的全局策略，它决定了更好地探索可能的输出序列，从而产生更多样化的输出。具体来说，Top-p 策略首先按照每个词的预测概率对它们进行排序，然后根据这些词的顺序逐个选择下一个输出，直到累计概率达到 p。Top-p 可以更好地探索可能的输出序列，从而产生更多样化的输出。响应长度是生成文本的最大长度限制，超过这个长度的文本将被截断或停止生成。

另外，通过选择查看 API 请求，还可以使用亚马逊云科技命令行界面 (Amazon CLI) 和 Amazon SDK 中的代码示例来访问该模型。您可以使用诸如 meta.llama3-8b-instruct-v1 或 meta.llama3-70b-instruct-v1 这样的模型 ID。这是一个 Amazon CLI 命令样本。

并且，可以使用 Amazon Bedrock + Amazon SDK 用各种编程语言构建您的应用程序。

以下是部分效果：

我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！