谷歌全新PaLM-2，效果并未超越GPT-4！

大家好，我是对白。

刚刚在Google I/O 大会上，Google发布PaLM2及超过 25 款由 PaLM 2 提供支持的新产品和功能。这意味着 PaLM 2 将最新的高级人工智能功能直接引入我们的产品和人们——包括全球消费者、开发人员和各种规模的企业。它的能力到底怎么样？让我们详细的看一看。

PaLM简介

今天我们将介绍我们的下一代语言模型 PaLM 2。PaLM 2 是最先进的语言模型，具有改进的多语言、推理和编码功能。

• 多语言：PaLM 2 在多语言文本方面进行了更严格的培训，涵盖 100 多种语言。这大大提高了它理解、生成和翻译各种语言的细微文本（包括习语、诗歌和谜语）的能力，这是一个很难解决的问题。PaLM 2 还通过了“精通”级别的高级语言能力考试。
• 推理：PaLM 2 广泛的数据集包括包含数学表达式的科学论文和网页。因此，它展示了逻辑、常识推理和数学方面的改进能力。
• 编码：PaLM 2 在大量公开可用的源代码数据集上进行了预训练。这意味着它擅长流行的编程语言，如Python和JavaScript，但也可以用Prolog，Fortran和Verilog等语言生成专门的代码。

多功能型号系列

尽管 PaLM 2 功能更强大，但它也比以前的型号更快、更高效——而且它有各种尺寸，这使得它易于针对各种用例进行部署。我们将提供从小到大的四种尺寸的PaLM 2：Gecko, Otter, Bison 和 Unicorn。Gecko非常轻巧，可以在移动设备上工作，并且速度足够快，即使在离线时也可以在本地进行出色的交互式应用程序。这种多功能性意味着 PaLM 2 可以进行微调，以更多方式支持整个类别的产品，从而帮助更多人。

为 25 种 Google 产品和功能提供支持

在今天的 I/O 大会上，我们发布了超过 25 款由 PaLM 2 提供支持的新产品和功能。这意味着 PaLM 2 将最新的高级人工智能功能直接引入我们的产品和人们——包括全球消费者、开发人员和各种规模的企业。以下是一些示例：

• PaLM 2 改进的多语言功能使我们能够从今天开始将 Bard 扩展到新的语言。此外，它还为我们最近宣布的编码更新提供支持。
• 工作区功能可帮助您在 Gmail 和 Google 文档中书写，以及帮助您在 Google 表格中进行整理，这些功能都利用了 PaLM 2 的功能，其速度可以帮助人们更好、更快地完成工作。
• Med-PaLM 2 由我们的健康研究团队培训，具有医学知识，可以回答问题并从各种密集的医学文本中总结见解。它在医疗能力方面取得了最先进的成绩，并且是第一个在美国医疗执照考试风格的问题上以“专家”水平表现的大型语言模型。我们现在正在增加多模态功能，以合成 X 射线和乳房 X 光检查等信息，以有朝一日改善患者的治疗效果。Med-PaLM 2 将在今年夏天晚些时候向一小群云客户开放，以获得反馈，以确定安全、有用的用例。
• Sec-PaLM是PaLM 2的专用版本，经过安全用例培训，是网络安全分析的潜在飞跃。它通过 Google Cloud 提供，它使用 AI 来帮助分析和解释潜在恶意脚本的行为，并在前所未有的时间内更好地检测哪些脚本实际上是对个人和组织的威胁。
• 自 2 月以来，我们一直在与一小群开发人员一起预览 PaLM API。从今天开始，开发人员可以注册使用 PaLM 2 模型，或者客户可以在具有企业级隐私、安全性和治理功能的 Vertex AI 中使用该模型。PaLM <>还为Google Cloud的Duet AI提供支持，这是一个生成AI协作者，旨在帮助用户比以往更快地学习，构建和操作。

推进AI的未来

PaLM 2 向我们展示了各种尺寸和速度的高性能模型的影响，以及多功能 AI 模型为每个人带来真正的好处。然而，正如我们今天致力于发布最有用和最负责任的人工智能工具一样，我们也在努力为 Google 创建迄今为止最好的基础模型。

PaLM2功能

PaLM 2 是我们的下一代大型语言模型，它建立在 Google 在机器学习和负责任 AI 方面的突破性研究传统之上。 它擅长在高级推理任务中，包括代码和数学、分类和问答、翻译和多语言熟练程度以及自然语言生成，比我们以前最先进的法学硕士（包括 PaLM）更好。它可以完成这些任务，因为它的构建方式 - 将计算优化缩放、改进的数据集组合和模型体系结构改进结合在一起。 PaLM 2 以 Google 负责任地构建和部署 AI 的方法为基础。它因其在研究和产品内应用中的潜在危害和偏见、能力和下游用途进行了严格评估。它被用于其他最先进的模型，例如Med-PaLM 2和秒帕尔，并为谷歌的生成式人工智能功能和工具提供支持，如巴德和PaLM API。

PaLM可以做什么

• 推理

PaLM 2可以将复杂的任务分解为更简单的子任务，并且比以前的LLM（如PaLM）更好地理解人类语言的细微差别。例如，PaLM 2 擅长理解谜语和习语，这需要理解单词的歧义和比喻含义，而不是字面意思。

• 多语言翻译

PaLM 2 在并行多语言文本和比其前身 PaLM 更大的不同语言语料库上进行了预训练。这使得 PaLM 2 在多语言任务方面表现出色。

• 编码

PaLM 2 在大量网页、源代码和其他数据集上进行了预训练。这意味着它擅长流行的编程语言，如Python和JavaScript，但也能够用Prolog，Fortran和Verilog等语言生成专门的代码。将其与其语言功能相结合可以帮助团队跨语言协作。

PaLM2是如何构建和评估的

PaLM 2 擅长高级推理、翻译和代码生成等任务：

• 使用计算优化缩放（compute-optimal scaling）：计算优化缩放的基本思想是按比例缩放模型大小和训练数据集大小。这项新技术使 PaLM 2 比 PaLM 更小，但效率更高，整体性能更好，包括更快的推理、更少的服务参数和更低的服务成本。
• 改进的数据集组合（Improved dataset mixture）：以前的LLM，如PaLM，使用预训练数据集，主要是纯英语文本。PaLM 2 通过更加多语言和多样化的预训练组合改进了其语料库，其中包括数百种人类语言和编程语言、数学方程式、科学论文和网页。
• 更新的模型架构和目标（model architecture and objective）：PaLM 2 具有改进的架构，并接受了各种不同的任务培训，所有这些都有助于 PaLM 2 学习语言的不同方面。

PaLM 2 在推理基准任务（如 WinoGrande 和 BigBench-Hard）上取得了最先进的结果。它比我们以前的大型语言模型PaLM更加多语言，在XSum，WikiLingua和XLSum等基准测试上取得了更好的结果。PaLM 2还提高了葡萄牙语和中文等语言的翻译能力，超过了PaLM和Google Translate。PaLM 2 延续了我们负责任的 AI 开发和对安全的承诺。

• 训练前数据：我们删除敏感个人身份信息的形式，过滤重复的文档以减少记忆，并共享对人们在训练前数据中的表示方式的分析。
• 新功能：PaLM 2 展示了改进的多语言毒性（toxicity）分类功能，并内置了对毒性（toxicity）生成的控制。
• 评估：我们评估了 PaLM 2 一系列潜在下游用途的潜在危害和偏见，包括对话、分类、翻译和问答。这包括开发新的评估，以衡量与有毒语言危害和与身份术语相关的社会偏见相关的生成性问答设置和对话设置中的潜在危害。

技术报告解读

与GPT-4对比如何？：

报告里的这句话很有意思： PaLM 2 outperforms PaLM across all datasets and achieves results competitive with GPT-4.

说明还没有超越GPT-4, 后续的数据也证明了这点。

整体：

对比PaLM有很大提升：

Scaling law experiments

我们独立推导出大型模型的缩放定律。我们得出了与Hoffmann等人（2022）类似的结论，即D和N应该以相等的比例增长。

数据

PaLM 2的预训练语料库由多个来源组成：网络文档、图书、代码、数学和对话数据。与训练PaLM所用的语料库相比，PaLM 2的预训练语料库要大得多（Chowdhery等人，2022年）。PaLM 2训练集中包含的非英语数据比以前的大型语言模型更高，这对于多语言任务（例如翻译和多语言问答）非常有益，因为模型接触到了更多语言和文化。这使得模型能够学习每种语言的细微差别。

PaLM 2经过训练，显著提高了模型的上下文长度，超过了PaLM的上下文长度。这种改进对于实现长对话、长距离推理和理解、摘要和其他需要模型考虑大量上下文的任务非常关键。我们的结果表明，可以增加模型的上下文长度而不会损害其在通用基准测试中的表现，这些测试可能不需要更长的上下文。

一些感受

感觉Google和OpenAI的激烈竞争还要继续持续下去。

现在的LLMs训练过程中，数据越来越重要。好数据、大数据才有好的大模型。