整理 | Tina
谷歌正在为开发人员提供其最先进的人工智能语言模型之一:PaLM。
据报道,当地时间周三,谷歌将举行“谷歌 I/O”年度开发者大会,AI 将成此次大会的中心议题。谷歌将会对外发布一系列有关生成式 AI 的产品技术成果,包括一个用途更广泛的大型语言模型 (LLM)。
内部文件显示,谷歌将在这次大会上对外发布最新版本、也是技术最先进的大型语言模型“PaLM 2”,这个语言模型支持全球 100 多种语言,之前已经在谷歌内部进行试验,测试代号是“统一语言模型(Unified Language Model)”。据悉,这一语言模型“智商更高”,已经能够编写软件代码,完成数学考试,也能够完成创意作文和分析方面的测试。而就在不久前,谷歌刚宣布要将 Bard 的轻量级 LaMDA 模型升级为更大规模的 PaLM 模型,所以 Bard 也会相应地在处理常识推理和编程问题等任务时能力更强。
在这次大会上,谷歌宣传 AI 的一个主题是“AI 如何帮助人类实现全部潜能”,该公司也将宣布有关的产品更新,其中包括网页搜索以及 AI 对话工具 Bard 的更多生成式功能。
谷歌及其母公司 Alphabet 首席执行官 Sundar Pichai 将向现场的开发者发表演讲,介绍该公司在人工智能领域取得的进步。
谷歌此次更新正值人工智能领域的竞争加剧之际,该公司和微软都在竞相将聊天人工智能技术融入自己的产品中。微软正在利用对 ChatGPT 创建者 OpenAI 的投资来支持其必应搜索引擎,而谷歌也迅速行动起来,试图在不同的团队中整合其 Bard 技术,并推出自己的 LLM。
有文件显示,谷歌还计划分享 Bard 和搜索方面取得的进展,提供所谓的“生成式体验”,包括将 Bard 用于编码、数学和“逻辑”。另一份内部文件显示,谷歌还在内部开发了一个名为“Multi-Bard”的多模态模型版本,它使用了更大的数据集,可以帮助解决复杂的数学和编码问题。此外,谷歌还测试了名为“Big Bard”和“Giant Bard”的版本。
谷歌大模型的代码生成能力
CNBC 报道称,PaLM 2 的发布将是大会的一个重要的组成部分。
谷歌于 2022 年 4 月首次宣布推出 PaLM Language 模型。PaLM 的应用在这一年取得了很大的进展,今年 3 月,该公司推出了一款适用于 PaLM 的 API 以及一系列人工智能企业工具,称这将帮助企业“通过简单的自然语言提示生成文本、图像、代码、视频、音频等”。上个月,谷歌称其名为“Med-PaLM 2”的医学 LLM 可以回答“专家医生级别”的医学检查问题,准确率达 85%。
PaLM 是谷歌基于 Pathways 系统训练的一个 5400 亿参数的大型语言模型。可对比 Bard 的 LaMDA 模型,它使用了 1370 亿个参数进行训练。为了训练这个模型,谷歌动用了 6144 块 TPU,让 Pathways 在两个 Cloud TPU v4 Pods 上训练 PaLM。
去年谷歌还发布了长达 83 页的 Pathways 系统论文,论文作者阵容很强大,还包括了 BERT 之父 Jacob Devlin。作者之一 William Fedus 在 Twitter 上说,这个项目花了 1 年多的时间,跨了多个部门(基础架构、数据、硬件等)。
强大的系统和算力投入带来了惊艳的结果,PaLM 在许多非常困难的任务上显示出了突破性的能力,包括语言理解、生成、推理和代码等相关任务。
PaLM 使用英语和多语言数据集进行训练,包括高质量的 web 文档、书籍、维基百科、对话和 GitHub 代码。研究者还创建了一个“无损(lossless)”词汇表,它保留了所有空格(对于代码来说尤其重要),将词汇表之外的 Unicode 字符拆分成字节,并将数字拆分成单独的 token,每个 token 对应一个数字。
因此,PaLM 在许多非常困难的任务上显示出突破性的能力。
在需要多步骤算术或常识推理的推理任务上,PaLM 能解决 GSM8K 中 58% 的问题,这是一个包含数千个具有挑战性的小学水平数学问题的基准,这个得分接近 60% 的 9 到 12 岁儿童解决问题的水平。
在代码生成方面,在给定自然语言描述(文本到代码)的情况下编写代码,PaLM 能很好地将代码从一种语言翻译成另一种语言,以及修复编译错误(代码到代码)。
相对小模型,大模型可以更好地从其他编程语言和自然语言数据中实现迁移学习,所以具有 540B 参数的 PaLM 在单个模型中显示了横跨编码任务和自然语言任务的强大性能,即使它在预训练数据集中只有 5% 的代码。
另外,谷歌还通过在纯 Python 代码数据集上微调 PaLM ,将模型性能进一步提高,谷歌称之为 PaLM-Coder。
对于给定的“DeepFix 示例代码”修复任务,谷歌研究人员想让大模型修改损坏的 C 程序,直到可以编译成功,PaLM-Coder 540B 展示了令人印象深刻的性能,实现了 82.1% 的编译率。这为修复软件开发过程中出现的更复杂的错误提供了机会。
PaLM-Coder 将编译错误(左图,红色)修复为可编译的代码版本(右图)。
将新的大模型接入 Bard
今年三月,谷歌首席执行官 Sundar Pichai 在接受 Hard Fork 播客节目采访时表示,Bard 将从基于轻量级 LaMDA 模型升级为更大规模的 PaLM 模型。
在此之前,Bard 只可以回答一些基本的编程问题,例如如何打印“Hello World”,但如果用户想要了解更高级的编程概念或技巧,Bard 就会遇到困难。Pichai 说:“我们想让 Bard 能够教你如何编程,而不仅仅是给你一些代码片段。”
为了实现这些,Pichai 表示,Bard 有必要接入更大的语言模型。接入 PaLM 模型后,Bard 在处理常识推理和编程问题等任务时能力会表现得更强,Pichai 将之形容为“把一辆改装过的思域汽车放在了与更强大的汽车的比赛中”。
谷歌每年一度的开发者大会“谷歌 I/O”将于 5 月 10 日上午 10 点至下午 1 点(太平洋时间)举行,我们将继续关注谷歌 Bard 的动态,特别是关于大型模型编程语言能力提升方面的进展。
参考链接:
https://www.cnbc.com/2023/05/08/google-io-to-feature-ai-updates-showing-off-palm-2-llm.html
https://m.thepaper.cn/newsDetail_forward_22559226
https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html
今日荐文
领取专属 10元无门槛券
私享最新 技术干货