谷歌新的大型语言模型可以理解笑话

大约两年前，OpenAI的1750亿参数的GPT-3语言模型打开了世界的眼界，让人们看到大型语言模型(LLM：Large Language Model)可以在相对较少的数据输入下完成工作，合理地回答问题，翻译文本，甚至生成自己的创意作品。

GPT-3在学习方面的成功引来更多竞争者，如谷歌的LaMDA(1370亿参数)和微软/英伟达的Megatron-TuringNLG(5300亿参数)等模型。现在，谷歌引入了一个新的大型语言模型：通路语言模型(PaLM：Pathways Language Model)，一个具有5400亿参数的Transformer（转换器）训练模型。

早在去年10月份，谷歌研发高级副总裁Jeff Dean就将Pathways介绍为“下一代人工智能架构”，它将使开发人员能够“训练一个模型做成千上万件事”，而不是只做一件事。“我们希望训练一种模式，它不仅能处理许多独立的任务，还能利用并结合其现有技能，更快更有效地学习新任务。通过这种方式，一个模型通过训练一个任务学到的东西，比如，学习航空图像如何预测地形的海拔，同时可以帮助它学习另一个任务，比如，预测洪水将如何流经该地形。”

从那以后，Pathways日渐成熟，而PaLM似乎是这些努力的最新成果之一。谷歌表示，PaLM“首次大规模使用Pathways系统，将训练扩展到迄今为止用于训练的最大的基于TPU（张量处理单元）的系统配置。该训练是在多个云TPU v4 Pods上进行的，扩展到6144个芯片。

谷歌表示，PaLM的训练效率达到了57.8%，这是迄今为止规模如此之大的LLM所达到的最高水平。

PaLM可以被训练使用英语和多语种数据集，在很多很困难的任务体现出超乎想象的突破能力。例如，PaLM可以区分因果关系，在适当的环境下理解概念组合，甚至可以从表情符号猜出电影。PaLM还表现出对非英语语言、编码和算术任务的超高熟练程度。

谷歌甚至展示了PaLM解释一个原创笑话的惊人例子。

鉴于PaLM的能力，谷歌包含了一个关于大型语言模型的伦理考虑的注释，这是AI伦理研究人员非常感兴趣和关注的一个主题。研究人员写道:“虽然分析有助于概述模型的一些潜在风险，但针对特定领域和任务的分析对于真正校准、情境化和减轻可能的危害至关重要。进一步了解这些模型的风险和好处是一个正在进行的研究主题，同时开发可扩展的解决方案，可以防止恶意使用语言模型。“

谷歌对于PaLM的开发使公司更接近了Pathways架构的愿景:使单个AI系统能够跨越数千或数百万个任务，理解不同类型的数据，并以惊人的效率做到这一点。