听不懂梗怎么办？谷歌5400亿参数新模型可以给你解释笑点，还能通过emoji表情猜电影

本文转载自丨大数据文摘

来看一个笑话。

我本该在下午5点开始写论文。 但后来我就开始玩这个很酷的新语言模型，玩了10分钟，10分钟后，突然就晚上9点半了！

这个笑话可能比较简单，大家一听就懂，不就是说“快乐的时光总是觉得很短暂”嘛。

不过，你能想象这里面说的“很酷的新语言模型”，居然也能听懂这个笑话？

不仅能听懂，它甚至还能一本正经地解释这个笑话：

这个笑话是关于当你开心的时候，时间过得多么快。 这个人本来应该在下午5点开始写一篇论文，但他们却开始玩语言模型。 他以为自己只玩了1分钟，但实际上是4.5小时。

这个能力的背后就是谷歌的新模型——Pathways Language Model (PaLM)，一个可以解释笑话的模型，有了它，世界上就再也没有难懂的梗了。

论文地址：https://arxiv.org/pdf/2204.02311v2.pdf

1

PaLM，5400亿参数，让世上没有难懂的梗

当然了，PaLM的设计之初，肯定不会只是想解释解释笑话。

去年，Google Research宣布了对PaLM的设想，PaLM会是一个单一的模型，可以在高效率的情况下推广到各个领域和任务。

在“PaLM: Scaling Language Modeling with Pathways”论文中，Google Research详细介绍了 Pathways Language Model (PaLM) ，这是一个5400亿参数的Transformer模型。

PaLM可以实现在多个TPU v4 Pods中高效地训练单个模型。Google Research在数百个语言理解和生成任务上对PaLM进行了评估，发现它在大多数任务上都达到了最先进的few-shot性能，在许多情况下都有很大的优势。

这其中就包括解释笑话的笑点在哪里。

事实上，解释笑话并非易事，这需要对多步逻辑推理、综合知识和深层语言理解的复杂组合的场景生成明确的解释。

但是凭借着强大的语言处理能力，PaLM还是很好地胜任了这项任务。

甚至是冷笑话()，PaLM也能很好地识别出来。比如别人问你，“斑马和雨伞有什么区别？”你可能会期待什么有意思的回答，但是答案是“一个是和马有关的有条纹的动物，另一个是你用来阻止雨水落到你身上的装置。”

这种无厘头的冷笑话，PaLM给出的解释是：

这个笑话是一个冷笑话（anti-joke）。笑话是答案是显而易见的，笑点在于你期待一个有趣的答案。

2

PaLM甚至能从emoji中猜出电影名字

除了解释笑话，PaLM在许多非常困难的任务上显示出突破能力。

Google Research对29项广泛使用的英语自然语言处理(NLP)任务进行了评估。在29个任务中的28个任务中，PaLM 540B超过了之前的大型模型，如GLaM、 GPT-3、Megatron-Turing NLG、 Gopher、 Chinchilla和LaMDA，这些任务包括问答任务、完形填空和句子完成任务、  Winograd-style任务、上下文阅读理解任务、常识推理任务、 SuperGLUE任务和自然语言推理任务。

除了英语自然语言处理任务外，PaLM 在多语言自然语言处理基准(包括翻译)方面也表现出色，尽管只有22%的学习语料是非英语的。

另外，研究人员还在最近发布的包含150多个新语言建模任务的Beyond the Imitation Game Benchmark(BIG-bench)上探讨了PaLM的能力，并发现PaLM实现了突破性的性能。

PaLM在几个BIG-bench任务上展示了令人印象深刻的自然语言理解能力和生成能力。例如，该模型可以区分因果关系，在适当的背景下理解概念组合，甚至可以从emoji中猜出电影名字。

对于发展PaLM的未来愿景，Google AI Blog在报道中写道，希望实现“一个单一的人工智能系统能够概括成千上万的任务，理解不同类型的数据，并以非凡的效率完成这些工作”。

参考报道：

https://www.vice.com/en/article/k7w9jv/google-is-teaching-ai-to-explain-your-jokes-to-you

https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html

https://arxiv.org/pdf/2204.02311v2.pdf