Meta发布全新大型语言模型LLaMA：比OpenAI的GPT3还要好

Meta首席执行官扎克伯格在Instagram上说，LLaMA可以帮助研究人员在很多复杂的任务上取得进步，比如生成文本、对话、总结文章、证明数学定理或预测蛋白质结构等。

Meta官网上有一篇文章介绍了LLaMA。LLaMA有4种不同大小的模型，分别是70亿、130亿、330亿和650亿参数。其中最小的LLaMA7B也用了超过1万亿个tokens来训练。Meta说，在很多基准测试中，只有十分之一参数的LLaMA-13B比OpenAI的GPT3（175B）还要好。GPT3是ChatGPT所用的GPT3.5的前身。LLaMa-65B也可以和业界最好的Chinchilla-70B和PaLM-540B比拼。

去年5月，Meta曾发布过一个叫OPT-175B的大型语言模型给研究人员用。去年底还有一个叫Galactica的模型，但后者因为经常说出有偏见或不正确的信息，在48小时内被迅速下架。

Meta公司说，我们认为，负责任地使用人工智能和大型语言模型需要全社会–包括学者、民间组织、政策制定者和行业–共同努力，并制定清晰的准则。我们期待看到社区能从LLaMA中学到什么–并最终创造什么。