开源AI是未来方向，Llama 3.1 405B正式发布

2024年7月23日，Meta正式发布了迄今为止性能最强大的开源大模型——Llama3.1 405B（4050亿参数），同时升级了Llama 3.1 70B和8B模型版本。

扎克伯格以“开源AI是未来方向”为题，发文称Llama 3.1是免费的、开放的，并且可以与最好的闭源系统相媲美。为了最大化性能、安全性、可定制性和效率，人工智能平台必须开放，就像互联网的软件基础设施变得开放一样。并从三个方面阐述了开源AI的益处：

开源AI对开发者是有益的：可以进行微调、蒸馏、提高安全性、效率、隐私保护、灵活性、可移植性、可负担性，并拥有一个庞大的贡献者生态系统。

开源AI对Meta也是有益的：社区越大，进步的速度就越快。

开源AI对整个世界也是有益的：它能够促进在语言、文化、价值体系和在人工智能中的关注焦点等方面的多样性。它还使得更广泛的访问成为可能，减少了控制的集中度。

Llama 3.1 405B作为Meta迄今为止最大的模型，使用超过15万亿个token训练，为此Meta优化了整个训练堆栈，并在超过16000个H100 GPU上训练，使该模型成为第一个在此规模上训练的Llama模型。

Llama 3.1 405B在多项测试中超越GPT-4o和Claude 3.5 Sonnet。

此外，8B和70B小型模型与具有相似数量参数的闭源和开源模型对比也具有竞争力。