鼓吹开源无前途，Meta却开源了Llama 3模型，无需注册在线即可使用

鼓吹开源无前途，Meta却开源了Llama 3模型，无需注册在线即可使用，谁说闭源才是大模型的出路，Meta AI开源了自己的Llama 3大模型，最大参数4000亿

Meta AI一直是人工智能领域开源领域的领导者，一边是OpenAI鼓吹闭源才是人工智能大模型的未来，但是Meta AI却开源了自己的Llama 3大模型，且Llama 3开源模型支持80亿与700亿参数，而未来更大的4000亿参数大模型还在继续训练中。其Llama 3大模型可以直接在Meta AI官网直接使用，且支持无需注册登陆即可使用，简直是开箱即用。

Llama 3是Meta AI开源的第三代Llama系列模型，其新的 8B 和 70B 参数 Llama 3 模型在Llama 2的基础上，实现了更大性能的提升。由于预训练和训练后的技术改进，其Llama 3模型是当今 8B 和 70B 参数规模的最佳模型。Llama 3模型的改进大大降低了错误拒绝率，改善了一致性，并增加了模型响应的多样性。Llama 3模型在推理、代码生成和指令跟踪等功能也得到了极大的改善。

Llama 3 中选择了相对标准的仅解码器 Transformer 架构。与 Llama 2 相比，Llama 3 使用具有 128K 标记词汇表的标记器，可以更有效地对语言进行编码，从而显著提高模型性能。为了提高 Llama 3 模型的推理效率，在 8B 和 70B 大小上采用了分组查询注意力 机制(GQA)。不得不说，transformer依然是大模型的天下。