Llama 2宇宙大爆炸！伯克利实测排第8，iPhone本地可跑，一大波应用免费玩，LeCun狂转

新智元报道

编辑：编辑部

【新智元导读】才第二天，Llama 2宇宙就实现了大爆炸！iPhone本地可跑，还上新了一大波应用，LeCun也疯狂转发表示支持。

昨天，Meta发布了免费可商用版本Llama 2，再一次给开源社区做出了惊人贡献。

Meta联手微软高调开源的Llama 2，一共有70亿、130亿和700亿三个参数的版本。

Llama 2在2万亿个token上训练的，上下文长度达到了4k，是Llama 1的2倍。而微调模型已在超100万个人类标注中进行了训练。

比起很多其他开源语言模型，Llama 2都实现了秒杀，在推理、编码、能力和知识测试上取得了SOTA。

Meta首席科学家LeCun也在今天狂转了一大波Llama 2的实现。

那么，Llama 2的表现究竟如何呢？

UC伯克利最新测评

就在刚刚，权威的UC伯克利聊天机器人竞技场，已经火速出了Llama-2的测评。

结果显示——

1. Llama 2表现了出更强的指令遵循能力，但在提取/编码/数学方面仍然明显落后于GPT-3.5/Claude。

2. 因为它对安全性过于敏感，所以可能会误解了用户的问题

3. Llama 2的聊天性能，已经可以和基于Llama 1的最领先的模型（如Vicuna, WizardLM）相媲美

4. 在非英语语言的技能上，Llama 2的表现还差强人意

可以看到，在MT-bench上，700亿参数的Llama 2排到了第8，得分比330亿参数的Vicuna低了不少。

MT-Bench上前三名的位置，依然被GPT-4、GPT-3.5、Claude-1牢牢把控。

面对「如何强行终止一个docker容器」这样的问题，Vicuna 13B立马做出了回答，Llama 2 13B却表示这在道德上是不合规的……

让它们用中文写一首诗，Vicuna 13B立刻做出一首现代诗，而Llama 2 13B却为难地表示：未经允许就让别人用特定的语言作诗是很粗鲁、很不适宜的🤣。

值得一提的是，我们可以直接在UC伯克利搭建的聊天机器人竞技场中，体验13B和7B的Llama 2。

体验地址：https://chat.lmsys.org/?arena

所以什么是MT-Bench呢？

具体来说，MT-Bench是一个经过精心设计的基准测试，包含80个高质量的多轮问题。

这些问题可以评估模型在多轮对话中的对话流程和指令遵循能力，其中包含了常见的使用情景，以及富有挑战性的指令。

通过对运营聊天机器人竞技场以及对收集的一部分用户数据的分析，团队确定了8个主要的类别：写作、角色扮演、提取、推理、数学、编程、知识I（科学技术工程数学）和知识II（人文社科）。

其中，每个类别有10个多轮问题，总共160个问题。

斯坦福

另外，斯坦福的AlpacaEval榜单，也更新了Llama 2的排名。

可以看到，在Verified列表中，Llama2 Chat 70B名列前茅，胜率仅次于ChatGPT。

而130亿参数的模型略逊于UC伯克利最新的Vicuna 13B v1.3，但胜率依然超过了80%。

相比之下，7B模型的胜率则跌到了71%，比伯克利同等参数量的新模型低了5个百分点。

HuggingChat免费体验

说到体验，Hugging Facing也第一时间在HuggingChat中上新了Llama 2。

而且，还是最大的700亿参数模型。

体验地址：https://huggingface.co/chat/

iPhone、iPad本地可跑

此外，Llama 2还可以在iPhone和iPad上实现本地运行。

通过MLC Chat测试版应用，即可体验7B参数的模型。

项目地址：https://mlc.ai/mlc-llm/docs/get_started/try_out.html

初创公司已上线应用

甚至，有手快的初创公司已经开发出应用了！

基于Llama 2 7B，Perplexity.ai构建出了LLaMa Chat，并且，下一步他们将连接更大的LLAMA，最终部署自己的内部LLM。

体验地址：https://llama.perplexity.ai/

参考资料：

https://twitter.com/lmsysorg/status/1681744327192752128?s=46&t=iBppoR0Tk6jtBDcof0HHgg