Meta CEO旨在通过新的Llama 2模型实现负责任和安全的人工智能

计算机视觉研究院专栏

Column of Computer Vision Institute

Meta首席执行官马克·扎克伯格（Mark Zuckerberg）希望打埃隆·马斯克（Elon Musk）的脸，但也希望用公司最新的大语种模型击败AI竞争对手。

Meta周二宣布的Llama 2模型加入了一系列可供用户下载的开源软件AI的行列。

该模型免费提供，模型权重和分词器可供下载。但是用户需要填写下载请求，因为Meta希望让这个AI模型远离作恶者之手。

EnterpriseAI发出了下载请求，但Meta首先评估了该请求。我们在填写表格后两小时内收到了下载链接。但是一旦元维基批准了请求，就可以通Githu或HuggingFace下载。

Llama 2模型就像ChatGPT——它根据互联网上的可用信息进行训练，可以回答问题。Llama 2是一个专门的聊天机器人，一旦编译，就会提供一个提示，用户可以在其中提出问题和编译故事。

但是，通过其Facebook，WhatsApp和新开发的Threads应用程序提供聊天界面的Meta并没有为用户提供直接的界面来试用Llama 2。

“我们不会在聊天界面中提供Llama。研究人员或组织必须在模型之上构建自己的界面，“Meta发言人告诉EnterpriseAI。

Meta可能拒绝为Llama 2提供聊天界面，因为它可能不想处理OpenAI和Microsoft提出的幻觉和偏见聊天机器人的强烈反对，它们必须建立安全机制。Meta因其在试图影响公共对话方面的争议性角色而受到政治反弹。

Meta的目标是制作一个一开始就安全的transformer模型。在PC上自定义实现Llama 2不会被Meta审查。用户可以通过公司的网站向Meta报告有问题的Llama 2输出。

用户还可以通过亚马逊网络服务和Microsoft等云服务使用Llama 2。在亚马逊上，它可以通过SageMaker JumpStart获得，财富500强公司广泛使用SageMaker JumpStart来测试和开发AI模型。

Meta声称新的transformer模型比其前身Llama 1更智能，因为它可以更好地推理并提供更相关的答案。Llama 2的训练数据比Llama 1多40%，这减少了产生幻觉或错误答案的情况。

“我们已经采取措施提高这些模型的安全性，使用特定于安全的数据注释和调整，以及进行红队和采用迭代评估，”Meta研究人员在一篇概述Llama 2的论文中说。

训练Llama 2花了六个月的时间，其中包括预训练和基于人类反馈的输入。令人惊讶的是，训练严重依赖于各种微调级别的监督训练，这是对用于训练GPT-4的无监督训练技术的批评。

“调整版本使用有监督的微调和强化学习与人类反馈保持一致，以符合人类对有用性和安全性的偏好，”Meta研究人员在论文中写道。

模型训练还包括让人联想到决策树步骤的技术，其中不太重要的数据在微调过程中被拒绝。

该模型带有从7亿到70亿个参数的参数。Meta声称Llama 2比开源AI transformer模型（包括Falcon和MosaicML的MPT）具有更好的推理能力，参数数量相当。

但Llama 2不一定比GPT-4等闭源AI transformer模型更好。

“它们似乎也与一些闭源模型相当，至少在我们进行的人类评估中是这样，”研究人员在论文中写道。

该模型在Meta的Research Super Cluster上进行了训练，该集群位于具有80GB内存的Nvidia A100GPU上，在3万个GPU卡时内完成训练。

转载请联系本公众号获得授权

往期推荐

🔗

• Q-YOLO：用于实时目标检测的高效推理
• InternImage：探索具有可变形卷积的大规模视觉基础模型
• 首个全量化Vision Transformer的方法FQ-ViT，AI大模型落地不远了！
• YoloV8与ChatGPT互通，这功能是真的强大！
• GPT理解的CV：基于Yolov5的半监督目标检测
• Consistent-Teacher：半监督目标检测超强SOTA
• Sparse R-CNN：稀疏框架，端到端的目标检测（附源码）
• RestoreDet：低分辨率图像中目标检测
• 中国提出的分割天花板 | 精度相当，速度提升50倍！
• All Things ViTs：在视觉中理解和解释注意力
• 基于LangChain+GLM搭建知识本地库