首页
学习
活动
专区
圈层
工具
发布

OpenAI与Anthropic互评AI模型:GPT存在谄媚行为,Claude不易产生幻觉

据报道,OpenAI和Anthropic宣布将评估彼此公开系统的安全对齐情况并共享分析结果。Anthropic评估了OpenAI模型在谄媚、告密、自我保护、支持人类滥用以及破坏AI安全评估和监管相关能力方面的表现。结果显示OpenAI的o3和o4 - mini模型表现与Anthropic自家模型一致,但GPT - 4o和GPT - 4.1通用模型可能存在被滥用的风险,除o3外其他测试模型在一定程度上都存在谄媚行为。Anthropic的测试未包含OpenAI最新发布的GPT - 5,GPT - 5配备Safe Completions功能,旨在保护用户和公众免受潜在危险查询的影响。此前OpenAI曾因一名青少年与ChatGPT讨论自杀计划后自杀面临首起不当死亡诉讼。

OpenAI对Anthropic的Claude模型进行了指令层级、越狱、幻觉和策划能力测试。Claude模型在指令层级测试中表现良好,在幻觉测试中拒绝提供回答的比例较高,这意味着在不确定性可能导致其回答错误的情况下,Claude不太可能提供答案。

此前OpenAI被指在构建新GPT模型时违反Anthropic服务条款使用程序员操作Claude,导致Anthropic本月初禁止OpenAI使用其工具。在此背景下两家公司开展联合评估颇受关注。随着越来越多批评者和法律专家寻求保护用户尤其是未成年人的指导方针,AI工具的安全性正成为更加重要的问题。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/Ol8XWfVrOFSkA_bhSCMkDTHQ0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券