首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

GPT-4代码可靠性堪忧:华人研究者开源RobustAPI基准助力编程进步

GPT-4写代码不如ChatGPT,误用率高达62%!加州大学两位华人开源代码可靠性基准RobustAPI

随着人工智能技术的飞速发展,自然语言处理(NLP)领域也取得了显著的进步。尤其是OpenAI的GPT系列模型,以其出色的语言生成能力吸引了广泛关注。然而,近期关于GPT-4模型在写代码方面的表现,却引发了争议。近日,加州大学两位华人研究者发布了一项研究,旨在评估GPT-4模型在写代码方面的可靠性,并提出了一种名为RobustAPI的开源代码可靠性基准。

研究表明,GPT-4模型在写代码方面的表现并不理想。在100个随机生成的代码示例中,GPT-4的误用率高达62%。这意味着,在这些生成的代码中,有超过6成的代码存在错误,无法正常运行。这一结果表明,GPT-4在编写可实际应用的代码方面存在较大问题,可能不适合作为编程辅助工具。

针对这一问题,加州大学两位华人研究者决定开发一种名为RobustAPI的开源代码可靠性基准。RobustAPI旨在评估和比较不同编程模型在写代码方面的可靠性。通过对比不同模型的输出,研究者们希望找到一种更可靠的编程辅助工具,以满足实际开发需求。

RobustAPI的开发过程充分利用了GitHub上的开源项目,收集了大量真实世界的代码样本。这些代码样本涵盖了各种编程语言和领域,如Python、Java、JavaScript、C++等。通过对这些代码样本进行分析,RobustAPI可以评估模型在各种情况下的表现,从而为开发者提供更可靠的编程辅助工具。

目前,RobustAPI已经公开了其评估标准和数据集,供研究者和开发者参考。这一基准的提出,有望为编程领域带来新的突破,提高代码的可靠性和可维护性。

总之,GPT-4在写代码方面的表现并不理想,误用率高达62%。加州大学两位华人研究者针对这一问题,提出了一种名为RobustAPI的开源代码可靠性基准,旨在评估和比较不同编程模型在写代码方面的可靠性。这一基准的提出,有望为编程领域带来新的突破,提高代码的可靠性和可维护性。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OZqCsu5_sP6HWVzMS3sNF4SQ0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券