GPT-4写代码不如ChatGPT,误用率高达62%!加州大学两位华人开源代码可靠性基准RobustAPI
随着人工智能技术的飞速发展,自然语言处理(NLP)领域也取得了显著的进步。尤其是OpenAI的GPT系列模型,以其出色的语言生成能力吸引了广泛关注。然而,近期关于GPT-4模型在写代码方面的表现,却引发了争议。近日,加州大学两位华人研究者发布了一项研究,旨在评估GPT-4模型在写代码方面的可靠性,并提出了一种名为RobustAPI的开源代码可靠性基准。
研究表明,GPT-4模型在写代码方面的表现并不理想。在100个随机生成的代码示例中,GPT-4的误用率高达62%。这意味着,在这些生成的代码中,有超过6成的代码存在错误,无法正常运行。这一结果表明,GPT-4在编写可实际应用的代码方面存在较大问题,可能不适合作为编程辅助工具。
针对这一问题,加州大学两位华人研究者决定开发一种名为RobustAPI的开源代码可靠性基准。RobustAPI旨在评估和比较不同编程模型在写代码方面的可靠性。通过对比不同模型的输出,研究者们希望找到一种更可靠的编程辅助工具,以满足实际开发需求。
RobustAPI的开发过程充分利用了GitHub上的开源项目,收集了大量真实世界的代码样本。这些代码样本涵盖了各种编程语言和领域,如Python、Java、JavaScript、C++等。通过对这些代码样本进行分析,RobustAPI可以评估模型在各种情况下的表现,从而为开发者提供更可靠的编程辅助工具。
目前,RobustAPI已经公开了其评估标准和数据集,供研究者和开发者参考。这一基准的提出,有望为编程领域带来新的突破,提高代码的可靠性和可维护性。
总之,GPT-4在写代码方面的表现并不理想,误用率高达62%。加州大学两位华人研究者针对这一问题,提出了一种名为RobustAPI的开源代码可靠性基准,旨在评估和比较不同编程模型在写代码方面的可靠性。这一基准的提出,有望为编程领域带来新的突破,提高代码的可靠性和可维护性。
领取专属 10元无门槛券
私享最新 技术干货