研究：AI 模型仍不擅长生成干净代码，GPT-4 的 API 误用率达 62%

文章来源：企鹅号 - 巴比特

据站长之家 8 月 30 日报道，近期，计算机科学家对几个大型语言模型在 Stack Overflow 的 Java 编码问题上的回答进行了评估，结果发现这些模型的代码质量仍然不尽如人意。AI 模型在回答 Java 编码问题时，仍存在许多 API 误用问题。GPT-3.5 和 GPT-4 的 API 误用率分别达到 49.83% 和 62.09%。Llama2 API 误用率最低，但由于它生成的代码较少，误导性很大。一旦生成更多代码，其误用率也大幅上升。添加相关 API 使用示例能稍微改善结果，但仍有改进空间。代码的可靠性和稳健性仍是难题。