普林斯顿首个「开源」AI程序员登场！爆改GPT-4，93秒修bug
新智元报道
编辑：编辑部
【新智元导读】世界首个AI程序员Devin诞生不足一个月，普林斯顿就推出了全新的「开源版本」——SWE-agent！在GPT-4的加持下，debug只需93秒，准确率几乎不相上下。
AI程序员又出新选手了。
普林斯顿团队祭出了全新的智能体-计算机接口（ACI）——SWE-agent。
简单来说，SWE-agent能够让大语言模型（比如GPT-4）变身为软件工程AI智能体，并在真实的GitHub仓库里自己修bug。
GPT-4编程难的宿疾，这不就解决了！
在SWE-bench测试集上，SWE-agent成功解决了12.29%的问题，平均耗时只有93秒，准确率堪比Devin。
当然，更重要的是：SWE-agent完全开源。
仅仅十几个小时，就在GitHub上斩获了1.6k星，109个Fork。
地址：https://github.com/princeton-nlp/SWE-agent
英伟达高级科学家Jim Fan，也揭示了这一朴实的真理——
要想在SWEBench上获得12.3%的分数，只要更好地手动设计GPT-4的命令行工具就行，不需要什么别的神奇之处。
矩阵操作bug，神速解决
下面就是一个SWE-agent如何解决GitHub问题的示例。
这是sympy项目中的一个问题，是SWE-bench的一个实例。
用户报告了这个问题：矩阵操作的Insert时，产生了一些不符合预期的输出。
SWE-agent是怎么解决这个问题的呢？
首先，它重现了报告的bug，把bug的代码复制到了一个名为「reproduce_bug」的文件中。
运行后，果然出现了和报告中一样的问题——
确认问题之后，它在存储库中搜索了「col_insert」函数，看看是在哪里被定义的。很快SWE-agent就发现了是在common.py里。
打开文件后，它找到了一个名为「_eval_col_insert」的函数，认为这可能是关键所在。
在分析代码后，SWE-agent发现，问题就是出在了矩阵操作的索引上！
于是，它对这个函数进行了修改。
再次运行代码，问题完美解决了！
提交解决方案后，SWE-bench的评估结果显示，该方案已经通过初步测试，因此可以将其标记为已解决。
而整个过程中，SWE-agent解决问题之神速，令人惊叹！
在项目主页中，还有一个可以自主操作的演示，感兴趣的可以自主尝试体验修改bug。
传送门：https://swe-agent.com/demo
「开源Devin」，软件工程护城河不存在了
根据研究者John Yang，也是SWE-bench一作介绍，SWE-agent的工作原理是与专门的终端交互，它可以：
- 打开、滚动和搜索文件
- 编辑特定行，并自动进行语法检查
- 编写和执行测试
简单地将大模型连接到vanilla bash终端，并不能很好地工作。
因此，John等研究小组认为，大模型需要精心设计的智能体——计算机接口，类似于人类喜好的UI设计。
就比如，当LLM搞乱缩进时，编辑器就可以阻止，并给出反馈。
而另外一个典型案例是，在查看文件时，让SWE-agent每次只看100行，要比每次看200-300行，甚至整个文件效果要好得多。
即便是用上了GPT-4，一个优秀的智能体-计算机设计也非常重要。
而关于SWE-agent的技术报告，也将在4月10日上线。
作者Ofir Press表示，自己耗费了好几个小时用DALLE-3设计出了logo。
Devin从面世到现在不足一个月的时间，走向大众化。
有开发者表示，我感觉到了一个新的研究领域：智能体计算机交互（ACI）。它与人机交互（HCI）类似，但更侧重于LLM和LVM。
有人发出感慨，普林斯顿团队打造的「开源Devin」，仅用GPT-4在基准测试中取得了12.29%的准确率，真不敢想象GPT-5诞生之后会怎样？
网友纷纷表示，软件行业再也没有护城河了。
全新的ACI设计
为此，研究人员专门为大语言模型设计了简洁的指令和反馈格式——智能体-计算机接口（ACI），从而让模型能够更轻松地浏览代码仓库、查看、编辑和运行代码文件。
正如良好的提示设计对于充分发挥语言模型的潜力至关重要一样，优秀的ACI设计对于使用AI智能体时能够取得更佳效果也是关键。
在设计代理计算机接口过程中，研究人员发现了几个极其有用的功能，并将它们集成到了SWE-agent中：
1. 增加了一个在发出编辑命令时运行的代码检查器，如果代码语法不正确，则阻止编辑命令执行。
2. 提供了一个特制的文件查看器，并为文件编辑器添加了滚动查看和文件内搜索的功能。结果显示，这个查看器在每次只展示100行代码时效果最佳。
3. 提供了一个特制的全目录字符串搜索命令。研究发现，简洁地列出每个含有匹配项的文件非常重要，因为给模型提供每个匹配项的更多的上下文信息会使其感到困惑。
4. 当某个命令执行后没有任何输出时，会返回一条消息：「你的命令已成功执行，但没有产生任何输出。」
总结来说，通过智能体计算机接口（ACI），SWE-agent让LLM有了与专属的Docker容器互动，实现浏览、搜索、编辑和执行代码的功能，从而极大地拓宽了LLM在软件开发领域的应用范围。
智能体工作流
SWE-agent的工作流程分为两个阶段：
第一阶段被称为「推理」，此时SWE-agent会处理一个GitHub上报告的问题，并生成一个旨在修复该问题的拉取请求（Pull Request）。
第二阶段，则是对生成的拉取请求进行「评估」，以确认它是否真正解决了报告的问题。（目前只适用于SWE-bench基准测试中的问题）
推理
只需使用下面这个脚本，你就可以在任何GitHub问题上运行SWE-agent了！
python run.py --model_name gpt4 \
--data_path https://github.com/pvlib/pvlib-python/issues/1603 --config_file config/default_from_url.yaml接下来，要实现SWE-bench上的推理，需要在SWE-bench Lite上运行SWE-agent并生成补丁：
python run.py --model_name gpt4 \
--per_instance_cost_limit 2.00 \
--config_file ./config/default.yaml如果要运行SWE-bench中的单个问题，则需使用--instance_filter选项：
python run.py --model_name gpt4 \
--instance_filter marshmallow-code__marshmallow-1359评估
评估生成的拉取请求方法如下：
cd evaluation/
./run_eval.sh <predictions_path>需要注意的是，这个步骤仅适用于SWE-bench问题集。
作者介绍
就在下周公布，SWE-agent论文就会公开。
这项研究中两位核心作者是John Yang和Carlos E. Jimenez。
John Yang
John Yang目前是普林斯顿大学的研究助理，导师是Karthik Narasimhan。他曾在加州大学伯克利分校取得了电子工程和计算机学士学位。
他本人对语言基础和交互、LLM的基准测试、软件工程和代码生成感兴趣。
Carlos E. Jimenez
Carlos E. Jimenez是普林斯顿的博士生，导师是Karthik Narasimhan教授。
他研究的是自然语言处理的人工智能和ML，研究兴趣包括代码语言模型，以及面向任务的对话。
Carlos曾在犹他大学获得了计算机科学学士学位，导师是Ellen Riloff。
编码的未来掌握在AI手中？
无可否认，AI正逐渐改变技术行业的运作方式。
不管是Devin、Devika，还是OpenDevin等等，都在软件工程领域有着出色的表现。
在这里，AI不再仅仅是软件工程师的辅助工具，而是开始承担起了工程师的角色，完成过去认为只有人类才能完成的任务。
那么，这是否意味着AI已经不仅仅是一个工具，而是成为了工程过程中的合作伙伴？
更进一步的，AI是否真的能够独立编写安全的代码？未来，编程是否将完全交由AI来掌控？
可以说，这些问题不仅关乎技术的进步，也触及到我们对于AI角色和能力认知的深层次思考。
Devin：AI工程的变革者
今年3月12日，一家叫才成立不到2个月的10人初创公司，就给了全世界亿点点震撼。
他们发布的世界上第一位AI程序员——Devin，不仅掌握了全栈技能，能自主学习不熟悉的技术，端到端地构建和部署应用程序，自己改bug，甚至还能训练和微调自己的AI模型！
在SWE-bench上，Devin的表现远远超过Claude 2、Llama、GPT-4等选手，取得了13.86%的惊人成绩！
可以说，Devin并不仅仅是一款AI工具，而是一个能够独立完成软件工程任务的AI系统。
与以往AI工具不同的是，Devin能够规划并实施复杂的软件项目，这意味着AI现在能够扮演起工程师的角色。
除了编写代码外，Devin还能够处理程序中的错误，部署应用，乃至于训练新的AI模型。
OpenDevin：共创未来的愿景
就在发布当天，Devin的开源翻版——OpenDevin横空出世。
通过鼓励社区成员贡献代码和坚持开放标准的原则，OpenDevin致力于不断改进和增强AI在软件开发中的应用，使软件工程师能够更高效地完成编程任务。
Devika：开源社区的新星
受到Devin在AI软件工程领域开创性成就的激励，另一个开源项目——Devika也诞生了。
Devika是一个富有主动性的AI软件工程师，它能够理解人类的高级指令，把这些指令分解成具体步骤，搜集所需的信息，并据此编写代码来完成既定目标。
具体来说，Devika依托于Claude 3的强大能力，结合了先进的AI规划与编程技术，打造了一个开放给社区并由社区共同推动发展的平台。
Devika不仅仅是一个技术项目，它更是一个向全球开源贡献者发出的邀请，鼓励他们参与到AI创新的旅程中来，共同探索和定义AI技术的未来。
目前还无法代替人类
随着像Devin、Devika和OpenDevin这样的AI软件工程师的兴起，我们已经见证了AI在编程方面的巨大潜力。
这些AI不仅能够规划和执行复杂的工程任务，还能找出并修复漏洞，甚至负责整个项目的开发流程。
然而，当面对复杂的现有代码库并追求编写安全代码时，情况变得更加复杂。
编写安全的代码不仅要求代码无误，更重要的是要理解代码的广泛背景、可能的安全漏洞以及最新的安全研究和实践。
在这里，人类的监督仍然不可或缺。
虽然我们尚未达到AI能够完全取代软件工程师的阶段，但AI无疑正在改变技术领域的面貌和未来的走向。
在AI创新日新月异的今天，Devin、Devika和OpenDevin引发了我们对人工智能与人类之间关系的深思：我们是否应该将AI视为与人类相似的存在？
正如Ethan Mollick在「On the Necessity of Sin」中提出的，我们面临的是与AI合作共创软件工程未来的机遇，还是AI最终将取代人类角色的挑战？
答案可能在于我们对未来的设想，以及我们是否愿意采取一种开源的态度，强调透明度、开放性和协作精神。
参考资料：
https://swe-agent.com/
https://github.com/princeton-nlp/SWE-agent
https://news.opensauced.pizza/open-source-projects-that-are-gaining-steam-that-you-havent-heard-of/