SWE-bench 用真实 GitHub Issue 评测编程 Agent

核心变化

普林斯顿团队发布 SWE-bench，把真实 Python 仓库中的 2,294 个已解决 Issue 转成可执行的软件工程评测任务。

01

发生了什么

每个任务提供仓库快照和 Issue 描述，模型需要生成补丁，再由原项目测试验证。首批模型表现很低，说明代码生成能力不能直接等同于软件工程能力。

02

当时的行业背景

HumanEval 等基准主要测试从说明生成独立函数，无法覆盖真实开发中的代码库导航、依赖理解、跨文件修改和回归测试。

03

为什么重要

SWE-bench 给 Coding Agent 提供了共同目标，也改变产品宣传方式。能否修复真实 Issue、通过测试和处理长上下文，开始比生成漂亮代码片段更有说服力。

在它之前

编程模型主要按独立题目和单函数正确率排名。

在它之后

评测开始要求模型在真实仓库中完成可测试的修改。

影响

它改变了什么

对开发者

Agent 框架开始围绕检索、编辑、执行测试和迭代修复设计完整闭环。

对行业

SWE-bench Verified 等版本成为前沿模型和 AI Coding 产品的常用指标。

来源

原始资料

1. 01SWE-bench — Can Language Models Resolve Real-World GitHub Issues?arXiv · paper