SWE-bench
用真实开源仓库 Issue 评估模型解决软件工程问题能力的基准。
先用人话理解
它不是让模型写一道孤立算法题，而是要求模型理解真实仓库、修改代码并通过测试。
为什么重要
SWE-bench 让 Coding Agent 的能力开始有更贴近真实工作的评估方式。
用真实开源仓库 Issue 评估模型解决软件工程问题能力的基准。
它不是让模型写一道孤立算法题，而是要求模型理解真实仓库、修改代码并通过测试。
SWE-bench 让 Coding Agent 的能力开始有更贴近真实工作的评估方式。