同一个模型，只换Agent框架，成本差11.7倍，得分只差1.4个点：我翻完28,849次试验的榜单，发现Claude Code一直在跟100行Python打平

我先把账单摆出来。 在GLM-5.3-Flash上， Pi解决一个任务平均花$0.29，OpenCode花$3.35。差了11.7倍 。换到Claude Code，它的单次试验成本接近mini-SWE-agent的两倍，超过OpenCode的三倍。 但得分呢？在447个SWE-bench Verified任务上， Claude Code和mini-SWE-agent的差距只有两个百分点 ，研究者判定为统计等价。mini-SWE-agent是什么东西？ 大约100行Python，只暴露一个bash工具，没有上下文压缩机制 。 也就是说，你为一个“大厂框架”付的钱，买到的主要是 开场白 ，不是能力。 Harness Leaderboard的数据更直白。28,849次试验、9个harness、3个开放模型， 换一个harness，每100个任务里有29.1个结果会翻转；而同一个harness重跑一遍，也有23.4个任务会翻转 。 你看到的“得分差”，有将近四分之一是噪声。 但 成本差是实打实的，它不随重跑而消失 。 账单差在哪里：开场白吃掉了一半的钱 成本差距最反直觉的地方，在于 它不是发生在“干活”的过程中，而是发生在你还没开始干活之前 。 同一个模型、同一批任务、同一张价格表，初始固定上下文的长度： Claude Code 16,581 token，OpenCode 7,025 token，mini-SWE-agent 829 token 。Claude Code的开场白是mini-SWE-agent的 20倍 。 这16,581个token里装了什么？系统提示词、CLAUDE.md、自动记忆、MCP工具名和描述、skill定义，全部在 你输入第一句话之前 就已经加载进去了。这些东西在“构建一个复杂的Agent工作流”时是资产，但在“跑一个边界清晰的编码任务”时是 纯开销 。你每次调用都在为这16,581个token付钱，无论任务需不需要它们。 Pi的聪明之处不在于它的代码更少，在于它的开场白更克制。 它以49.4%的解决率、$0.29的每任务成本，和mini-swe-agent的51.4%、$0.53 统计打平，但便宜了大约45% 。mini-swe-agent用极简的上下文换来了低开销，Pi在低开销的基础上把解决率追到了统计等价的水平。 “便宜”和“能用”在这两个框架上同时成立。 Codex的21个点：不是框架弱，是“咬合”出了问题 Harness Leaderboard里最值得盯的单个案例，是Codex。 同一个Codex，在DeepSeek-V4.1-Flash上得68.8%，在GLM-5.3-Flash上只有47.4%，相差21个百分点 。它在DeepSeek上能挤进第一梯队，在GLM上直接掉到中下游。 这不是“Codex好不好”的问题，是 “Codex和GLM之间的接口、工具协议、上下文管理方式没有对齐” 。8090 Labs在另一组测试里也观察到了同样的现象： GLM-5.3-Flash在最好的harness里通过率59%，在最差的harness（Codex）里只有24%，差了35个点 ；而GPT-5.6 Sol无论换哪个harness，得分只波动6个点。 有些模型“挑框架”，有些模型“不挑”。GLM是前者，Sol是后者。 对普通开发者的直接含义：你选了一个模型，不代表你选了一个“在所有框架里都一样表现”的模型。 同一个权重，在不同的Agent外壳里，可能是两个完全不同的产品。Harness Leaderboard的结论写得很干脆： “第一名会随模型变化。” GLM上mini-swe-agent以62.1%夺冠，Claude Code 60.7%并列第四；换到DeepSeek，Hermes Agent以71.3%领先，mini-swe-agent 70.7%紧随其后。 没有“最强框架”，只有“和这个模型咬合最好的框架”。 大厂框架不便宜，也不一定更好：一句被数据反复验证的话 山东大学那组研究的总结，可能是整份榜单里最值钱的一句话： “A vendor’s own harness on its own model buys no score advantage.” 厂商自己的harness跑自己的模型，买不到分数优势。 这句话不是修辞。8090 Labs的测试里， 五个harness里有三个来自模型厂商（Codex来自OpenAI、Claude Code来自Anthropic、DeepSeek harness来自DeepSeek），没有一个模型在自己的“主场框架”里拿到最好成绩 。Claude Fable 5.1在Claude Code里通过率41%，在Codex里是61%， 差了20个点 ；它在Claude Cod