核心洞察
简单考场已近饱和,难度考场区分度拉满
同一个 Claude 4.5 Opus:SWE-bench 修 bug 74.4% → 从零实现功能仅 11.0%,换任务类型的惩罚远大于换语言。
6.8×
任务类型难度惩罚
各基准头部成绩
每个基准取头部模型最高成绩
各基准任务规模
四个基准的题目总量对比
双难度阶梯
换语言惩罚 2.4–3.3× · 换任务类型惩罚 6.8×(resolved rate %)
WorkBuddy Code 各模型成绩
CodeBuddy Code (cbc) vs Claude Code (cc),0–100 分
| 批次 | 数据集 | 框架 | Agent | 模型 | 指标标签 | 状态 | 日期 | 创建人 | 报告 | 备注 |
|---|