Claude Sonnet 5.5 和 Opus 5.5:写代码的 bug 率 Opus 垫底,抓 bug 又是 Opus 赢

AI资讯10分钟前发布 Scrimp
1.5K 0

Sonnet 5.5 发布页的跑分表里,有一格数字是倒着长的:FrontierCode 1.1 上,它开到最高档 max 只拿了 46.2%,降一档到 xhigh 反倒是 52.1%。

多想了一档,少了将近六分。

Anthropic 自己在脚注里交代了原因。FrontierCode 会扣“改了题目没让改的地方”的分,而 Sonnet 5.5 在 max 档更爱调用 Claude Code 里的代码审查技能,那个技能会把审查拆给一堆子代理并行去做。Cognition 翻查的两道题里,一道跑到超时,一道顺手多改了几处范围外的代码,分就这么丢了。

这个翻车很小,却正好戳中这次 Sonnet 5.5 和 Opus 5.5 之间最容易被忽略的一件事:两个模型在“写”和“查”这两个动作上,强弱是反过来的。下面的数据会反复回到这一点。

两张榜单,结论打架

代码审查公司 cubic 有个 bugbench,统计各家模型写出来的代码里平均有多少被数出来的 bug,用相对值表示,1.00 是平均线,越低越好。10 月 22 日更新的页面上,Sonnet 5.5 是 1.06,七个模型里排第三;Opus 5.5 是 1.39,排第七,也就是最后一名。

分语言看更有意思。TypeScript 上 Sonnet 0.76、Opus 1.25,Go 上 Sonnet 0.11、Opus 1.46,差距很大;可到了 JavaScript,Sonnet 一下子涨到 3.34,Opus 是 1.41,Sonnet 反过来差了一倍多。Python 两边统计上算打平。

换到 CodeRabbit 那边,故事完全翻面。他们拿 13 个已知 bug 的硬骨头 PR 做审查测试:Sonnet 5.5 开思考抓到 6 个(46.2%),Opus 5.5 标准档抓到 8 个(61.5%),Opus 开 max 抓到 10 个(76.9%)。评论被评审判定“可执行”的比例,Sonnet 是 41.2%,Opus 标准档 66.7%。原文还有一句很扎心:13 个里有 4 个,他们跑过的所有 Sonnet 配置一个都没抓到。

所以同一个 Opus,写代码的 bug 率垫底,查代码的命中率领先。

cubic 没公开 bug 的判定口径和样本量,这组数我只当方向看,不当刻度看。但两边数据指向同一个分工:Sonnet 5.5 落笔干净、产出少,适合写;Opus 5.5 想得多、话也多,留着做审查更划算。CodeRabbit 的单次审查成本 Sonnet 是 0.47 美元,Opus 贵不少,可审查这种活通常一个 PR 只跑一次,贵也贵得有限。

effort 档位里的价格陷阱

标价很好记:Anthropic 给 Opus 5.5 定的是每百万 token 输入 4 美元、输出 20 美元,9 月 22 日上线,比 Opus 5 的 5/25 便宜了两成;Sonnet 5.5 是 9 月 28 日发的,2/10,正好一半。缓存读取 Sonnet 0.10、Opus 0.20,缓存写入 2.50 对 5。

按这个比例,很多人默认“Sonnet 永远便宜一半”。到了高档位,这句话就不成立了。

Artificial Analysis 智能指数 v4.3.2 在 10 月 19 日那次核对里,每道题的花费是这样的:

档位 Sonnet 5.5 分数 / 每题 Opus 5.5 分数 / 每题
medium 41 / 0.48 美元 51 / 1.34 美元
high 47 / 0.88 美元 54 / 1.82 美元
xhigh 52 / 2.01 美元 56 / 3.46 美元
max 56 / 5.46 美元 58 / 5.98 美元

看斜对角:Sonnet 开 max 拿 56 分花 5.46 美元,Opus 开 xhigh 同样 56 分,只要 3.46 美元。要追这个分数段,单价低一半的 Sonnet 反而每题多花 58%。原因是 Sonnet 在 max 档会把 token 烧得非常凶,档位越高,单价优势被吃得越干净。

还有一层时间差。上线头一周的 10 月 2 日,Sonnet 5.5 max 每题是 7.62 美元,到 19 日降到 5.46 美元。榜单数字在变,拿哪天的截图做预算,结论会不一样。

反过来,低档位才是 Sonnet 的主场。有人在一个 11 个文件的 PHP 仓库上跑了四类任务(修舍入 bug、跨 5 个文件改类名、写计价脚本、抽重复校验),每类三遍:Sonnet 5.5 medium 12 次全过,总共 0.88 美元,单次中位 13.4 秒;Opus 5.5 medium 也是 12 次全过,总共 1.91 美元,21.8 秒。把 Sonnet 调到 high,结果一模一样,单次中位成本还是 0.074 美元。差价的大头来自单价,剩下的来自 Sonnet 少写了 43% 的输出。

结论很朴素:Sonnet 5.5 停在 medium 或 high。开到 xhigh 以上,不如直接换 Opus。

跑分表上那格 70.6%

Terminal-Bench 4.0 是 Sonnet 5.5 被转发最多的一项:70.6% 对 Opus 的 66.4%,看上去“小号赢了大号”。

可两边不是同一个档位。Opus 那格脚注写明是 xhigh,也就是它的最高分;Sonnet 那格,发布页说是 medium,系统卡又说是在 Claude Code 里开 max 跑的,两份官方材料对不上。我倾向于把这一项当成“Sonnet 在终端任务上不输 Opus”,别读成“Sonnet 更强”。

其余几项 Opus 小幅领先,差距都在 Anthropic 自己给的约 2.5 分标准误附近:CursorBench 4.0 是 57.8% 对 55.5%,Humanity’s Last Exam(带工具)67.7% 对 64.5%,OSWorld 2.1 是 81.8% 对 80.1%,GDPval-AA 两边只差 2 分 Elo。

真正拉开的是知识类。AA-Omniscience 的事实准确率,Opus 66%、Sonnet 54%。

不过 Opus 在这项上也有短板:它的幻觉率是 59%,比 Sonnet 的 47% 还高。这个指标衡量的是“不会的题里,有多少硬答了”。Opus 知道得更多,不知道的时候也更敢编。拿它查资料、写调研,引用一定要回头核。

从 Sonnet 5 迁过来会断的几处

Sonnet 5.5 不是换个模型名就能跑。几处会直接报错的改动:

关闭思考的写法 type: “disabled” 被拒,最低只能设 between_tools,而且只在 low、medium、high 三档生效。强制指定工具调用(any 或点名某个工具)会报错,得改成 auto 加严格工具定义。旧的 computer_20251124 工具在 Claude API 和 Google Cloud 上不认了,要换新工具集,Bedrock 暂时还留着旧的。

档位本身也被重新标定过,5.5 的 medium 比 Sonnet 5 的 medium 想得少。从旧项目搬过来的 effort 配置最好重测一遍,别直接沿用。

安全上也多了一道闸。Sonnet 5.5 是第一个带网络安全防护的 Sonnet,高风险的安全类请求会明着回落到 Sonnet 5 去答。Artificial Analysis 跑指数时大约 0.1% 的题触发了这个回落,多半出在 Terminal-Bench。做渗透测试、写漏洞利用的团队,要么申请 Anthropic 的网络安全验证计划,要么就得接受这部分请求被降级。

Claude Code 里还有一个容易踩的点:会话中途切模型,缓存会作废,下一轮按全价把整段对话重读一遍;新模型也读不到上一个模型的思考块。想“Sonnet 写、Opus 审”,最好开成两个会话或者用子代理,别在同一个会话里来回 /model。另外 /fast 只对 Opus 开放,Sonnet 没有这个加速档,Opus 的快速模式价格是 8/40,翻了一倍。

我现在这么配

日常改 bug、写脚本、做范围明确的重构,Sonnet 5.5 medium,够用而且快。写 JavaScript 的项目除外,cubic 那组 3.34 太扎眼,至少让它写完再过一遍审查。

PR 审查、跨模块的疑难 bug、需要判断取舍的设计,交给 Opus 5.5,档位开到 high 或 xhigh。

要冲最高分的场合,直接上 Opus xhigh,不要把 Sonnet 拧到 max。

需要查事实的活,两个都得复核,Opus 更要。

以上价格与跑分来自 Anthropic 发布页、Artificial Analysis 10 月 19 日核对数据、cubic bugbench 10 月 22 日页面与 CodeRabbit 的公开测评,第三方测试样本都不大,看趋势比看小数点更有用。

相关对比:

© 版权声明

相关文章

Claude Sonnet 5.5 和 Opus 5.5:写代码的 bug 率 Opus 垫底,抓 bug 又是 Opus 赢 暂无评论

none
暂无评论...