卡内基梅隆大学等机构的研究人员推出了一个新基准,叫 Singularity-Bench。它考的不是写函数、修 bug,而是 AI 智能体能不能自己动手搭建和强化 AI 研发基础设施。
一共六道题,都和 AI 研发本身有关。
成绩最好的是 Claude Opus 5.5 配 Claude Code:五胜一平,也是唯一一个总分超过人类基线的组合。
最抢眼的一项是推理引擎。在相同硬件上,Claude 自己写出来的推理引擎,把 P90 首 token 延迟从成熟引擎 SGLang 的约 12 秒压到了 0.48 秒。除了首字更快,它还靠调度优化提升了整体吞吐和显卡产出。
这个数字需要冷静地看。
SGLang 是通用引擎,要照顾各种模型和各种负载;一个为特定测试场景从头写的引擎,在指定指标上大幅领先并不奇怪,有经验的人类工程师做专项优化也常能做到。它证明的是智能体能独立走完一个工程优化的闭环,不是说 SGLang 可以扔了。
研究人员自己也划了边界:测试任务的范围是人定的,离真正意义上的递归自我改进还很远。
方向还是值得注意。过去的代码基准考的是「给人写软件」,这次考的是「给 AI 造工具」。模型开始在自己的上游干活了,这正是 Anthropic 上市当天门外那群抗议者最担心的事。
对工程团队,比较实际的启发是:推理服务的调参、调度这类活,可能已经可以先交给编程智能体跑一轮,再由人来审。
© 版权声明
文章版权归作者所有,未经允许请勿转载。






Singularity-Bench 六道 AI 研发题:Claude 自己写的推理引擎把首 token 延迟从 12 秒压到 0.48 秒