两个前谷歌研究员要做 AI 裁判，专门盯着模型别失控

Sampura Research 已经筹到 650 万美元，另有 420 万美元的承诺投资。他们要做的东西叫裁判（Judge）——一套用来监督 AI、降低模型脱离控制风险的系统。

联合创始人之一 Rishub Jain 出自谷歌。他讲的出发点是对当前行业惯例的一种回应：现在很多公司在用 AI 监管 AI。这么做效率高，而且研究显示，在发现模型漏洞这件事上 AI 的表现可能已经超过人类，随着能力增强这个差距还会扩大。

但 Jain 认为人类仍然需要在里面扮演重要角色。

这个立场其实点到了 AI 安全领域一个绕不开的循环。用模型 A 去审查模型 B，那谁来审查模型 A？如果 A 和 B 出自相似的训练范式、共享相似的盲区，那么 A 恰恰最不可能发现 B 身上的那类问题。纯自动化的监督链条在数学上是不闭合的。

但把人塞回去也有它的难处。人类审查员的速度和模型输出的速度差着好几个数量级，而且随着模型能力超过审查员，看不看得懂本身就成了瓶颈——一个人类专家没法评估一份他读不懂的证明。这个问题在 AI 对齐研究里叫可扩展监督，做了好几年，还没有公认可行的解法。

1070 万美元对一家做基础安全研究的公司来说不算多，大概够养一个小团队跑两三年。这个赛道的现实是：前沿实验室自己的对齐团队预算是它的几百倍，而独立第三方的价值恰恰在于不属于任何一家实验室。能不能在这两者之间站住，取决于有没有人愿意为外部审计这件事付费——目前主要的买家可能是监管方，而不是市场。