InstructGPT 作者做了个不生成文字的模型：Jev 只输出决策和概率

过去三年，几乎所有人都在想办法让大模型“说得更好”。Diogo Almeida 反过来问了一句：很多活，真的需要它说话吗？

Almeida 是最早那篇 RLHF 工作的合著者，也是 InstructGPT 论文作者之一，算是给 ChatGPT 打过地基的人。他的新公司 TypeSafe AI 闷头做了两年，拿出来的第一个模型叫 Jev，归在他们自己起名的“System One Models”下面。

思路很简单。Agent 干活时大量步骤其实是选择题：这个请求属于哪类、风险高不高、下一步走哪个动作、任务转给谁。传统做法是让大模型生成一段文字，再写代码去解析。Jev 把这一整段跳过，直接吐出结构化结果，外加每个选项的概率和置信度，一次性并行出完。

好处立竿见影：官方说响应在 70 到 500 毫秒之间，比常见大模型快 20 到 200 倍。

定价也很怪：每百万输入 token 0.042 美元，输出免费。反正它也不怎么输出。

这个东西不会替代聊天模型。更合理的分工是大模型负责想和规划，Jev 负责在软件里高频做判断。现在很多团队拿一个贵模型做路由、分类这种“体力活”，账单一大半花在这上面，而且每次还要防它不按格式回答。

从架构层面就只允许输出合法类型，格式错误这个老大难直接没了。这一点比快多少倍更实用。