一个不生成文本的Transformer:TypeSafe AI的Jev只吐概率

AI资讯8分钟前发布 Ilsa
1K 0

过去两年所有人都在往一个方向卷:让模型把话说得更好。TypeSafe AI的新模型Jev反着来——它根本不说话。

Jev是个Transformer,但不生成文本,输出的是概率。创始人Diogo Almeida两年前从OpenAI出来创业,他参与过RLHF的研发,观点是:围绕人类语言优化出来的模型,并不适合计算机自动化场景。

这个判断的依据很实在。软件里有大量任务本质上是判断题——这条命令安不安全、这个请求该路由到哪个模型、这段输出是不是越狱尝试。你用大语言模型做这些,它得先把答案组织成一句话,再由你解析回一个布尔值。中间那一大截文字生成,既花钱又慢,还给幻觉留了口子。

Jev直接给概率,省掉整段。计费方式也跟着变了:输出token免费,输入按十亿级token计费。

开发者的实测数字比宣传更有说服力。Vercel用Jev替换OpenAI的模型做命令安全分类,速度提升5到18倍,准确率还更高。Bryo AI那边的结果是准确率略低于Gemini,但成本低10到20倍。

注意这两组数的差异:一组是又快又准,一组是略差但便宜一个数量级。说明这类模型的适用面是有边界的,判断任务越窄越结构化,它的优势越明显。

除了分类,官方给的用法还包括监控LLM智能体、检测越狱,以及模型路由——用一个极便宜的模型实时判断这个任务该交给谁,避免所有请求都往最贵的模型上扔。最后这个用法在成本上的杠杆最大。

训练数据方面,TypeSafe说Jev完全用合成数据训练,方法叫”基于校准决策的强化学习”。校准这个词在这儿是关键:概率输出要有用,前提是它给的0.7真的对应七成把握,而不是一个随手打的分。

目前这个方向上还没有直接竞品。但如果低成本决策模型的价值被验证,跟进的人不会少——毕竟每一家在跑智能体的公司,都在为大量本不需要动用大模型的判断题付钱。

© 版权声明

相关文章

一个不生成文本的Transformer:TypeSafe AI的Jev只吐概率 暂无评论

none
暂无评论...