OpenAI 后台 8 小时档、Batch API、Claude 批处理、Gemini Batch:便宜四成到五成的四个档位,没有一家把时限写成保证

AI资讯8分钟前发布 Alderman
2.7K 0

「大多数批次不到一小时就能跑完。」讲 Claude 批处理的教程几乎都会引这句话,它也确实出自 Anthropic 的 Message Batches 文档。问题是同一页往下几行还写着另外两句:处理速度「可能因当前需求而放慢」,放慢的时候「可能会看到更多请求过期」。一小时是常见情况的描述,24 小时才是写进规则的那条线,过了线没处理完的请求直接作废。

拿这个标准去翻另外几家,结论差不多。

OpenAI 11 月 17 日给 Responses API 的后台模式加了 2 小时和 8 小时两个完成时限,分别比标准价低 30% 和 40%。加上原有的 Batch API、Claude 的 Message Batches 和 Gemini 的 Batch,现在市面上「愿意等就便宜」的主流档位有四个。四份文档里,时限这一栏的用词分别是 target、completes within、most、target。没有 guarantee。

过期之后各家留给你什么

既然都不保证,差别就在超时以后。

OpenAI 的 Batch 只有 24h 一种窗口,文档原话是「只能设为 24h」。超时的批次状态变成 expired,没跑完的请求进错误文件,标记为 batch_expired;已经跑完的照常计费,结果可以取,输出文件默认保留 30 天。

Claude 这边,过期的请求不收钱,跑完的结果能下载 29 天。

Gemini 的写法最硬。目标是 24 小时,任务运行或排队超过 48 小时就过期,而且过期的任务没有结果可取。前两家至少把做完的那部分还给你,这一家可能是空手。

这类事真的会发生。今年 9 月 3 日到 5 日,OpenAI 开发者论坛上有人报告那三天提交的批次几乎全部过期,官方客服核实了三个样本,回复是它们「在完成部分请求后于 9 月 5 日过期」。更早的 3 月,有开发者发现 gemini-3.1-pro-preview 的批处理任务跑了 35 个小时以上,然后悄无声息地过期,没有报错,同期的老模型几分钟就跑完。

新出的 8 小时档呢?文档说 API 接受请求之后「以所选窗口内完成为目标」,接受之后遇到容量类错误会自动重试。超过 8 小时怎么计费、结果怎么处理,没写。

所以排期的时候要留余量。

一个明早 9 点要用的结果,凌晨 1 点整提交 8h 档,等于没有任何缓冲。后台模式还有一层:如果模型中途要调工具,你的程序得拿到这次响应、跑完工具、再发一个后续请求,时限只管单次响应,不管整件事什么时候做完。

8 小时档的三个开关

后台模式的折扣不是打开 background 就有,要三个条件同时成立。

第一,background_options.completion_window 必须显式写成 2h 或 8h。不写的话默认值是 soonest,请求照样异步执行,照样返回一个响应 ID 让你轮询,账单却是原价。这个坑很隐蔽,因为从调用方式上完全看不出区别。

第二,service_tier 要设成 default。设成 auto 的时候,只有 API 恰好选中了 Standard 处理才算数。

第三,不能开流式。

折扣到手之后还有三条附带规则,每一条都可能改变你的架构。

限流池是共用的。2h 和 8h 的请求不走常规的每分钟额度,而是和 Batch API 的任务共用同一个排队 token 上限,输入 token 在提交那一刻就计入。已经在跑大批量 Batch 的团队,两边会互相挤。

缓存是隔开的。文档写明,窗口之外的 Standard 请求不能复用 2h 或 8h 请求建立的提示词缓存,提示词一字不差也不行。白天的在线流量和夜里的后台流量如果共用一段很长的系统提示词,你会为它建两份缓存。

数据会落盘。后台模式会临时存储响应数据,store 设为 false 没用,账户开了零数据保留也没用。官方补了一句静态加密,但「零保留」这个承诺在这条路径上确实打了折。

目前只有四个模型能用:GPT-6.2 Astra、GPT-6.2 Sol、GPT-6.1 Terra、GPT-6 Luna,状态是公测。

四档并排

OpenAI 后台 2h / 8h OpenAI Batch Claude Message Batches Gemini Batch
折扣 30% / 40% 50% 50% 50%
时限 2 或 8 小时,目标值 24 小时 24 小时,多数 1 小时内 目标 24 小时,48 小时过期
超时后 文档未说明 已完成的计费并可取回 过期部分不计费 可能无结果
中途调工具 支持,后续请求同享折扣 能返回工具调用,后续轮次自己编排 支持工具,后续轮次自己编排 后续轮次自己编排
单批上限 按请求提交 5 万条 / 200 MB 10 万条 / 256 MB 文件 2 GB,内联 20 MB
与在线流量的限流 与 Batch 共池 与后台共池 不影响 Messages API Flex 档计入通用限流
零数据保留 仍会临时存储 输出文件留 30 天 不符合 ZDR,留 29 天 以官方条款为准

价格换成具体数字。GPT-6.2 Sol 标准价是每百万 token 输入 2 美元、输出 10 美元,2h 档 1.40 美元和 7 美元,8h 档 1.20 美元和 6 美元,Batch 是 1 美元和 5 美元。旗舰 Astra 从 8 美元和 40 美元起算,8h 档 4.80 美元和 24 美元,Batch 4 美元和 20 美元。OpenAI 没有单独公布后台档的美元价,这些都是拿公布的百分比乘出来的。

Claude Sonnet 5.5 的标价和 Sol 一模一样,2 美元和 10 美元,批处理 1 美元和 5 美元。Gemini 4 Hydrogen 标准价 1.50 美元和 7.50 美元,Batch 0.75 美元和 3.75 美元,这三个模型里单价最低。

夹在中间的那类任务

只看单价,8 小时档比 Batch 贵两成,很容易被归成鸡肋。这个结论只在一种情况下成立:你的请求彼此独立,能一次性打包提交。

一个会调工具的智能体任务不是这样的。它读完第一份文件才知道要不要读第二份,每一步的输入取决于上一步的输出。放进 Batch 的话,模型返回一个工具调用,这一轮就结束了,你得等批次完成、取结果、执行工具、再组一个新批次提交。最坏情况每一轮等 24 小时,五轮的任务跑一个星期。

后台模式里,后续请求只要沿用同一个模型、服务档位、完成窗口、continuation_id 和 API 项目,就继续享受折扣,并且有资格拿到更高的排队优先级。在 OpenAI 的体系里,这是多步智能体任务眼下唯一能拿到的折扣。它的对手不是 Batch,是原价。

反过来看 Anthropic,短板就很清楚了。

它只有 Batch 这一档。OpenAI 和谷歌都另有一个叫 Flex 的同步档位,价格等同 Batch,请求照常同步发出,忙的时候可能被拒,谷歌的说法是单次请求通常 1 到 15 分钟返回。Anthropic 没有对应的东西。它的服务档位页面还写着,Priority Tier 的容量承诺已停止销售,Opus 5.5、Sonnet 5.5 和 Haiku 5.5 都不在支持之列;Opus 5.5 的 Fast mode 卖的是输出速度,8 美元和 40 美元,是标准价的两倍,而且不能和 Batch 一起用。顺带一提,OpenAI 那边的 Priority 在今年 7 月 30 日改名叫 Fast mode,两家现在用同一个词指同一类加价服务。

于是,一个要求「上传后 30 分钟内出结果」的文档流水线,在 OpenAI 和谷歌那里改一个参数就能半价,在 Claude 上只有两个选择:付全价,或者改写成异步任务并接受最长 24 小时的尾巴。

Claude 的批处理也有一处比别家干净:它的用量不占 Messages API 的限流额度。夜里跑多大的批都不会影响白天的线上服务。OpenAI 的后台档和 Batch 互相挤,Gemini 的 Flex 计入通用限流,都没做到这一点。

Gemini 自己的问题是成熟度。Flex 和 Priority 都还标着预览;Flex 被定义为「尽力而为、可丢弃」,高峰期返回 503 或 429,服务端不会自动回落到标准档。

缓存叠上去以后

批处理折扣和缓存折扣在 OpenAI 和 Anthropic 都是相乘的。Sol 的缓存输入标准价 0.20 美元,Batch 下 0.10 美元。Sonnet 5.5 的缓存命中价是基础输入价的 0.05 倍,标准 0.10 美元,批处理里 0.05 美元。

纸面上 Claude 更便宜。

但 Anthropic 在文档里加了一个限定:批处理中的缓存命中是「尽力而为」,用户实际看到的命中率在 30% 到 98% 之间。一个说得通的解释是批次里的请求并发处理,前一条还没把缓存写好,后一条已经开始跑了。官方的建议是批处理改用 1 小时缓存,默认的 5 分钟那档可能撑不到请求被处理。

有一份第三方测算拿一个月 10 亿输入 token(其中 8 亿是共享前缀)、1 亿输出 token 的评测任务算过:Sol 批处理不带缓存 1500 美元,前缀全部命中 780 美元;Sonnet 5.5 同样从 1500 美元起,命中率 98% 时约 755 美元,掉到 30% 就是约 1270 美元;Hydrogen 是 1125 美元和 555 美元。Claude 的两个数之间差了 500 多美元,落在哪一头,要跑完第一个真实批次、看 cache_read_input_tokens 才知道。

8 小时档在缓存上留了个空白。文档没有列出窗口内缓存输入和缓存写入的单独价格,也没说 40% 的折扣是否同样作用于缓存 token。提示词前缀很长的任务,上量之前先小规模跑一次对账。

还有一条容易漏:单次请求输入超过 27.2 万 token,这几个模型的输入和缓存按两倍计费、输出按 1.5 倍,而且是整个请求一起翻。输入先翻倍、再打六折,算下来比短上下文的原价还贵两成。

一份夜间合同审查的账

设一个具体任务:每晚审 5000 份合同,每份 2 万输入 token、2000 输出 token,不用缓存,第二天上班前要结果。一晚合计 1 亿输入、1000 万输出。

用 Sol:标准价 300 美元一晚,2h 档 210 美元,8h 档 180 美元,Batch 150 美元。按 30 天算,分别是 9000、6300、5400 和 4500 美元。

用 Sonnet 5.5 走批处理,同样是 150 美元一晚。用 Hydrogen 走 Batch,112.50 美元一晚,一个月 3375 美元。

如果这些合同互不相关,下班时一次提交,8h 档每月比 Batch 多花 900 美元,换来的只是不用准备任务文件。不划算。

如果审查过程中模型要去调条款库、查关联合同,情况就变了。Batch 的多轮往返赶不上第二天早上,可比的对象变成标准价,8h 档每月省下 3600 美元。

数据不能留存的合同,三家的批处理和 OpenAI 的后台档都得先过合规,这一步比价格优先。

另外提醒做年度预算的人:Gemini 4 Carbon 的所有价格 12 月 1 日翻倍,Gemini 3.8 Flash 是 2027 年 1 月 1 日翻倍,批处理价跟着翻。拿 11 月的账单去推明年,会差出一倍。

四个档位便宜的幅度都写得清清楚楚,到期没跑完怎么办,写清楚的只有三家。

相关对比:Gemini 4 Neon 和 Claude Opus 5.5:编程智能体打平,每个任务 6.86 美元对 12.61 美元|GPT-6.2 Astra 和 Claude Fable 5.2:标价都是 8 美元和 40 美元,每道题的账单差了 6.6 倍|Gemini 4 Hydrogen 和 DeepSeek V4.1 Flash 1017:差五倍还是五十倍,要看有没有命中缓存

© 版权声明

相关文章

OpenAI 后台 8 小时档、Batch API、Claude 批处理、Gemini Batch:便宜四成到五成的四个档位,没有一家把时限写成保证 暂无评论

none
暂无评论...