百度开源文心 5.5 Flash Base：2800 亿参数，每个 token 只用 140 亿

百度把文心 5.5 Flash Base 放到了 Hugging Face 上，开源。

这是个 Base 模型，不是对话版。意思是没做过对齐和指令微调，拿来直接聊天效果不会好，它是给开发者自己往上训行业模型用的。

规格：MoE 架构，总参数 2800 亿，每个 token 激活 140 亿，激活比例 5% 左右。预训练吃了 33.5 万亿 token，预训练阶段上下文最长 128K，到微调和推理阶段能撑到 100 万 token。

128K 训、1M 用，中间差了近 8 倍。这种外推在长文本里到底稳不稳，Base 模型很难直接测出来，得等社区微调出几个版本才知道。

百度说它在知识、推理、数学、代码、多语言、长上下文几项上拿到同尺寸 SOTA。这个口径要注意，”同尺寸”的比较对象是谁、怎么划尺寸，公告里没细说。

优化思路写得比较明确，围绕效率做文章：注意力机制、专家路由、训练目标都改过，目的是让同样的算力榨出更多能力。

对国内做私有化部署的公司，这类开放权重的中等体量 MoE 其实比又一个闭源旗舰更实用。文心大模型 过去给人的印象是闭源路线走到底，这两年开源节奏明显快了。

能不能用起来，主要看两件事：许可证限制多不多，推理框架的适配跟不跟得上。这两点下周基本就能看出分晓。