Gemma 4 12B、Qwen3.8-27B、Qwen3.6-35B-A3B：都说16GB能跑，4K提示词让一台M4首字等了28秒

2.6K 0

「16GB 就能本地跑」，谷歌在 Gemma 4 12B 的发布博客里把这句话写成了两个版本：一处是 16GB 显存或统一内存，另一处变成了 16GB RAM。差一个词，指的是两类完全不同的电脑。

社区的 oMLX 跑分库里，正好有人拿一台 16GB 统一内存的 M4 Mac 测了 Gemma 4 12B。1K 提示词时，生成速度 14.7 token/秒，峰值占用 8.4GB，等第一个字要 7 秒；提示词加到 4K，峰值内存只涨到 9.4GB，生成速度却掉到 6.9 token/秒，首字等了 28.6 秒。

内存没爆，是速度先塌了。

官方说的「能跑」没撒谎，只是没告诉你，贴一份几页长的材料进去，你得盯着空白窗口半分钟。同一句「16GB 能跑」，换到眼下本地圈子里最常被拿来跟它比的两个 Qwen 模型身上，又是另外两种坑：Qwen3.8-27B 是默认版本装不下，Qwen3.6-35B-A3B 是装得下，但官方模型卡叫你别把上下文调小。

三个模型，三种往 16GB 里塞的办法

Gemma 4 12B 是 6 月 3 日发的，补的是 4 月那一批的空档。4 月的 Gemma 4 一口气放了 E2B、E4B、26B A4B、31B 四款，并且第一次把 Gemma 换成 Apache 2.0 许可证，之前一直是谷歌自己那套限制改发的条款。12B 的模型卡写得很细：11.95B 参数，256K 上下文，能吃文字、图片和音频。它的结构是这次最特别的地方，没有独立的视觉编码器和音频编码器，图片切块和音频波形各自经过线性层，直接投进语言模型主干。

体积是它最大的底气。Ollama 上 gemma4:12b 默认的 Q4_K_M 是 8.0GB，QAT 版 7.2GB，Q8_0 也只有 13GB。同系列 26B A4B 的 Q4_K_M 是 18GB，所以「内存占用不到 26B 一半」这句宣传，在 Q4 这一档是对得上的。

Qwen3.8-27B 是 8 月中旬放到 Hugging Face 和魔搭上的，Apache 2.0，27B 稠密结构，64 层，原生 262,144 上下文，用 YaRN 能拉到 100 万。Ollama 上 qwen3.8:27b 默认就是 Q4_K_M，18GB。

18 大于 16。

想塞进 16GB 显卡，就得往下砍量化。按 Unsloth 那套 GGUF 的尺寸，IQ4_XS 是 15.7GB，UD-Q3_K_XL 是 13.4GB，而 17.1GB 的 Q4_K_M 在 16GB 卡上要把几层甩给 CPU，速度跟着掉。阿里官方的说法是「量化后笔记本也能跑」，没说是哪一档量化，也没说笔记本要多大内存。

Qwen3.6-35B-A3B 走的是第三条路。它是 4 月的 MoE 模型，总参数 35B，每个 token 只激活约 3B，256 个专家里每次路由 8 个再加 1 个共享专家。Ollama 上的 Q4_K_M 有 24GB，比 Qwen3.8-27B 还大，可它的专家层可以用 llama.cpp 的 –n-cpu-moe 参数整块放进系统内存，显卡只留注意力层。一份公开实测里，12GB 的 RTX 3060 配 32GB DDR4，把 24 层专家放到内存，显存占用 9.8GB，生成 38.9 token/秒；同一套东西，16GB 的 RTX 5070 Ti 配 32GB 内存全放 CPU，社区报的是 25 到 35 token/秒。代价写在同一份测试里：每生成一个 token，要从内存里搬大约 611.5MB 的专家权重，内存带宽成了天花板。

这条路只对「16GB 显卡 + 32GB 内存」的台式机成立。16GB 统一内存的 Mac 没有第二块内存可甩，只能上 3-bit 的 MLX 版，14 到 16GB，几乎吃光整机。

模型	结构	Ollama Q4_K_M	上下文	GPQA Diamond	LiveCodeBench v6	16GB 下的现实姿势
Gemma 4 12B	稠密 11.95B，无编码器多模态	8.0GB	256K	78.8%	72.0%	整个放进去，短提示词
Qwen3.8-27B	稠密 27B，64 层	18GB	262K（YaRN 到 1M）	89.2%	90.3%	降到 IQ4_XS 或 Q3
Qwen3.6-35B-A3B	MoE 35B，激活约 3B	24GB	262K	86.0%	80.4%	专家甩进 32GB 系统内存

分数差得不小，但有两处要打折

表里两项是三家模型卡都报了的。Gemma 4 12B 在 GPQA Diamond 上落后 Qwen3.8-27B 超过 10 个百分点，LiveCodeBench v6 差了 18 个点。数学那项 Qwen3.8 没报，拿 Qwen3.6-35B-A3B 比：AIME 2026 是 92.7% 对 77.5%。MMLU-Pro 也是 85.2% 对 77.2%。

按纸面，Gemma 12B 是三个里最弱的，这点不用绕。

第一处折扣在 Qwen3.8 那边。它的模型卡里，SWE-bench Pro 61.7%、Terminal Bench 2.1 73.0%、OSWorld-Verified 84.3% 这些分数和 QwenSWEBench、CoWorkBench 这类阿里自家基准排在一起，而 MMLU-Pro、AIME、Tau2 这几项通用分全是空的。想拿它跟 Gemma 在同一个基准上逐项对，能对上的格子并不多。HLE 那一项也一样，Gemma 12B 报的是不联网 5.2%，Qwen3.8 是 30.8%，两边的推理设置写得不一样，六倍的差距我不会照单全收。

第二处折扣在 Gemma 自己身上，方向反过来。谷歌说 12B「接近 26B」，模型卡上看，数学和难推理差得并不近：AIME 2026 是 77.5% 对 88.3%，BigBench Extra Hard 是 53.0% 对 64.8%。真正接近的是另外两项，128K 长度的 MRCR v2 八针检索 43.4% 对 44.1%，以及 Tau2 智能体基准 69.0% 对 68.2%，12B 反而高出一点。

Tau2 赢了亲哥哥，工具调用却在社区里翻车

这是我跟主流看法分歧最大的地方。很多人看到 Tau2 那个 69.0%，就把 Gemma 4 12B 当成 16GB 机器上做智能体的首选。可是公开讨论区里的翻车记录，几乎都集中在工具调用上。

Hugging Face 上有人给 gemma-4-12B-it 一段很长的智能体式系统提示，再挂 10 个工具定义，5 次里有 3 次掉进循环，反复吐同一段思考 token，剩下 2 次在一秒左右干净地给出调用。r/LocalLLaMA 上另一位开发者折腾了几天 QAT 版，最后因为工具调用不稳放弃，他说同一个模型的普通 Q5_K_L 量化反而没这个问题。还有人用 Kotlin 的 Koog 框架经 Ollama 接 12B，工具明明返回了结果，模型却当成什么都没收到，还把同一个工具连调了两次。

社区的主流解释是服务层的锅，Gemma 4 的工具调用不是 OpenAI 那种 JSON 格式，Ollama 对 E2B、E4B、26B 几个尺寸返回空调用是已知问题，有人的做法是换成 vLLM 加 gemma4 专用的解析器，再补上官方对话模板，不然参数会丢。

所以我的判断是：Tau2 的分是真的，但它测的是模板和解析器都对的情况。你用一键安装的 Ollama 加 QAT 量化，拿到的不是那个 69.0%。

每个都有一处让我犹豫的地方

Gemma 4 12B 的音频。发布时它被说成同尺寸里第一个原生吃音频的模型，可模型卡上 CoVoST 和 FLEURS 两项语音分数后面都带了个星号：不含中文。音频单段最长 30 秒，视频最长 60 秒、每秒抽 1 帧。中文用户想拿它做本地语音笔记，眼下没有官方数字能说明它行不行。

Qwen3.8-27B 的思考模式。默认开着，reasoning_effort 默认是最高档 xhigh，preserve_thinking 也默认打开，会把历史轮次的推理内容一起留在上下文里。在 16GB 卡上，这些思考 token 吃的是本来就紧的 KV cache。模型卡自己承认，在多轮智能体任务里把推理档位调低，不一定能缩短总耗时。另外别把它和同期开放权重的 Qwen3.8-Max 混了，那个 2.4T 总参数、95B 激活的大模型用的是阿里自定的许可证，按报道，做模型服务或 AI 办公助手且 12 个月营收超过 5000 万美元的公司要另签授权；27B 这个是干净的 Apache 2.0。

Qwen3.6-35B-A3B 的上下文要求。它的模型卡建议上下文至少保留 128K，说低于这个数会伤到思考能力，而 16GB 机器上最先被砍的就是上下文。再加几个公开的毛病：通过 Ollama 跑，视觉功能用不了，因为 mmproj 那个视觉组件没接上；CUDA 13.2 配低比特量化会输出乱码，要退到 13.1 或升到 13.3；社区也报过它在多轮工具调用里反复失败、不回读上下文，有人说同代的 27B 稠密版稳得多。

手上是哪台机器，就看哪一行

16GB 统一内存的 MacBook：Gemma 4 12B 是三个里唯一能舒服放下、还留得出余量开浏览器的。提示词尽量控制在 1K 到 2K，长文档别整份贴。Qwen3.6 的 3-bit 版能装，但整机会被吃干，质量也低于 Q4。

16GB 显卡加 32GB 以上内存的台式机：日常对话、写东西、看图，我会放 Qwen3.6-35B-A3B 加专家卸载，分数高出一截，速度也能接受；写代码、跑代码智能体，就试 Qwen3.8-27B 的 IQ4_XS，代价是上下文得开小，思考档位要手动压。这台机器上 Gemma 12B 的位置是备胎，或者专门处理英文语音输入。

只有 16GB 系统内存、没有独显的 Windows 轻薄本：三个都别抱太大期望。Gemma 12B 的 Q4 能装下，heise 的报道里也提醒过，没有独显时推理会明显变慢。这类机器上，我更愿意去找 Gemma 4 的 E4B，Ollama 上 Q4 是 6.6GB，上下文 128K。

要做智能体、要稳定调工具的：别用 Ollama 默认的 QAT 版 Gemma，也别指望 MoE 的 Qwen3.6 在长链路里不掉链子。

还有一件事要记住：Gemma 4 整个家族的下载量已经过了 1.5 亿，Qwen 那边对外说累计 30 亿。用的人多，上面这些坑修得也快，下载前翻一眼讨论区最新几页，比看跑分表管用。