Strata、Ollama、LM Studio：8GB 显存开 128K 上下文，标题没提的是那 64GB 内存

2.7K 0

“8GB 显存跑 128K 上下文”，Strata 0.2.10 这句宣传本身没错，官方测的是能启动，也能维持 131072 token 的上下文。可同一份更新说明里还写着：内存 32GB 起步，48GB 合适，64GB 才从容。

标题没提的那 64GB，才是这个参数的真实价格。

本地跑模型的人眼下基本在三个工具里选：Strata、Ollama、LM Studio。它们经常被拿来比 token/s，但三者对“上下文”这件事的处理方式差得很远，比速度更能决定你的电脑会不会卡死。

同样写着 128K，账单分别记在哪

上下文占的主要是 KV 缓存，它随长度线性增长，和模型总参数量不是一回事。Ollama 这边，有人把一个 14B 模型的 num_ctx 直接拉到 128K，内存占用会跳到约 28GB。模型“支持”这么长，不代表你的硬件付得起。

短一点也有代价。RTX 3060 12GB 上跑 Qwen3 8B，从 4K 上下文开到 16K 上下文，显存从约 6.0GB 涨到 7.5GB，速度从 55.2 掉到 42.0 token/s，少了约 24%。14B 模型在 16K 上下文下只剩 22.7 token/s。这张卡首发价 329 美元。

Strata 的做法是把缓存拆层。显存不够时缩小驻留在 GPU 的 KV 窗口，其余放到内存，必要时落到硬盘。专家权重也分在显存、内存和约 28.8GB 的 SSD 查找表三处。

这就是它能在 8GB 上启动的原因。显存的账转给了内存和硬盘，总量没变少，反而更大。

工具	上下文怎么设	放不下时	主要短板
Strata 0.2.10	默认较长，可调到 256K	缓存分层到内存、硬盘	吃内存和磁盘，默认一次一个请求
Ollama	num_ctx，按调用、Modelfile 或环境变量	静默溢出到内存，不报错	约 5 分钟后卸载模型，重载慢
LM Studio	滑块，或 lms load 的 –context-length	加载时手动调整 GPU 分配	图形界面更占内存，Intel Mac 只能用 CPU

63 token/s 是谁跑出来的

官方数字有两组，很容易只记住好看的那组。8GB 限制下开 DFlash2，63 至 73 token/s。换成真正只有 8GB 的 Intel Arc A750，12.7 至 14.8 token/s。

差了约 5 倍。

前一组读起来更像给大显卡设了显存上限，后一组才接近普通 8GB 用户会遇到的情况。第三方的说法也对得上：有测评记录的 8GB 显卡约 15 tok/s，12GB 的 RTX 5070 是 53 tok/s。

再往高端看，一位开发者用首发价 1999 美元的 RTX 5090 加 96GB 内存跑 128K 上下文，基准 159 tok/s。短会话里改成 256K 上下文，平均从约 190 tok/s 降到约 175 tok/s，只慢约 10%，因为专家缓存命中率还能维持在 90% 到 97%，KV 读取约 97% 留在显卡上。这篇评测的记录却不算轻松：服务运行时内存用到 88/92GB，约 48GB 进了 swap，显存只剩不到 800MB，应用启动器都打不开，要加 –vram-elastic 还一部分显存给桌面。他的结论是“几乎够用”，并抱怨 128K 在真实编程会话里还是很快用完，智能体频繁压缩、丢细节。

128K 对编程智能体并不宽裕。

Ollama 最坑的地方是它不吭声

模型装不进显存时，Ollama 会悄悄溢出到内存，速度骤降，界面上没有任何报错。“为什么这么慢”几乎是它社区里最常见的问题，答案往往要敲 ollama ps 才看得到，比如显示 60% CPU、40% GPU。

另一个小陷阱是模型默认约 5 分钟后卸载，隔一会儿再问又要等加载，得设 OLLAMA_KEEP_ALIVE。

它的好处也实在。装上就能当后台服务用，API 省事，在 RTX 3060 的同模型测试里和 llama.cpp 跑出了一样的 64.5 token/s，封装几乎没拖慢。今年 3 月还加了 Apple Silicon 的 MLX 引擎。要留心的是云端功能：开启后提示词会经过 Ollama 服务器，Pro 每月 20 美元、Max 100 美元，冲着隐私才跑本地的人别顺手打开。

LM Studio 赢在你看得见

加载前就能拖滑块改上下文、看 GPU 分配，溢出这种事不容易稀里糊涂发生。家用和商用都免费，1 月的 0.4.0 版又加了无界面服务 llmster，补上了“只能开着窗口用”的老毛病。

速度上没什么好吵。有的对比测到两者差 2% 到 3%，有的博客说 LM Studio 比原生 llama.cpp 多 0.3% 开销、Ollama 多 10%，另一份评测又找不出差异，口径不同，这点差距都不够换工具的理由。

短板在边角：图形界面更占内存，Intel Mac 只能 CPU 推理，Windows 上的 AMD 走 Vulkan。iPhone 版 Locally 也不是在手机上跑，而是连回家里的电脑。

Strata 贵在哪

和另外两家不同，它其实是围着大型 MoE 模型专门做的引擎。Qwen3.8-Flash-Next 约 125B 参数，IQ3_S 量化连查找表约 84GB，再加约 7GB 的投机解码头，这种模型放到 RTX 3060 上用 Ollama，连 30B-A3B 都要超出显存 6.6GB。它的价值在于让家用机摸到这个量级，不在于跑小模型更快。

代价列出来不短：

首次启动要把 35 至 55GB 载入内存，电脑可能僵住 1 到 3 分钟。磁盘起步约 80GB，大量化超过 150GB。同一提示词多跑几次措辞可能不同，因为驻留显存的专家在变。macOS、Intel Arc、Strix Halo 仍标实验性，要从源码构建。

多卡和工具调用这两块进步很快：0.2.8 里两块 Intel Arc Pro B65 解码提速 17% 到 23%，默认开启的工具调用恢复把成功率从 92.9% 提到 98.3%。不过提速都挑配置，单卡、A 系列或三卡以上都吃不到那 17%。

成熟度是另一回事。项目主要靠 Niko Veit 一个人开发，0.2.7 给 12GB 以下显卡的提速，就因为长会话里出现重复文本被撤了回去，要用得手动打开。这版默认的 DFlash2 把解码头显存从约 5.2GB 压到约 625MiB，确实漂亮，官方也说只优先用于单请求，多并发仍是旧方案 MTP 更强。

新增的 ISTA-DAS Coder 由 DeepSeek-V4.1-Flash 裁剪而来，第三方测试还很少，暂时只能听官方介绍。