开源本地大模型工具 Strata 更新到 0.2.10,最显眼的一句是 8GB 显存可以跑 Qwen3.8 IQ3_S,并保持 128K(131072 token)上下文。之前在这种显存上开到 64K 以上常常启动失败,只能退回 48K 左右。
办法是动态调度。显存不够时自动缩减留在 GPU 里的 KV 缓存窗口,必要时把一部分放到内存甚至硬盘。显存省下来了,代价也写在官方建议里:内存 32GB 起步,48GB 合适,64GB 才从容。
速度差距要看硬件。官方在 8GB 限制下开 DFlash2 测到 63 至 73 token/s,换成真实的 Intel Arc A750 8GB 显卡,128K 能启动,但只有 12.7 至 14.8 token/s。前者是对高端卡做的显存限制,后者才接近真实的 8GB 用户。
省显存的另一半功劳在 DFlash2,这版设成了默认的推测解码器。之前的 MTP 层占约 5.2GB 显存,它只要约 625MiB。不过官方把它定位成单请求优先,多并发和硬件兼容上 MTP 还有优势。
多卡用户拿到的是 All-cards Split Engine,多张卡共同处理每一层。两张 RTX A6000 在 Linux 下做代码编辑,从 195 token/s 涨到 377 至 394 token/s。
还新增了编程专用的 ISTA-DAS Coder,由 DeepSeek-V4.1-Flash 裁剪专家得来,但权重和 Engram 数据体积不小,首次下载要备足硬盘。界面上修了一批小毛病,比如回复太长时审批按钮被挡、生成中途可以选择排队或中断。
© 版权声明
文章版权归作者所有,未经允许请勿转载。






Strata 0.2.10:8GB 显存能开 128K 上下文了,压力转给了内存和硬盘