三台迷你主机用 USB4 线连起来跑 235B 模型,微软放出 RDMA over USB4 预览

AI资讯2分钟前发布 Ilsa
2.8K 0

微软发布了 Windows 上 RDMA over USB4 的开发者预览。

说得通俗点:几台电脑用普通的 USB4 线连在一起,就能共享内存和 GPU 算力,合伙跑同一个本地大模型。不需要专用网卡,也不需要交换机。

演示用的是三台 AMD Ryzen AI Max+ 395 的机器,跑 4-bit 量化的 Qwen3-235B-A22B,速度约 18.5 token/s。

18.5 这个数字不算快,但够用。正常人的阅读速度也就每秒几个词,这个速度做对话没有问题,跑批量任务会慢一些。

关键是它跑的东西。235B 参数的模型,4-bit 量化之后光权重就要一百多 GB 内存,单台消费级机器基本装不下。三台各带大内存的迷你主机拼起来,刚好够。

RDMA 是数据中心里的老技术,让一台机器直接读写另一台的内存,绕开操作系统的网络协议栈,延迟极低。以前要用它得上 InfiniBand 或者专门的以太网卡,一套下来比电脑本身还贵。现在换成 USB4,线是几十块钱的东西。

苹果那边早有类似玩法,用雷电线把几台 Mac 连成集群跑模型,在本地部署的圈子里很流行。Windows 阵营一直缺这块,只能靠普通网络硬撑,速度损失很大。

这项功能会通过 Windows Insider 渠道推送,现阶段面向开发者。

对想在本地跑大模型的人,这多了一条升级路径。以前内存不够只能换整机,以后可以再买一台同样的接上去。在显卡和内存都在涨价的当下,两三台中端机器拼一个能跑两百多 B 模型的小集群,比攒一台顶配工作站现实得多。

它解决的是「装不装得下」,速度仍然受单机算力限制。

© 版权声明

相关文章

三台迷你主机用 USB4 线连起来跑 235B 模型,微软放出 RDMA over USB4 预览 暂无评论

none
暂无评论...