谷歌 TPU 8 再出两款变体:8tx 做机密计算,8i Max 专吃长上下文

AI资讯5分钟前发布 ansel
1.2K 0

谷歌第八代 TPU 现在一共有四款了。

今年 4 月 22 日的谷歌云 Next 大会上,谷歌先发了两款:主攻训练的 TPU 8t 和主攻推理的 TPU 8i。当地时间周一又补了两款变体。

TPU 8tx 从 8t 衍生而来,瞄准机密计算,也就是数据在计算过程中也保持加密、连云厂商自己都看不到的场景。金融、医疗、政府客户最在意这一条。

TPU 8i Max 从 8i 衍生,专门针对长上下文推理。百万 token 级上下文已经是各家旗舰模型的标配,推理时的内存和带宽压力很大,单独出一款芯片,说明这块需求足够大了。

节奏是最大的看点。谷歌芯片部门过去大约两年出一代 TPU,这一代半年多就分出四个型号。英伟达的 GPU 是通用卡,一张卡打天下;谷歌越来越像按工作负载切片,一个场景做一颗。

这种打法的前提是软件栈够顺。前阵子 TorchTPU 开源,PyTorch 代码基本不改就能跑在 TPU 上,算是先把迁移门槛降了。硬件分得再细,开发者不愿意搬也是白搭。

具体规格和上市时间,谷歌这次没给全。

© 版权声明

相关文章

谷歌 TPU 8 再出两款变体:8tx 做机密计算,8i Max 专吃长上下文 暂无评论

none
暂无评论...