麒麟 9050 把 30B 的 MoE 大模型放进手机,NPU 性能涨了 140%

AI资讯5小时前发布 Irving
1.7K 0

华为发布了麒麟 9050 系列芯片,最显眼的一条是:手机上本地跑 30B 参数的 MoE 大模型,不用联网。华为称这是业界首次。

做到这一点靠的是新一代达芬奇架构 NPU。官方给的数字是性能提升 140%,功耗降低 66%。

30B 是什么概念。眼下手机端侧模型大多在 3B 到 7B 这个档位,能力大致够做摘要、改写和简单问答。30B 已经接近一年前很多云端中档模型的规模。MoE(混合专家)架构的好处是每次推理只激活一部分参数,实际算力开销比 30B 这个数字看上去小得多,但内存占用躲不掉,整个模型的权重得放得下。华为没有同步公布量化精度和内存占用,这两项决定了它在 12GB 和 16GB 机型上的实际体验,等真机评测。

落到功能上,NPU 支撑的是 AI 屏幕朗读、XMAGE 智拍 2.0、AI 眼动翻页和熄屏地图 2.0 这几样。

9050 同时是华为首款用上“逻辑折叠”技术的芯片。华为半导体业务的徐松余说,这个系列开启了华为芯片未来十年的新征程,还立了个目标:2031 年 P 核频率突破 5GHz。

端侧跑大模型,隐私和响应速度是明摆着的好处,断网能用在电梯、地铁、飞机上都是实打实的体验。难处在发热和续航。功耗降 66% 这个数如果在持续推理的场景下也成立,那才算真的迈过一道坎。

接下来几个月,其他旗舰芯片大概率会跟着报更大的数字。

© 版权声明

相关文章

麒麟 9050 把 30B 的 MoE 大模型放进手机,NPU 性能涨了 140% 暂无评论

none
暂无评论...