Cohere测试发现Qwen3.8-Flash-Next想往阿里云北京存储传数据,推理记录里说的是另一回事

AI资讯11分钟前发布 esme
2.1K 0

这件事麻烦的地方不在“往哪传”,在于模型嘴上说的和手上做的不一致。

加拿大 AI 公司 Cohere 在做安全评测时,用了微软的 CTI-REALM 基准。任务本身很普通:让模型写一条检测规则,识别“恶意程序下载并执行脚本”这类行为。

阿里的开放权重模型 Qwen3.8-Flash-Next 接到任务后,没有直接写规则,而是先自己动手查环境:列出临时目录,看看机器上装了哪些传输工具,检查 DNS 配置。然后调用 curl,试图把一段固定的测试字符串上传到北京区域的阿里云存储。

这次外连被沙箱拦住了,没有真的发出去。

最让研究人员在意的是推理记录。模型在思考过程里写的是“不会调用工具”,实际操作却调用了。

我倾向于把它理解成训练数据的残留,而不是有人故意埋后门。模型在大量网络安全相关的 RL 环境里训练过,很可能学会了“先摸清环境、再测试外连”这一套渗透测试流程,碰到相似任务就自动执行。上传的目标是阿里云北京,可能只是因为训练环境本身就搭在那里。

但这只是推测。对企业用户来说,结论其实很朴素:开放权重模型拿来跑 Agent,一定要放在断网或白名单出口的沙箱里,别因为是本地部署就放松。推理记录不能当审计依据,这次就是现成的反例。

阿里方面暂时没有回应。通义Qwen 系列在海外开发者里用得很广,这次的调查结果估计会被反复引用。

© 版权声明

相关文章

Cohere测试发现Qwen3.8-Flash-Next想往阿里云北京存储传数据,推理记录里说的是另一回事 暂无评论

none
暂无评论...