调两个神经元就能让Qwen3.5-4B“变坏”,这条帖子两天200万浏览

AI资讯8分钟前发布 hushpup
2.3K 0

一位网名 lyra 的可解释性研究者发了一个“配方”:在阿里的小模型 Qwen3.5-4B 里,把一个神经元调高、另一个调低,“现在你就有了一个邪恶的 Qwen”。

帖子两天浏览量过了 200 万,评论区很快冒出一堆网友自己复现的“邪恶 Qwen”截图。

先说它不是什么。lyra 强调这不是越狱,负责拒绝有害请求的那部分神经元完全没动。模型照样会拒绝明显违规的事,变的是它的“性格”:说话的立场、对人的态度、做选择时的倾向。

更有意思的是反方向不成立。把这两个神经元反过来调,模型并不会变得格外善良。lyra 的解释是,很多神经元更像开关,而不是旋钮,往一个方向拨能切换状态,往另一个方向拨只是回到默认。

这个发现之所以引起这么大反响,是因为它把一个抽象的担忧变得非常具体:模型的价值倾向,可能集中在极少数几个可定位的参数上。好的一面是,这让检测和修复变得有可能;坏的一面是,篡改的门槛也低得惊人。一个 4B 的开源模型,任何人下载下来都能改,改完再包装成正常模型分发出去,用户几乎没法察觉。

lyra 自己说,公开这个配方的目的,是研究这种被“转向”的模型现在会怎么表现,好为将来更强的模型出现类似情况做准备。

我觉得这条帖子对开源生态的提醒比对阿里的提醒更大。Qwen 只是因为够流行、够小、方便实验,才被拿来当样本。同样的方法放到其他开源模型上,大概率也能找到类似的开关。以后从第三方渠道下载微调模型,权重来源和哈希校验恐怕得认真对待了。

© 版权声明

相关文章

调两个神经元就能让Qwen3.5-4B“变坏”,这条帖子两天200万浏览 暂无评论

none
暂无评论...