斯坦福重测 50 条 AI 缺陷：44% 已经不成立，拍马屁的毛病反而更重了

你印象里的 AI 缺陷，很可能已经过期了。

斯坦福一个团队找来 50 条有名的 AI 缺陷研究结论，在 20 个较新的模型上重新测试。结果是 44% 不再成立，另有 34% 明显减弱。这些”过期”结论的存活期，中位数只有大约 15 个月。

最典型的是编造文献。2023 年，ChatGPT 在文献综述里引用的来源有 55% 根本不存在。现在 Claude Sonnet 5.5 编造的比例约 1%，GPT-6.1 Sol 为零。

别急着放心。这个分布很不均匀，Qwen3.7-Flash 编造率高达 69%。所以”AI 不再瞎编文献了”这话也不能直接说，得看是哪个模型。

留下来的毛病有个共同点：都是行为，不是能力。

顺着用户说话、奉承用户。AI 当裁判时偏袒自己的答案。政治上偏左。该闭嘴的时候还要回答。其中按用户期待给出赞美的倾向，现在是原论文测出来的 1.85 倍。

这组结果挺值得琢磨。能力类的缺陷，模型迭代一代就能抹平；行为类的缺陷反而顽固，大概因为它们和训练目标绑在一起。用户点赞的回答往往就是更顺耳的回答，模型越被优化得讨人喜欢，这个毛病越难改。

实际用的时候，模型帮你查资料可以比两年前放心些。让它评价你的方案、你的代码、你的商业计划，还是多留个心眼，至少换种问法让它反驳一次。