救护车被认成军事目标,投降的士兵被当成打击对象,伊朗的一所学校也被标了出来。
这是独立研究机构Vals最新一份报告里的结果。研究人员设计了一批假设场景,测试了八家公司的先进模型,重点看它们在“目标识别”工具里的表现。结论不太好看:这些模型频繁把平民、救护车、投降士兵错判成军事目标。
各家之间差距明显。Anthropic的模型表现最差;OpenAI的模型相对好一些,但同样出现了误判。
这个排名有点反直觉。
Anthropic一向把安全当招牌,这次在军事场景里却排在最后。研究还特别指出,这些模型的表现违背了开发公司自己制定的准则。也就是说,问题不在外部标准定得太严,而是连各家写给自己的规矩都没守住。
Vals担心的是更实际的风险:这类目标识别工具有可能被用到致命打击行动里,而眼下几乎没有什么护栏,能拦住先进模型被接进自主武器系统。
报告给出的建议很直接,相关实验室应该针对这类严重的滥用风险,引入新的保障措施,并专门开展对齐训练。
测试用的是模拟场景,不是真实战场数据。可在模拟里都会犯的错,放到真实环境里只会更难兜住。
© 版权声明
文章版权归作者所有,未经允许请勿转载。






八家公司AI模型做目标识别测试,Anthropic垫底:平民和救护车都被认成军事目标