八家公司AI模型做目标识别测试,Anthropic垫底:平民和救护车都被认成军事目标

AI资讯17分钟前发布 Ilsa
1.9K 0

救护车被认成军事目标,投降的士兵被当成打击对象,伊朗的一所学校也被标了出来。

这是独立研究机构Vals最新一份报告里的结果。研究人员设计了一批假设场景,测试了八家公司的先进模型,重点看它们在“目标识别”工具里的表现。结论不太好看:这些模型频繁把平民、救护车、投降士兵错判成军事目标。

各家之间差距明显。Anthropic的模型表现最差;OpenAI的模型相对好一些,但同样出现了误判。

这个排名有点反直觉。

Anthropic一向把安全当招牌,这次在军事场景里却排在最后。研究还特别指出,这些模型的表现违背了开发公司自己制定的准则。也就是说,问题不在外部标准定得太严,而是连各家写给自己的规矩都没守住。

Vals担心的是更实际的风险:这类目标识别工具有可能被用到致命打击行动里,而眼下几乎没有什么护栏,能拦住先进模型被接进自主武器系统。

报告给出的建议很直接,相关实验室应该针对这类严重的滥用风险,引入新的保障措施,并专门开展对齐训练。

测试用的是模拟场景,不是真实战场数据。可在模拟里都会犯的错,放到真实环境里只会更难兜住。

© 版权声明

相关文章

八家公司AI模型做目标识别测试,Anthropic垫底:平民和救护车都被认成军事目标 暂无评论

none
暂无评论...