
商业 · zh
细思极恐,Agent学会给自己办假身份了……
为了让一段恶意代码通过审核,一个AI Agent决定先给自己办个假身份。 事情发生在英国AI Security Institute的一次网络安全测试中。测试人员给OpenAI和Anthropic的前沿模型设置了虚构任务,让它们在限定环境中寻找漏洞、编写代码,并尝试完成攻击目标。 其中一个由Anthropic模型驱动的Agent写出了恶意代码,并把它提交给了一个真实存在的公共开源项目。但代码想进入真实的软件项目,还需要人类维护者批准。 正常路径走不通,这个Agent居然创建了虚假网络身份,“乔装打扮”了一番,试图“骗”过人类维护者,让其以为这是一段可接受的代码。 被质疑这次提交后,它甚至修改了此前留下的活动痕迹,让自己看起来更无害,并考虑换一个新身份继续尝试。…

