
商业 · zh
最强Agent,为什么不能自己给自己发通行证?
当Agent开始写代码、发邮件、操作浏览器、调动数据库、调用支付接口,甚至再委派几个Agent去干活时,AI安全的问题变了。 现在,问题变成了:它一旦被带偏,能做什么? 一个能够持续运行的Agent,可能读取内部文件、把信息发往外部、修改生产环境、替你花钱,或者在数天后继续执行一条早已被忘记的任务。 于是,一个很自然的想法出现了: 既然执行Agent可能不可靠,那就再放一个更强的Agent来监管它。 行业正在大量尝试这件事。OpenAI的Auto-review就让单独的模型审查Codex越过沙箱边界的行动请求;其公开报告中,自动审批率为99.1%,针对合成提示注入场景的召回率为99.3%。但OpenAI同时写得很清楚:这不构成确定性的安全保证,监督模型仍可能被误导,且它也无法覆盖执行者在边界以内的全部行为。…





