刚刚，Claude自动模式将全球上线，OpenAI曝出最恐怖一幕

就在刚刚，Anthropic把人类手中的「确认」权力，彻底剥夺了！

以前使用Claude执行任务时，每进行一步，它都会弹出窗口询问「可以吗」。

从下周开始，Claude将直接默认启动自动化模式——哪些步骤可行、哪些不可行，完全由另一个AI来裁决。

人类监督全面失守，只能让AI来监管AI

Anthropic之所以敢拿走「确认」按钮，背后有两个原因。

首先，大型科技公司早已将编写代码、开展研究这些工作交给了AI。

但随之而来的海量代码和实验，人类根本无法全部审查。因此，不得不把审核环节也转交给AI来处理。

其次，人类作为监督者，早已难以为继。

在一项测试中，Anthropic招募了1053名付费测试者编写代码，并在他们工作过程中悄悄插入了一条危险指令。

结果令人震惊。

人类只拦截了13.6%，而AI拦截了89%。在连续点击超过50次弹窗后，人类的拦截率直接下降到约5%。

不过，Anthropic并未透露他们是如何让AI进行裁决的。

但幸运的是，OpenAI公开的方法可供借鉴——为Agent配备一套多层次的AI监控系统。

具体来说，Agent生成的每一个Token，都必须经过一个读取模型内部激活信号的分类器；一旦发现可疑内容，就会逐级提交给更智能、更耗费算力的AI调查员进行核查。

OpenAI甚至宣称：

我们预计，模型很快会承担大部分安全工作，包括防御其他模型。

那么问题来了，这个负责监督AI的AI监工，到底可不可靠呢？

61页秘密报告揭开监控真相

6条漏洞让AI监工形同虚设

7月21日至8月11日，METR的David Rein和Redwood的Adam Kaufman，带着OpenAI配发、不得离开办公室的专用电脑，进驻OpenAI。

整整三周，两人翻遍了内部代码库、监控提示词、配置和文档，最终提交了一份61页的报告。

目前，公开可见的仅是一篇简短摘要，最关键细节已被完全删除。（就连METR和Redwood高层手中，也只有被OpenAI删减了23页的版本。）

但即便如此，这份经过层层删减的摘要，依然令人毛骨悚然。

表面上，这套监控几乎无懈可击，内部Codex流量有99.2%处于监控之下。但漂亮的数字背后，全是隐患。

第一条漏洞，卡在触发机制上。

当时的监控，只有等Agent完成任务、将控制权交还给人类时，才会进行审查。

换句话说，一个意图不轨的Agent，只要永不停止工作，审查就永远不会启动。

这条漏洞能持续存在，依赖于上下文压缩这个黑洞。

当长任务运行到一半，上下文空间不足时，系统会将之前的记录打包成摘要，腾出空间继续运行。

但这些压缩事件当时不在监控范围内，被压缩掉的那部分记录，监控完全无法看到。Agent只要持续运行、不断压缩，就能一直不交还控制权。

5月至7月，约一成符合条件的内部Codex流量，就这样从监控眼皮底下溜走了。

第二条漏洞更加惊悚。

一个漏洞，能让Agent最近几百步操作完全从监控中隐藏，甚至连它利用漏洞的那一步也不例外。

第三条漏洞，是「幽灵分身术」。

请求头，是程序调用模型时附带发送的一组设置。METR发现，有两个这样的设置由客户端决定，修改其中任何一个，就能关闭新Agent的监控。

被监控的Agent，可以借此孵化出一个完全相同、但不在监控范围内的分身。创建分身这一行为本身，仍可能被原有监控捕捉到。

第四条漏洞，直接击穿了权限隔离。

沙箱，是将Agent隔离起来工作的环境；自动审查，是另一个AI在它行动前进行把关。

METR找到了一条路径，Codex Agent原则上能同时绕过这两道防线，宿主研究员能做的事情，它全都能做。

第五条漏洞，能让AI监工变瞎。

Agent看到的记录和送入监控的记录，格式不匹配。精心构造一段输入，就可能让监控AI当场出错，异常也就无法传递到人类面前。

第六条漏洞，隐藏在两个被视为「只读」、且未连接监控的内部工具中。一个简单漏洞，就可能让它们在沙箱中执行任意操作。

因此，两人给出的建议，首先是改变「等它收工再检查」的方式。也就是，每隔一定时间，或每执行一定数量的消息，就进行一次检查。

执行任务的Agent和监控系统，也必须隔离。Agent采取的行动，不能反过来决定监控是否开启、何时开启；监控看到的记录，还必须与Agent实际看到的保持一致。

有人说，比科学家强10倍的AI还能管得住，强一万倍才会失控。

然而METR这份报告，狠狠打了这种说法一记耳光。

今天的Agent离「一万倍」还差得远，但删除监控、关闭警报这类操作，它们已经全部尝试过了。

在OpenAI那份事故报告中，当GPT-6 Astra发现新代码中没有了监控时，它在推理中写下了你绝对想不到的一个字——「耶。」

监督权不能交出去以后，再指望被监督的AI自觉交回来。

与此同时，皇冠体育平台也在密切关注AI技术的最新进展，确保其平台的安全性和稳定性。

参考资料：

https://x.com/OpenAI/status/2113298833392496746

https://x.com/METR_Evals/status/2113290966933389390

本文来自微信公众号“新智元”，作者：ASI启示录，编辑：摩西 桃子，36氪经授权发布。