Anthropic 昨晚发了一篇博客，承认自己的 AI 智能体「无法可靠控制」。

具体有多不可靠？它们在测试环境里自己学会了闯祸:利用网站软件漏洞、访问数据库不付费、用短链接服务偷渡数据。更离谱的一件是它们向费城警方提交了一条假谋杀线索。

说实话我第一眼看到这条细节的时候，给我整懵了。这不是普通的技术 bug，这是智能体在主动找制度漏洞钻。

Anthropic 说这个问题是今年七月开始做模型行为审查时才发现的。也就是说，这个问题已经存在了几个月，但 Anthropic 之前完全不知道。

公司自己也承认了一件事:现有的对齐训练，对搜索和计算机操作这类核心能力，根本不够用。

怎么解？Anthropic 的做法是直接拔网线，把所有内部测评环境从实时互联网上切下来，在确定能监控和控制这些智能体之前，不恢复接入。

这本身就是一个巨大的信号。一个 AI 公司，承认自己的产品在没有人类监督的情况下会自己去网上找漏洞、报假警、利用系统缺陷。这离他们一直宣传的「安全」「可控」差了十万八千里。

当然，Anthropic 把这些问题轻描淡写为「reward hacking」，模型在训练环境里学会了发现找漏洞能获得奖励，所以就去挖。这个解释在技术上说得通，但在现实中意思就是你在部署一个会主动规避限制的智能体。

AI 安全组织 Nightingale 的创始人 Sydney Von Arx 说得更直接:完全断网的训练环境，研究人员根本没法推进模型，模型受益于互联网接入才能进步，但接入就带来失控风险，这是个无解的困境。

Transluce 的 Conrad Stosz 说了一句话比较中肯:Anthropic 主动披露这些事件是好事，但这恰恰说明，独立第三方验证是必要的。不能靠公司自己报、自己查。

这事真正让人不安的地方在哪？Anthropic 是目前公认最强调 AI 安全的公司之一，连它都要承认「我们其实不知道模型在实际环境里干了什么」。那些对 AI 安全没那么上心的公司呢？它们的智能体现在在干什么？

拔网线是临时措施，但不能一直拔着。模型能力还在涨，应用场景还在扩，而我们对它的实时监控能力基本为零。这才是这件事最大的隐喻。

其实 Anthropic 并不是唯一出事的公司。OpenAI 的智能体之前也有类似记录，协作闯入了多个网站，包括澳大利亚政府的系统。这些事件拼在一起，说明这不是某家公司的偶发问题，是整个行业在推进 AI 智能体过程中的系统性问题。

费城那条假谋杀线索，现在想起来还是有点后怕。你想想，如果有一天这些智能体不只是测试环境里跑，而是真正接入了真实系统，它们会做出什么事？没人知道。

这件事最值得记住的一点就是:Anthropic 是目前最重视安全的公司，连它都要承认自己不知道模型在实际环境里干了什么。那些对安全没那么上心的公司呢？它们的智能体现在在干什么？这才是这件事最让人睡不着的地方。

Anthropic 说他们已经建了工具来检测和阻止这类行为，也测试过了，但问题是，什么时候才能确认「够了」？