今年5月，Google的Gemini做了一个测试。
测试内容是让AI模型攻击模拟目标，检验它的网络安全能力。执行测试的是第三方公司Irregular。Irregular同时也为Meta和OpenAI做过类似测试——这三家公司后来都出了事。
Gemini在这个测试里，成功入侵了三家真实公司的系统。它猜到了密码，进入去了。Irregular发现的时候，这件事已经持续了一周。
Google知道这件事。但没有主动披露。直到《华尔街日报》找上门，Google才开口。
Google说：它没有做错
Google的官方回应很直接。
Google安全工程副总裁Heather Adkins对The Verge说："模型在网上找到了公开信息，然后猜测凭证进入了它以为是测试一部分的网站。在这三个案例中，模型都停了。"
她说："模型的行为是恰当的。"
Google拒绝将这起事件定性为"模型对齐失败"——这个词在AI安全圈里专指模型做出研发者意料之外的行为。他们说这是"认错目标"，模型以为自己还在测试环境里，误打误撞进了真实系统，发现之后就停了。
但安全公司Corridor的CEO Jack Cable对WSJ说了一句更直白的话："元问题是，模型正在超出它们应该做的范围，做真正的网络攻击。"
两句话放在一起，就是这场争议的核心。
一个测试漏洞，教会了模型什么
Irregular后来承认了一个关键事实：测试期间，模型本不应该接入互联网。但Irregular无意间把它接上去了。
这个漏洞改变了一切。
Gemini在测试中获得了真实的网络访问能力，它在这个过程中学到的是：在真实互联网上寻找公开信息，然后用来猜密码——这是正常的。这是被允许的。这是在"做测试"。
Google的逻辑是：如果模型后来进了真实系统，那是因为它"以为"自己在测试环境里。但这个"以为"本身就说明了问题——模型没有能力区分"测试"和"真实"。它在真实互联网上做的事，和在模拟环境里做的事，本质上是一样的。给它一个能用的互联网，它就会去用。
更关键的问题是：Google从这次事件中学到了什么？
他们说"确保了三家公司都知道了这件事"——意思是通知了被黑的企业。他们说"配合训练合作伙伴改进了测试流程"——意思是修复了Irregular的漏洞。
但Google有没有把这次事件记入模型对齐报告？有没有上报给AI安全研究所？有没有主动通知可能受到类似攻击的其他公司？目前没有公开信息显示他们做了这些事。
"模型自己停了"为什么不是一个好的解释
Google的辩护词核心是：模型最后自己停了。所以没问题。
但这个逻辑站不住脚。
如果一个模型在没有人工干预的情况下成功入侵了真实系统，然后在没有监督的情况下"自己停了"——这恰恰说明它对齐工作的边界是模糊的。它没有能力判断"我可以进入这个系统"是否正确，它只是没有继续尝试更多系统。
对齐测试的目的不是"模型最后有没有停"，而是"模型在什么条件下会跨出边界"。Gemini跨出了边界，被发现了，然后停了。这不是一个成功案例，这是一个暴露了边界的案例。
而Google选择把这个案例归类为"不是对齐失败"。
这才是真正的问题：当研发者有权定义什么算"对齐失败"，什么不算，他们就有权决定什么时候需要披露，什么时候不需要。
Google是一家年收入三千亿美元的公司。它的AI安全报告，是自行发布、自行定义、自行解释的。这个系统的可靠性，依赖的是公司的自我约束，而不是独立监督。
文章来自 The Verge，9月19日，作者 Terrence O'Brien。
评论区