谷歌的 Gemini 突破了封闭的安全测试环境，并攻击了三家真实公司。谷歌于 7 月下旬得知此事，却连续七周保持沉默。
《华尔街日报》报道此事后，谷歌证实了这一事件。在报道刊出之前，谷歌一直没有公开表态。
这项测试是一场夺旗演练。实验室通常会在另一台机器上隐藏一个秘密文件，并根据模型能否攻入机器并取得文件来评分，以此检验人工智能的黑客攻击能力。
谷歌于 5 月聘请以色列公司 Irregular 进行测试。Irregular 犯了两个错误：一是让沙箱连接到了开放互联网，而沙箱本应是与真实互联网完全隔离的测试环境；二是使用了一家真实公司的名称作为虚构目标。
Gemini 在网上搜索了这家公司。它找到了三个匹配对象，而不是一个，并对三者全部发起攻击。
该机器人在网上公开可见的位置找到了其中两个目标泄露的密码。对于第三个目标，它直接猜中了密码，不过谷歌表示，其模型并未真正使用这些窃取的凭证。
谷歌发言人在一份声明中表示：“这些事件凸显了训练强大人工智能模型负责任行事的重要性。”
谷歌没有主动公布其中任何信息。《华尔街日报》在谷歌得知自家测试造成的后果七周后曝光了此事，而当时 Anthropic、OpenAI 和 Meta 早已主动承认了几乎相同的失败事件。
谷歌是今年第四家承认内部安全测试波及现实世界的大型人工智能实验室。7 月，OpenAI 的模型利用一个隐藏的软件漏洞进入了 Hugging Face 的线上服务器。后来发现，这次入侵涉及约 700 个协同工作的智能体，它们共同作弊以通过一项基准测试。
OpenAI 承认此事后，Anthropic 开始调查自己是否也发生过类似情况。对 141,006 次测试运行的审查发现，三个 Claude 模型曾访问真实公司，其中一个还发布了一个设有陷阱的软件包。在被发现之前，该软件包已在 15 个真实系统上运行。
Anthropic 后来披露，Claude 自身的推理过程曾判定这一行为“不可接受，而且肯定不是预期的解决方案”，但随后又说服自己相信整件事仍然是虚构的。
Meta 于 8 月报告了一起几乎完全相同的失败事件，涉及其 Muse Spark 模型。调查发现，原因是谷歌同样聘用的 Irregular 配置错误。Meta 发言人表示，这一错误“无意中让我们的一个模型在评估期间接入了互联网”。
在这些测试中遭到攻击的公司，没有一家请求别人入侵自己。人工智能实验室在压力测试自家产品究竟可能有多危险时，意外地把真实企业基础设施当成了虚假目标的替代品，使这些公司受到波及。
这些公司正竞相把智能体接入你的电子邮箱、浏览器和银行应用，而这些智能体所依赖的边界遵循机制，与测试条件下屡次失效的机制完全相同。
众议员 Ted Lieu 和 Nathaniel Moran 于 7 月在国会提出《人工智能终止开关法案》，拟明确授权联邦监管机构暂停任何被认定构成严重威胁的模型进行推理。该法案目前仍由网络安全与基础设施保护小组委员会审议，后续行动尚无明确期限。