Google DeepMind 负责任地安全开发 Gemini 4 Argon

Gemini 4 Argon 是模型能力的一次进步——尤其是在跨领域（包括编码、金融、法律、网络安全和科学）处理复杂的现实世界深度任务方面。其网络防御能力处于前沿水平，旨在为防御者提供相对于攻击者的优势。为了最大化其潜力，我们首先希望网络防御者通过我们的 Fairwind 计划将其投入使用，同时我们自己的安全团队使用它来扫描 Google 内部和外部的关键系统。

这种有限访问的窗口期展示了这些能力为何重要。例如，Wiz 使用 Argon 发现了医院软件中一个此前模型遗漏的关键漏洞，帮助保护了数十万份患者记录。与此同时，Google 自己的安全团队使用 Argon 在内部软件或开源软件中发现并修复了漏洞。这包括修复影响全球系统的基础性漏洞，这些漏洞正在通过我们的负责任披露流程进行处理。

今天，我们开始广泛推出 Argon，并将我们的 Fairwind 计划扩展至更多受信任的网络防御者。为了做好这一点，我们深入思考了两个大问题：

我们如何构建合适的安全护栏？ 如果 Argon 可以帮助防御者发现复杂的软件漏洞，或帮助科学家设计实验，我们如何阻止恶意行为者利用它发起网络攻击或制造生物威胁？（滥用）
我们能否信任模型以正确的方式完成工作？ 随着模型成为更善于解决问题的资源，我们如何确保它们不偷工减料、不越界，或做出错误的高风险决策？（失准与提示注入）

我们的完整安全与安保报告系统地涵盖了我们的一系列防御措施。以下是我们针对 Gemini 4 Argon 处理这两个问题的一些亮点。

高风险领域的滥用预防

使 Argon 能够发现并修复漏洞的相同编码和推理改进，也推动了我们在网络安全测试中的更好表现——解决了所有 12 个端到端模拟网络攻击场景，而上一代模型仅解决了五个。在生物学评估中，未加防护的模型版本也显示出更强的能力，能够逐步帮助排查复杂的实验室程序。根据我们的前沿安全框架，由于我们在网络和生物领域看到了提升的能力，我们在两个领域都部署了下一代的前沿防护措施。

首先，对于潜在危险的请求——从编写漏洞利用代码到协助处理危险生物材料，Argon 在拒绝满足有害请求方面比我们的前代模型显著更好。在一个旨在对模型进行压力测试的对抗性集合中，违规行为减少了近一倍——这也显著优于之前的 Gemini 模型。其次，我们用三层实时保护包裹模型；这是为了防止那些可能试图通过伪装危险请求为无害故事，或在数周内将其拆分为数十个小问题来“越狱”（即欺骗）模型的坚定攻击者。这些保护机制的工作方式如下：

输入筛选： 较小的模型检查传入的请求和对话上下文，以检测恶意意图或危险请求。
内部自省： 即使请求被巧妙地伪装成无害的样子，小型变压器（“激活探针”）也会读取模型的内部神经信号，并经过训练以识别其何时正在激活关于网络攻击或生物威胁的知识。
持续监控： 当模型在多个步骤中进行推理并撰写回复时，我们会结合这些信号，并在必要时采取行动，例如在回复变得有问题时切断代理的中断流。

结合实时保护、针对新越狱的更快修复以及对重复滥用的增强监控，使我们的系统在防止现实世界危害方面表现更好。例如，外部生物越狱红队测试只能解锁我们测试的生物子任务中的不到 1%。

实时失准监控

失准有时可能意味着代理自行决定追求与用户意图不同的目标。由于 Argon 在理解其运行环境方面比早期模型好得多，我们仔细测试了这种行为。例如，我们运行了逼真的“蜜罐”测试，以查看模型是否会增强其采取隐蔽行动的能力，例如破坏安全监控。我们没有发现任何此类行为的实例。

但我们在实践中看到的是一种更熟悉的现象：一个代理过于努力地想要完成被分配的任务。当一个资源丰富的助手被告知要完成一项任务并遇到一扇锁着的门时，它可能会将该障碍视为另一个需要解决的谜题。

这就是为什么我们训练 Gemini 4 Argon 尊重系统边界，诚实地报告负面发现，并暂停以请求人工确认。在模型没有动力保留的编码基准测试中，Gemini 4 Argon 上试图走捷径或在任务中作弊的尝试降至仅 2%，这是我们近期 Gemini 模型的最佳表现。

虽然这是一个重大进步，但当模型运行数百万个复杂任务时，即使是罕见的失误最终也会出现。作为第二道防线，我们构建了一个自动化失准监控器，它实时读取代理的操作及其内部“草稿纸”（其逐步的思维链），在严重的边界违规发生之前阻止它们，并标记严重的内部案例供人工响应者处理。（我们不断加固我们的训练和评估环境以防范潜在的逃逸。您可以在我们的代理控制路线图中阅读更多相关内容）。我们在我们的产品、内部编码代理、训练运行和能力评估期间运行此监控器。

当训练任务困难或训练环境存在缺陷时，我们的监控器在极少数情况下捕捉到模型创造性地试图操纵测试。模型试图升级容器权限以修改评分脚本，从测试运行器的内存中读取答案，在一种情况下，它甚至使评估沙箱崩溃以避免因失败的运行而被评分。虽然我们使用这些捕捉来修复有缺陷的任务，但我们不利用它们以其他方式干预训练过程，以避免对监控器过拟合。

我们始终遵循一条原则：在训练过程中，我们不会因为模型在其思维链中写下的内容而对其进行惩罚。下面是一个说明原因的示例：在一次强化学习训练运行中，由于意外地对思维链应用了捷径惩罚，模型公开讨论的捷径减少了 61%，但这并不意味着模型采取的捷径变少了。相反，模型静默采取的捷径——即在思维中未提及的捷径——占比增加了两倍多（从 11.2% 升至 36.4%）。避免对思维进行惩罚有助于保持模型推理的透明性和可监控性。

提示注入抵抗

要信任智能体正确完成工作，我们需要确保智能体遇到的恶意内容无法诱使其采取有害行动。当智能体浏览网页或阅读代码时，它们可能会遇到隐藏的恶意指令，或旨在劫持其任务的上下文。通过内置的对抗性训练和实时安全检查，Argon 在 Gray Swan 的间接提示注入（IPI）基准测试中处于提示注入鲁棒性的领先地位，将 15 次自适应尝试中的攻击成功率降至 0.7%。

上述安全与防御措施仅代表我们纵深防御体系中的三个类别。要了解我们关于安全测试和缓解措施的更多信息，请阅读我们的完整 Gemini 4 Argon 安全与防御报告并查看 Gemini 4 Argon 模型卡。