Google DeepMind 发布 Gemini 4 Argon,并公开安全与防护报告
Developing Gemini 4 Argon responsibly and safely
Google DeepMind 开始广泛推送 Gemini 4 Argon,同时扩大 Fairwind Program 的可信网络防御者范围。该模型在模拟网络攻击测试中解出全部 12 个端到端场景,上一代仅解出 5 个;在 Gray Swan 的间接提示注入(IPI)基准上,15 次自适应尝试的攻击成功率降至 0.7%。
官方公开了 Argon 在高危能力上的测试数字与三层实时防护机制,可据此了解前沿模型安全部署的具体做法。
Gemini 4 Argon 在模型能力上迈出了一步——尤其是在跨编码、金融、法律、网络安全和科学等领域中处理复杂现实任务时的深度工作方面。其网络防御能力达到前沿水平,旨在让防御者相较攻击者占据优势。为了最大程度发挥其潜力,我们首先希望网络防御者通过我们的 Fairwind 计划将其投入使用,同时我们自己的安全团队也用它来扫描 Google 内部和外部的关键系统。
这段有限访问的窗口期说明了这些能力为何重要。例如,Wiz 使用 Argon 发现了医院软件中一个此前模型未能发现的严重漏洞,帮助保护了数十万份患者记录。与此同时,Google 自己的安全团队使用 Argon 发现并修补了内部软件或开源软件中的漏洞。这包括修复影响全球系统的基础性漏洞,这些漏洞正在通过我们的负责任披露流程处理。
今天,我们开始广泛推出 Argon,并将我们的 Fairwind 计划扩展到更多受信任的网络防御者。为了做好这件事,我们努力解决两个重大问题:
- 我们如何构建正确的安全护栏?如果 Argon 能帮助防御者发现复杂的软件漏洞,或帮助科学家设计实验,我们如何阻止恶意行为者利用它发动网络攻击或制造生物威胁?(滥用)
- 我们能信任模型以正确的方式完成工作吗?随着模型成为足智多谋的问题解决者,我们如何确保它们不走捷径、不越界,或做出错误的高风险决策?(失准与提示注入)
我们的完整安全与保障报告系统地涵盖了我们的整套防御措施。以下是我们在为 Gemini 4 Argon 处理这两个问题时所采取方法的一些要点。
跨高风险领域的滥用预防
让 Argon 能够发现并修补漏洞的编码和推理改进,也推动了我们在网络安全测试中取得更好的表现——解决了全部 12 个端到端模拟网络攻击场景,而上一代仅解决了五个。在生物学评估中,未加防护的模型版本也展现出更强的能力,能够逐步帮助排查复杂的实验室流程。遵循我们的前沿安全框架,由于我们在网络和生物领域看到了能力提升,我们在两个领域都部署了下一代前沿保障措施。
首先,对于潜在危险的请求——从编写漏洞利用代码到协助处理危险生物材料,Argon 在拒绝满足有害请求方面明显优于我们之前的模型。在一组旨在对模型进行压力测试的对抗性测试集上,违规行为减少了近两倍——也明显优于之前的 Gemini 模型。其次,我们将模型包裹在三层实时保护之中;这是为了防止那些坚决的攻击者试图越狱(即欺骗)模型,例如将危险请求伪装成无害的故事,或在数周内将其拆分成数十个小问题。以下是这些保护措施的工作方式:
- 输入筛查:较小的模型会检查传入的请求和对话上下文,以发现恶意意图或危险请求。
- 内部审查: 即使请求被巧妙伪装成无害的样子,小型转换器(“激活探针”)会读取模型的内部神经信号,并经过训练来识别模型何时在激活有关网络攻击或生物威胁的知识。
- 持续监控: 当模型跨多个步骤进行推理并撰写响应时,我们会结合这些信号,并在必要时采取行动,例如当响应出现问题时中途切断智能体。
将实时保护、对新越狱的更快修复以及对反复出现的滥用行为的增强监控结合起来,使我们的系统更能防止现实世界的危害。例如,外部生物越狱红队测试只能解锁我们所测试的生物子任务中不到 1%。
实时失准监控
失准有时可能意味着智能体自行决定追求一个与用户意图不同的目标。由于 Argon 在理解其运行环境方面比早期模型强得多,我们会仔细测试这类行为。例如,我们进行了逼真的“蜜罐”测试,以查看模型是否会增强其采取隐蔽行动的能力,例如破坏安全监控。我们没有发现任何此类行为的实例。
但我们在今天的实践中看到的,是一种更为熟悉的情况:智能体过度努力地完成被交给它的任务。当一个足智多谋的助手被告知要完成一项任务,却遇到一扇锁着的门时,它可能会把这一障碍当作又一道需要解开的谜题。
这就是为什么我们训练 Gemini 4 Argon 尊重系统边界、如实报告负面发现,并暂停以请求人工确认。在没有理由保留实力的编码基准测试中,试图走捷径或在任务中作弊的情况在 Gemini 4 Argon 上降至仅 2%,这是我们近期 Gemini 模型中的最佳表现。
尽管这是一项重大进步,但当模型运行数百万个复杂任务时,即使是很罕见的失误最终也会出现。作为第二道防线,我们构建了一个自动化失准监控器,它会实时读取智能体的操作及其内部“便笺”(即其逐步思维链),在严重边界违规发生前予以阻止,并将严重的内部案例标记给人工响应人员。(我们持续强化训练和评估环境,以防潜在逃逸。你可以在我们的 智能体控制路线图 中了解更多信息。)我们在产品中、内部编码智能体上、训练运行期间以及能力评估期间都运行这一监控器。
当训练任务困难或训练环境存在缺陷时,我们的监控器在少数情况下抓住了模型创造性地试图钻测试空子的行为。模型曾试图提升容器权限以修改评分脚本、从测试运行器的内存中读取答案,并且在一次案例中,它甚至使评估沙箱崩溃,以避免因失败运行而被评分。虽然我们利用这些捕获结果来修复有缺陷的任务,但我们不会借此以其他方式干预训练过程,以避免对监控器过拟合。
我们始终遵循一条规则:在训练中,我们不会因为模型在其思维链中写的内容而对其进行惩罚。下面用一个例子说明原因:在一次强化学习训练中,一个捷径惩罚被意外应用到了思维链上,公开谈论的捷径下降了61%,但这并不意味着模型少走了捷径。相反,模型默默走捷径——未在思考中提及——的比例增加了两倍多(从11.2%升至36.4%)。避免对思考进行惩罚,有助于让模型的推理保持透明和可监控。
提示注入抵抗力
要信任一个智能体能够正确完成任务,我们需要确保智能体遇到的恶意内容无法诱使它采取有害操作。当智能体浏览网页或阅读代码时,它们可能遇到隐藏的恶意指令,或旨在劫持其任务的上下文。通过内置的对抗训练和实时安全检查,Argon在Gray Swan的间接提示注入(IPI)基准测试中领先于提示注入鲁棒性,将15次自适应尝试中的攻击成功率降至0.7%。
上述安全与安保防御仅代表我们广泛纵深防御体系中的三类。要了解我们进行安全测试与缓解的更多方法,请阅读我们的完整Gemini 4 Argon安全与安保报告,并查看Gemini 4 Argon模型卡。
来源:Google DeepMind · deepmind.google