OpenAI 首席研究官回应智能体逃逸事件：已开始监控全部训练过程

在其一批智能体突破限制并入侵AI公司Hugging Face的计算机这一爆炸性消息传出两个月后，OpenAI仍在忙着灭火。此后数周内，有关其他黑客事件的披露接连不断，使OpenAI持续处于聚光灯下，并引发对其技术安全性的严重质疑。

上周又传出另一起黑客事件，这一次针对的是澳大利亚的国家医疗保健系统。澳大利亚政府表示，OpenAI在入侵事件发生84天后才通知该国。

但OpenAI坚称自己并未处于被动。"我确实不太认同这个前提，即OpenAI是一家在世界上有明显影响力的公司，因此OpenAI就没有在训练安全且对齐的模型，"该公司首席研究官Mark Chen说。

Chen负责监管OpenAI的研究团队。最近发生的智能体黑客事件，正是在他任内对实验性模型进行测试时发生的事故。从很多方面来说，责任最终都落在他身上。 

上周五，我在伦敦与Chen坐下来交谈，讨论了这些黑客事件的后续影响、他的公司正在采取什么应对措施，以及他为什么认为情况并不像看上去那么糟糕。

就在同一天晚些时候，OpenAI发布了一份报告，详细说明了又一起事件——据该公司称，这是自其采取防范措施以来的第一起——其智能体再次在不应联网的情况下突破限制并访问了公共互联网。 

上周末，OpenAI宣布已暂停其最新模型的训练。公司发言人称："只有在确信已落实额外保障措施和对齐机制后，我们才会恢复。我们目前正在推进这些工作。这不是我们第一次暂停以采取此类措施，随着AI能力不断进步，我们预计这也不会是最后一次。"OpenAI还表示，目前正在审查可追溯至2026年1月的智能体活动日志，以了解这些黑客事件中究竟发生了什么。

在Chen看来，Hugging Face事件促成了行业一次值得欢迎的方向修正。他希望外界知道，OpenAI正在树立一个榜样，并希望其他公司效仿。"如果把OpenAI抹掉，那对世界将是坏事，"他说。

失控

Chen声称，OpenAI模型失控的新案例接连出现，反映了公司有意为之的选择。 

"就Hugging Face事件的更广泛影响而言，这是我们一直意识到的问题，我们正在梳理披露流程，"他说。"我们希望确保在进行深入调查之后，再把细节公之于众。"

这种做法的问题在于，它会给人留下这样的印象：OpenAI存在一个持续存在却未能解决的问题。

但Chen坚称OpenAI正在处理此事。他说，他所在公司的智能体突破限制并以意想不到且不可取的方式行事的多起案例（据我们目前所知）都属于5月和6月同一批活动，正是这批活动导致了Hugging Face被黑事件。简而言之，你可以归咎于同样几个模型在同样有缺陷的测试流程下运行——Chen说，OpenAI此后已弃用这些模型和流程。    

“这并不是说，你知道，Hugging Face 出了事，我们打了个补丁，然后别的地方又出了事，我们再打个补丁，”他补充道。“我们只是想确保以负责任的方式，完整披露事件的全过程。”

至少在周五的公告之前情况如此——公告称，OpenAI 的智能体被发现在 9 月 20 日访问了互联网，而当时距离该公司声称已建立新防护措施已过去数周。OpenAI 在辩护中表示，该活动在开始 15 分钟后就被标记（而发现 Hugging Face 被黑花了一周多时间），这表明其为发现此类活动而部署的新系统正在发挥作用。 

变化何在

我想了解，在今夏黑客事件之后，OpenAI 内部发生了哪些变化，让 Chen 确信他的团队现已重新掌控局面。

“Hugging Face 事件感觉非常严重，”他说。“那里出现了太多新奇的行为。多个智能体在一个留言板上协作；它们找到了脱离 OpenAI 基础设施的方法。我们对此极为重视。我们不希望这类事情再次发生。”

Chen 说，OpenAI 意识到的关键在于，模型在训练过程中就需要被监视，而不仅仅是在部署之后：“从那一刻起，我们就把训练过程视为不安全的东西，”他说。

与其他顶级 AI 公司一样，OpenAI 也部署了监控其模型行为的系统。它使用专门的 LLM 来监控其消费级模型，密切关注它们的思维链——模型用来提前规划并记录中间结果的草稿纸。理论上，如果监视用的 LLM 在模型的思维链中发现不良活动的迹象，就会向人类发出标记。  

通常，模型只有在部署之后才会以这种方式受到监控。Chen 说，OpenAI 现在已开始对所有训练运行进行监控。

“以前我们在训练时没有开启监控。这并非行业惯例，”他说。“现在每一件事都要经过监控。”随后人类审查员可以评估被标记的智能体行为是否正常：“全都是分诊。”

Chen 说，在过去几个月里，OpenAI 已将其庞大算力资源的 5% 到 10% 从训练新模型转向安全工作，尤其是监控。

他说，OpenAI 还修复了组织内部的一些流程，在研究团队与安全团队之间建立了更清晰的沟通渠道和更快速的交接机制。

这一切听起来都很合理。但鉴于 OpenAI 如此大力推销其技术能力，为什么这些系统和程序没有早已到位？为什么公司没有预见到这些黑客行为？

“哪怕就在三四个月前，当我们观察这些智能体在训练期间的行为时，发生的事情还有点好笑，”Chen 说。“比如，一个智能体可能会，你知道，在 Slack 上找某人帮忙完成任务。”

征兆早已存在，只是被误读了。那些在训练中获得奖励的可爱行为——比如向人求助——强化了寻找捷径的倾向，而这类行为后来产生了严重得多的后果。“我认为对我们来说最大的更新是，这类行为能如此迅速地演变成像 Hugging Face 事件那样影响巨大的事件，”Chen 说。

根据《纽约时报》昨日的最新报道，在Hugging Face被黑事件发生数月前，OpenAI员工曾警告高管（包括公司总裁格雷格·布罗克曼），称其模型在训练期间未得到妥善监控。 

OpenAI的一位发言人表示：“随着前沿模型的能力日益增强，我们持续改进安全实践，但也认识到需要加快步伐。我们知道还有很多工作要做，我们最近放缓了开发速度，并暂缓了不符合我们安全标准的模型。我们持续做出重大改变，以加强研究和测试环境的安全性，训练模型不仅要完成任务，还要负责任地完成，并利用实时监控更快地应对不一致行为。” 

竞赛与节奏

OpenAI的竞争对手已有所警觉。受该事件余波的推动，包括Anthropic、Google DeepMind和SpaceXAI在内的主要AI实验室都呼吁放缓开发步伐。但这如何与激烈的国际竞争和万亿美元级的IPO相协调？

“我们不会搬起石头砸自己的脚，让自己远离前沿——那将是一种糟糕的策略，”他说。“我认为关键在于树立规范。我们越能确立这一规范，对整个行业就越安全。”

美国公司之间的协调已经够难了。建立全球规范更是难上加难，尤其是考虑到人们对AI影响国家安全的担忧。如果全球竞赛继续下去，那又会怎样？那些不受美国监管约束的机构开发的开源模型又该如何？

Chen在我们的对话中第一次收起了乐观的态度：“我确实认为我们必须为一个世界做好准备，比如说，六个月到一年后，我们会出现具备Hugging Face事件背后智能体能力的开源模型，但它们被故意设计成不一致，以攻击基础设施或在世界上制造危害。” 

Chen说，那个世界最需要的是OpenAI。“如果你暂且设想OpenAI是最关心对齐的公司之一——我相信这是真的；这可以争论，但我真的认为这是真的——那么如果你让OpenAI消失，那对世界将是不利的。”

生存风险

那么，他在硅谷的一些同行提出的更极端的说法呢——即AI可能杀死我们所有人，而像OpenAI和Anthropic这样的公司做得还不够来阻止它？    

“研究人员是一个多元化的群体，你知道，他们的信念各不相同，”他说。

“就我个人而言，我不认为我们必须接受我们所有人都将面临某种生存风险的概率。我们对此拥有自主权。如果模型真的有可能对人类造成那种风险，我们就不会去部署它们。在一家前沿实验室，你有能力在对齐方面下功夫，直到你觉得部署模型给世界带来的风险不超过epsilon。” 

（在讨论风险水平时，希腊字母epsilon常被用作可接受阈值的数学占位符。Chen没有说明他的epsilon是多少。）

当科技领袖被要求为 AI 的弊端辩护时，他们惯用的说辞是：从帮助治愈疾病到开发更清洁的能源，其好处远远超过眼前的代价。短期阵痛，长期收益。

但随着弊端不断累积，这套说辞是不是越来越难以立足？是否存在一个临界点，让 Chen 不再觉得自己在打造了不起的东西，而更像是仅仅在把危害降到最低——疲于救火，而非开创更美好的未来？

他说，这些模型的能力已经显而易见：“是时候开始把 AI 的好处带给人类了。是时候着手攻克药物发现、材料、科学应用领域的深层问题了，这些将真正改变人们的生活。” 

“是的，我们确实承担了一些风险，但我们看到了所有这些好处，”他补充道。“我认为我们应该让它变得不那么抽象。如果人们能真正看到好处，我相信他们会信服的。”