AI 击败军棋（Stratego）最强人类选手，终结人类最后堡垒之一

Niemeijer 被认为是这项运动历史上荣誉最多的选手。他赢得过四次世界冠军、15 次荷兰全国冠军和两次在线世界冠军，并在世界排名第一的位置上停留了 600 多周。George Franka 是自 1997 年以来唯一参加过每一届世界锦标赛的选手，他称 Niemeijer 是"有史以来最伟大的 Stratego 选手"。

Stratego 对 AI 来说是一项格外艰难的考验，因为双方都将自己的 40 枚棋子面朝下布置。根据该论文，可能的布局超过 10^33 种。在这类信息不完全的博弈中，一步棋的价值不仅取决于之后棋局如何发展，还取决于决策之前和决策期间发生了什么，第一作者 Samuel Sokota 在 X 上写道。

据 Sokota 称，源自扑克 AI 的方法确实绕过了这个问题，但只在隐藏信息很少时才有效。在德州扑克中，只有 1,326 种可能的起手牌，而根据该论文，这些方法所需的计算量会随着隐藏信息的增多而增加。因此，Stratego 是人类仍优于 AI 的最后几款主要竞技棋类游戏之一。

大学预算击败了 DeepMind 数百万美元也做不到的事

DeepMind 此前正是在这款游戏中未能突破顶尖人类选手的水平。根据该论文，其 DeepNash 系统在 1,024 个 TPU 节点上训练了两到三个月，这是相应 DeepNash 作者的回忆。Ataraxos 的作者估计，按 2025 年的价格计算，这要花费 300 万到 450 万美元。

相比之下，Ataraxos 只需在 16 块 Nvidia H100 GPU 上训练一周，再加上在 4 块 GPU 上为其所谓的信念网络训练四天。按 2025 年的价格计算，这还不到 8,000 美元。研究人员称这大约是其计算成本的 1/500、自对弈局数的 1/30、训练样本数的 1/100。他们将其归功于自己编写的定制 GPU 模拟器，但也归功于高得多的样本效率。Sokota 写道，该团队受限于学术计算资源，多年来积累了大量技巧。

这两个系统之间没有进行过正面比较。研究人员表示他们提出搭建必要的基础设施，但 DeepMind 告诉他们这不可能，因为 DeepNash 的代码已无法运行。在 2023 年世界锦标赛上，DeepNash 在 28 局中赢了 19 局，但输给了大多数顶尖选手，包括 Niemeijer。

迫使 AI 变换打法可以防止它陷入僵局

Ataraxos 不借助任何人类数据学习，完全通过自我对弈。根据该论文，关键在于系统被逼着变换打法的力度有多大。训练期间的一个额外条件会让 AI 分散其布局和走法，而不是早早锁定一套固定策略。这被称为正则化。作者称，这在 Stratego 中很重要，因为高水平的对弈需要大量随机性，而打法可预测的选手会被利用。

随着训练的进行，研究人员会逐渐放松这种压力，并相应调整学习步长的大小。在早期阶段，Ataraxos 会大幅变化其下法，并以大步长进行学习。到了后期，它的下法更加审慎，只做小幅修正。这样可以防止学习过程陷入循环或变得混乱，而在信息不完美的博弈中，这种情况往往会发生。研究人员将正则化比作一种能量储备。如果 AI 过快地耗尽它，虽然能在早期迅速取得进展，但随后会丧失继续学习的能力，并且往往变得容易被利用。

Ataraxos 还使用一个信念网络来预测对手的隐藏棋子。在每一步之前，AI 用它生成可能的棋局状态，推演候选走法，并针对该决策额外运行一次学习步骤。作者表示，此前的工作跳过了这类搜索，因为在如此多的隐藏信息下，这被认为过于困难。

尽管存在内置劣势，AI 仍大获全胜

研究人员将对抗 Niemeijer 的系列赛分散在三周内进行，以避免疲劳并给他时间准备。Niemeijer 知道 Ataraxos 不会适应他的风格。他因参赛获得 1000 美元，每胜一局另得 100 美元，每平一局得 50 美元，因此他有经济动力全力以赴。

作者写道，将平局计为半胜，85% 的有效胜率在最高水平上是前所未有的。三届世界锦标赛亚军 Max Roelofs 表示，顶尖水平的差距极其微小，因为这款游戏迫使玩家承担风险。该 AI 还处于结构性劣势。Niemeijer 可以在多局比赛中适应它，但它无法适应他。根据论文，三届世界冠军 Vincent de Boer 认为这是一个重大不利条件。

在 2025 年 Stratego 世界锦标赛的表演赛上，Ataraxos 还在对阵锦标赛选手的 40 局比赛中赢得了 38 局。选手们形容它的风格难以捉摸。该 AI 会做出人类认为过于冒险的诈唬，而当它处于落后时，它会顽固地拖延，以至于一些选手觉得它很无礼。它似乎还幸运得令人发毛，因为它的棋子似乎总是恰好在正确的位置。对阵 Niemeijer 的对局可在网上查阅。

该方法远不止适用于 Stratego

研究人员使用相同方法构建了其他系统。在 Barrage Stratego 变体中，他们的 AI 在对抗排名前四中的三位选手时赢得了四个 50 局系列赛，这些选手均为两届 Barrage 世界冠军。在合作卡牌游戏 Hanabi 中，它在每个变体中都创下新纪录，而在双人版本中，它所需的计算量比此前的领先者少了两个数量级。在中国卡牌游戏斗地主中，它击败了此前的基准系统 PerfectDou 和 DouZero。

作者从这些结果中得出了一个宏大的结论。他们认为，大量隐藏信息不再是强化学习和搜索的障碍。只要能为这些决策问题构建快速而准确的模拟器，这将使实用 AI 在许多战略决策问题上触手可及。论文指出，金融市场、军事冲突和谈判就是信息不完美情境的例子。

研究人员承认了一个局限性。由于该搜索仅模拟单个学习步骤，其性能无法仅通过增加计算时间而持续提升。更复杂的搜索方法可能会改变这一点。团队已将 Ataraxos 的代码公开。