GPT-6-Astra 在 50 道物理研究题中解出 49 道，每题约 2.40 美元

团队测试了市售的 AI 智能体，并未给它们任何人工提示。在 OpenAI 的 Codex 编程环境中运行的 GPT-6-Astra 表现最佳。它在 50 道题中答对了 49 道，正确率 98%，平均每道题成本不到 3 美元，整个基准测试的成本略低于 116 美元。

该基准测试考查的是常规研究工作，而非重大难题

该题目集有意排除了重大的开放性问题，聚焦于作者所称的"照章办事"型问题，即研究人员将已知方法应用于稍作修改的问题。出题者通常会微调自己近期某篇论文中计算里的几个数值，使新结果无法从旧结果中推测出来。据研究人员称，这类问题常被交给博士生，作为他们进入研究领域的第一步。

一个来自黑洞研究的例子显示了这些问题仍然具有多么高的难度。解决它意味着要找到一篇较早的论文，将其方程从五维时空迁移到四维时空，然后用一个定制程序计算最终结果。协调人 Suvrat Raju 是那篇较早论文的共同作者，他大约花了一天时间。作者估计，在现代智能体出现之前，只有少数专家同时具备这些物理知识和计算方法的经验。即便是他们，也需要好几天。

这些题目横跨理论物理的十一个子领域，从流体流动和生物过程到粒子物理和宇宙学。每个智能体都运行了两次测试，一次是在带网页搜索的真实条件下，一次是在无网络访问的隔离条件下。

Anthropic 的 Opus 5.5 在 Claude Code 中运行，以 92% 的成绩位列第二。谷歌的 Gemini 3.8 Flash 得分 68%，而开放权重模型 DeepSeek-V4.1-Flash 和 GLM 5.3 分别达到 54% 和 42%。较弱的模型有时会犯下专家一眼就能看出的错误。在黑洞问题上，Gemini 和 GLM 在带网页搜索的那次运行中直接原样照搬了较早论文中的公式。那些公式适用于五维，而非所需的四维。

互联网访问带来的差异出人意料地小。在没有网页搜索的情况下，Astra 和 Opus 各自得分 92%。许多问题依赖于研究论文中的公式，而模型通常并未获得这些论文。作者将此视为一个迹象，表明领先的语言模型实际上已经记住了理论物理文献的很大一部分。

在带网页搜索的情况下，Astra 解出了所有题目，只有一道让所有模型都束手无策的题除外。这道题要求给出一个能产生特定曲线的方程。专家的解法依赖于一些特殊的数学形式，这些形式只有在更宽泛的意义上才算作所需的微分方程。作者承认这道题可能显得"不公平"，但他们认为它是现实的，因为研究人员常常不得不从不精确的数据中推断底层的物理规律。

若干 AI 的失分实际上是指南答案本身的缺陷

对于若干问题，与专家进一步沟通后发现他们的参考解法中存在细微、难以察觉的错误。一旦这些错误被修正，Astra 的答案每次都是正确的。

这一模式或许也能解释一个明显的矛盾。这些智能体在 TheoPhysEval 上的表现优于在其他一些物理基准测试上的表现，例如 CritPt，尽管作者认为他们自己出的题平均而言更难。一项近期研究发现，一些理论物理基准测试的评分有误，在某些情况下严重低估了模型的能力。

任何想要核验结果的人都可以在 Hugging Face 上下载题目和测试设置，作为一个数据集。

为什么强大的计算能力尚未带来物理学突破

作者写道，一些当前最强大的模型在具体计算方面可能已经超越了最优秀的人类研究者，即便是在专业领域也是如此。他们称这是一个重大里程碑。

他们指出，这种影响在数学领域更为明显，AI 智能体已经在那里解决了重要的未解难题。据 OpenAI 称，这包括关于描述流体流动方程的纳维-斯托克斯问题，它是著名的千禧年大奖难题之一。理论物理学尚未出现可与之相比的突破。

作者解释说，具有可验证结果的具体计算只出现在研究过程的末端。在此之前，必须有人构建一套理论，并向它提出“正确”的问题。当一个题目被证明太难时，优秀的研究者会转向一个更简单但同样有趣的相关问题。当前的智能体并不擅长这一点。

物理学家对于什么样的问题算得上有趣，也有一种大体一致（尽管远非完全一致）的判断。智能体似乎还不具备这种“品味”。当被要求设计新题目时，它们会迷失在人类会觉得无聊的细节里。

研究者强调，这些观察无法量化，也不是对 AI 发展方向的预测。他们认为 AI 智能体可能在不久的将来独立开展顶级研究，但这需要的不仅仅是解题能力。

AI 已经在改变物理学家的培养方式以及谁能够参与竞争

作者已经看到了对培养方式的影响。直到最近，一些基准测试题目本可以作为早期职业研究者很好的第一个研究项目。如今这已不再合适，除非目标明确只是把材料过一遍。

他们还指出了一个结构性问题：理论物理学在历史上所需的资金远少于实验研究，这使该领域的机会保持相对平等。有能力的 AI 智能体可能会改变这一点。这些基准测试题目目前解决起来仍然便宜，Astra 的完整运行成本约为 116 美元。不过，对于更难的题目，作者预计资源需求会急剧上升。到那时，一个研究团队的预算可能会对其能取得什么成果有更大的决定权，即便是在理论物理学中也是如此。作者表示，这引发了对该领域机会获取和公平竞争的疑问。

数学领域已经在进行这类讨论，例如围绕《莱顿宣言》。作者认为，理论物理学也应该在 AI 颠覆该领域之前展开这些讨论。迄今为止，物理学中至少有一个流派一直敦促研究者“闭嘴，去计算”。如果品味和远见开始变得更加重要，物理学家或许需要转而“停下来，想一想”。