Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型

3 周前，我们展示了在数学问题上正确评估 LLM 性能有多么困难，并介绍了 Math-Verify，一个在数学方面验证模型的更好解决方案（更多内容请阅读公告）！

今天，我们非常激动地分享，我们已经使用 Math-Verify 彻底重新评估了所有曾提交到 Open LLM Leaderboard 的 3,751 个模型，以实现更公平、更稳健的模型比较！

为什么 Open LLM Leaderboard 上的数学评估失效了

Open LLM Leaderboard 是 HF Mirror Hub 上最常用的排行榜：它比较开放大型语言模型（LLM）在各种任务上的性能。其中一个任务名为 MATH-Hard，专门针对数学问题：它评估 LLM 在解决高中和大学水平数学问题方面的表现。它使用来自 Hendrycks MATH 数据集的 1,324 个最高难度问题（第 5 级），涵盖 7 个主题（微积分预备、初等代数、代数、中级代数、计数/概率和数论），采用 5-shot 方法（在提示中向模型提供 5 个示例，展示它应如何作答）。

一个典型问题如下：

For all real numbers $r$ and $s$, define the mathematical operation $\#$ such that the following conditions apply: $r\ \#\ 0 = r, r\ \#\ s = s\ \#\ r$, and $(r + 1)\ \#\ s = (r\ \#\ s) + s + 1$. What is the value of $11\ \#\ 5$?

其答案应为：

在排行榜中，模型的答案必须以一个非常特定的字符串结尾（遵循 Minerva-Math 论文）：

“Final answer is [ANSWER]. I hope it is correct.”

然后排行榜会尝试用 SymPy 解析[ANSWER]，将其转换为符号表示（并在需要时简化数值），最后再将其与标准答案进行比较。

然而，用户报告了上述做法存在的一些问题。

首先，一个反复出现的问题是一些模型无法遵循示例中的预期答案格式：它们改为输出其他句子来引入答案。由于未遵循格式，即使答案实际上正确，也会被标记为错误！（如果你特别关心的是“模型在数学方面有多好”，这就是个问题）。

📄 示例	❗️问题	✅ Math-Verify	🛑 旧排行榜
因此，其中一个三角形的周长为 $14 + 7\sqrt{2}$ 英寸，以最简根式表示。	提取失败	`7*sqrt(2) + 14`	无
因此，无穷几何级数的和为 (\frac{7}{9})。	提取失败	`7/9`	无
( p(n) ) 和 ( p(n+1) ) 有一个大于 1 的公因数是 (\boxed{41})。	提取失败	`4`	无
所以是 \frac{1}{9}	提取失败	`1/9`	无
得出结论他有 \boxed{5} 辆车	提取失败	`5`	无

下一步，将[ANSWER]转换为符号表示也出现了一些问题，这次与 SymPy 解析有关：

📄 示例	❗️问题	✅ Math-Verify	🛑 旧排行榜
最终答案是 $2x + 4y + z - 19 = 0$。希望这是正确的。	参数方程部分解析	Eq(2x + 4y + z - 19, 0)	0
(23)	由于 LaTeX 边界导致提取失败	`23`	无
((- \infty, -14) \cup (-3, \infty))。	由于区间导致提取失败	Union(Interval.open(-oo, -14), Interval.open(-3, oo))	无
100%	由于无效符号导致提取失败	`1`	无
\begin{pmatrix}\frac{1}{50}&\frac{7}{50}\frac{7}{50}&\frac{49}{50}\end{pmatrix}	由于矩阵导致提取失败	Matrix([[1/50, 7/50], [7/50, 49/50]])	无

在最后一步，将提取的答案与目标表达式进行比较时，也出现了许多问题：

📄 示例	❗️问题	✅ Math-Verify	🛑 旧排行榜
1/3 == 0.333333	不支持四舍五入	True	False
sqrt(1/2)7 == sqrt(0.5)7	不支持数值求值	True	False
k = 1 == 1	不支持变量赋值	True	False
Matrix.ones == Matrix.ones	不支持矩阵等价比较	True	False
{1} \union {1,4} == {1,4}	不支持集合比较	True	False

所有这些问题现在都通过新的 Math-Verify 解析器彻底解决了！

哪个模型在数学上最强？更公平的评估带来了彻底的排名洗牌

由于这些问题往往不断累积，一些模型深受其害，其性能被严重低估……因此我们移除了旧评估器并加入了 Math-Verify，而这一改动只需修改3行代码！（你也可以在自己的数学评估中尝试！）

这意味着需要重新评估自6月以来提交的所有模型……这彻底改变了排行榜 MATH 子集上前20名模型的排名。

这一变化的影响

平均而言，所有模型的解题数量增加了61道，相当于整体提升了4.66分！

提升最显著的两个子集都与代数相关（Algebra 和 Prealgebra），分别提升了8.27和6.93分。在极端情况下，一些模型在这些子集上展现出了将近90分的提升。我们认为这两个子集提升最大，是因为它们经常涉及以集合（由于存在多解问题）和矩阵形式呈现的答案。Math-Verify 增强了对这两种答案类型的处理，从而带来了这些显著的提升。

模型家族的变化

我们最初是在检查 Qwen 模型时发现数学评估问题的，这些模型的得分与自我报告的性能相比异常偏低。在引入 Math-Verify 之后，这些模型的得分翻了一倍多，表明此前其性能被严重低估。

但 Qwen 模型并非个例。另一个受到重大影响的家族是 DeepSeek。在切换到 Math-Verify 之后，DeepSeek 模型的得分几乎翻了三倍！这是因为它们的答案通常被包裹在 boxed (\boxed{}) 标记中，而旧评估器无法提取这些内容。

MATH-Hard 排行榜的变化

正如开头所提到的，前20名的排名发生了显著变化，Nvidia 的 AceMath 模型现在主导了 MATH-Hard 排行榜。这一变化的其他主要受益者是 Qwen 的衍生模型，它们现在几乎独占 AceMath 之后的所有排名。以下是新旧前20名排行榜排名的完整对比表：

排行榜的变化

最后，我们考察了总排行榜结果的变化。虽然前四名保持不变，但其余排名发生了显著变动。由于多个 Qwen 衍生模型在 MATH 子集中的崛起，Qwen 模型在前20名中的存在感进一步增强——在总排行榜结果中更是如此。

许多其他模型的排名也出现了大幅跃升，提升了200名甚至更多！你可以在 Open LLM Leaderboard 上查看更详细的结果。

总结

Math-Verify 的引入显著提升了我们在 Open LLM Leaderboard 上评估的准确性和公平性。这导致排行榜重新洗牌，许多模型的得分出现了大幅提升。

我们鼓励所有开发者和研究人员在自己的数学评估中采用 Math-Verify。这样做可以确保你的模型获得更可靠的评估结果。此外，我们邀请你查看更新后的排名，看看你喜欢的模型在性能上有何变化。