Hugging Face 发布 ScreenSuite：面向 GUI Agent 的综合评测套件

发布 ScreenSuite，最全面的 GUI Agent 评估套件！

TL;DR

在过去的几周里，我们一直在不懈努力，让 GUI agent 更加开放、易用且易于集成。在此过程中，我们创建了最大的 GUI agent 性能基准测试套件 👉 让我们介绍 ScreenSuite。

今天我们非常兴奋地与大家分享：ScreenSuite 是评估 Vision Language Models（VLMs）在众多 agentic 能力方面最全面、最简单的方法！

什么是 GUI Agent？

GUI Agent 实际运行 - 由 OSWorld 提供

简而言之，AI Agent 是在虚拟世界中行动的机器人。（更详细的定义见此处）

具体来说，“GUI Agent”是生活在 GUI 中的 agent。可以理解为“能在我的桌面或手机上点击和导航的 agent”，就像 Claude Computer Use 那样。

这意味着本质上，驱动 agent 的 AI 模型将收到类似“填写此 Excel 列的剩余部分”的任务，以及 GUI 的屏幕截图。利用这些信息，它将决定在系统上采取行动：click(x=130, y=540) 打开网络浏览器，type(”Value for XYZ in 2025")，scroll(down=2) 继续阅读……要查看 GUI agent 的实际运行，您可以尝试我们的 Open Computer Agent，由 Qwen2.5-VL-72B 驱动。

一个好的 GUI agent 能够像我们一样导航计算机，从而解锁所有计算机任务：滚动浏览 Google Maps、编辑文件、在线购买商品。这涉及各种难以评估的能力。

介绍 ScreenSuite 🥳

文献，例如 Xu et al. (2025) 或 Qin et al. (2025)，通常将 GUI agent 能力分为几个类别：

1. 感知：正确感知屏幕上显示的信息
2. 定位：理解元素的位置 - 这对于点击正确的位置至关重要
3. 单步操作：通过一个动作正确解决指令
4. 多步 agent：在 GUI 环境中通过多个动作解决更高层次的目标。

因此我们的第一个贡献是收集并统一了一套涵盖这些 GUI agent 能力全范围的 13 个基准测试的综合套件。

如果您查看上面列出的最后一个类别，评估多步 agentic 能力尤其具有挑战性，因为它需要虚拟机来运行 agent 的环境，无论是 Windows、Android、Ubuntu……为了解决这个问题，我们同时支持 E2B desktop 远程沙箱，并且我们从零开始创建了一个新选项，可以在 Docker 中轻松启动 Ubuntu 或 Android 虚拟机！

实现细节

我们在设计基准测试套件时，充分考虑了模块化和一致性，确保任务与环境之间的高度对齐。在需要时，尤其是对于在线基准测试，我们利用 smolagents 作为框架层，以简化 agent 的执行与编排。

为支持可复现性和易用性，我们构建了自定义的 Docker 化容器，支持本地部署完整的 Ubuntu Desktop 或 Android 环境。

与许多依赖无障碍树或其他元数据配合视觉输入的现有 GUI 基准测试不同，我们的技术栈刻意采用纯视觉方案。虽然这可能导致在某些已有排行榜上得到不同的分数，但我们认为这创造了一个更真实且更具挑战性的设置，能更好地反映人类感知和与图形界面交互的方式。

– 所有 agent 框架（Android World、OSWorld、GAIAWeb、Mind2Web）均使用 smolagents，并仅依赖视觉，不添加任何无障碍树或 DOM（与其他来源报告的评估设置不同）。 – Mind2Web（多模态）最初基于无障碍树和截图使用基于元素名称的多选选择，但后来改为仅使用视觉进行边界框内的点击精度评估，这显著增加了任务难度。

在 ScreenSuite 上对领先的 VLM 进行排名 📊

我们在基准测试上评估了领先的 VLM

• 来自 Qwen-2.5-VL 系列模型，涵盖 3B 到 72B。这些模型以其出色的定位能力而闻名，换言之，它们知道图像中任何元素的坐标，这使得它们非常适合需要精确点击的 GUI agent。
• UI-Tars-1.5-7B，字节跳动出品的全能选手。
• Holo1-7B，H 公司的最新模型，在其规模下展现了极其出色的定位性能。
• GPT-4o

我们的分数与各来源报告的分数基本一致！但需注意，我们仅基于视觉进行评估，这会导致一些差异，详见上方的实现细节。

💡 请注意，ScreenSuite 并不打算精确复现业界发布的基准测试：我们评估的是模型的基于视觉的 GUI agent 能力。因此，在像 Mind2Web 这样的基准测试中，其他基准测试为 agent 提供了 DOM 或无障碍树等信息丰富的上下文视图，而我们的评估设置难度要大得多，所以 ScreenSuite 的分数与其他来源不一致。

30秒内开始你的自定义评估 ⚡️

前往代码仓库。

1. 克隆包含子模块的仓库：git clone --recurse-submodules [email protected]:huggingface/screensuite.git
2. 安装包：uv sync --extra submodules --python 3.11
3. Run python run.py
   • 或者，运行 python examples/run_benchmarks.py 以获得更精细的控制，例如并行运行多个模型的评估。

多步基准测试需要裸机来运行和部署桌面/移动端*环境*模拟器（参见 README.md）

下一步 🚀

运行一致且有意义的评估，能让社区快速迭代并推动该领域取得进展，正如我们在 Eleuther LM evaluation harness、Open LLM Leaderboard 和 Chatbot Arena 中所看到的那样。

我们希望在未来一个月看到更多能力更强的开放模型，能够可靠地运行各类任务，甚至可以在本地运行！

为了支持这项工作：

• ⭐️ 去给 ScreenSuite 仓库 点 star，并在 issues/PR 中给我们反馈！
• 👉 关注 smolagents 组织 以保持最新动态。