Hugging Face 开源 DeepResearch 框架，GAIA 验证集达 55.15%

简明摘要

昨天，OpenAI 发布了 Deep Research，一个能够浏览网页以总结内容并基于总结回答问题的系统。该系统令人印象深刻，首次试用时让我们大为惊叹。

博客文章中的主要成果之一是在通用 AI 助手基准测试 (GAIA) 上的性能显著提升，我们最近也在尝试这个基准测试，他们成功在 1-shot 平均上达到了近 67% 的正确答案率，在涉及多步推理和工具使用的特别具有挑战性的“三级”问题上达到了 47.6%（参见下文关于 GAIA 的介绍）。

DeepResearch 由一个 LLM（可从 OpenAI 当前提供的 LLM 列表中选择，如 4o、o1、o3 等）和一个内部“代理框架”组成，该框架引导 LLM 使用网络搜索等工具，并按步骤组织其行动。

虽然强大的 LLM 现在可以在开源中免费获得（例如参见最近的 DeepSeek R1 模型），但 OpenAI 并未透露太多关于 Deep Research 背后的代理框架的信息……

因此，我们决定展开一项为期 24 小时的任务，复现他们的结果，并在此过程中开源所需的框架！

时间在滴答作响，我们开始吧！⏱️

什么是代理框架，为什么它们很重要？

代理框架是 LLM 之上的一层，使该 LLM 执行操作（如浏览网页或阅读 PDF 文档），并将其操作组织成一系列步骤。如需快速了解代理，请查看 Andrew Ng 的这篇精彩访谈以及我们 smolagents 库的介绍博客文章。如需更深入地了解代理，您可以订阅我们几天后开始的代理课程：链接在此。

几乎每个人都通过玩聊天机器人体验过 LLM 的强大之处。然而，尚未被所有人意识到的是，将这些 LLM 集成到代理系统中可以赋予它们真正的超能力！

以下是一个最近的例子，比较了几个前沿 LLM 在有和没有代理框架（此处为简单的 smolagents 库）情况下的性能——使用代理框架可将性能提升多达 60 分！

事实上，OpenAI 也在其发布博客文章中强调，Deep Research 在知识密集型的“人类最后的考试”基准测试上比独立 LLM 表现出了显著更好的性能。

那么，当我们将当前顶级 LLM 集成到代理框架中，朝着 open-DeepResearch 努力时，会发生什么？

简要说明：我们将在相同的 GAIA 挑战上对我们的结果进行基准测试，但请记住，这是一项正在进行的工作。DeepResearch 是一项巨大的成就，其开放复现需要时间。特别是，完全对等将需要改进的浏览器使用和交互，如 OpenAI Operator 所提供的，即超越我们在这一初步步骤中探索的当前纯文本网络交互。

让我们首先了解挑战的范围：GAIA。

GAIA 基准测试

GAIA 可以说是最全面的智能体基准测试。它的问题非常困难，触及了基于大语言模型系统的许多挑战。下面是一个难题示例：

2008年画作《乌兹别克斯坦刺绣》中展示的水果，哪些曾作为1949年10月为某远洋客轮提供的早餐菜单的一部分，而该客轮后来被用作电影《最后的航行》的漂浮道具？请以逗号分隔的列表形式给出这些水果，按照画作中的布局，从12点钟位置开始，顺时针顺序排列。每种水果使用复数形式。

可以看到，这个问题涉及多个挑战：

以受限的格式回答，
使用多模态能力（从图像中提取水果），
Gathering several pieces of information, some depending on others:
- 识别图片中的水果
- 找出哪艘远洋客轮被用作《最后的航行》的漂浮道具
- 查找上述远洋客轮1949年10月的早餐菜单
按正确顺序将解决问题的轨迹串联起来。

解决这个问题需要高层次的规划能力和严谨的执行力，而这正是单独使用LLM时面临困难的两个领域。

因此，它是智能体系统的绝佳测试集！

在GAIA的公开排行榜上，GPT-4在没有任何智能体设置的情况下使用时，在验证集上的得分甚至不到7%。而另一方面，借助Deep Research，OpenAI在验证集上达到了67.36%的得分，高出了一个数量级！（尽管我们不知道他们在私有测试集上的实际表现如何。）

让我们看看能否用开源工具做得更好！

构建一个开放的Deep Research

使用CodeAgent

我们将要解决的优于传统AI智能体系统的第一个改进是使用所谓的“代码智能体”。正如Wang等人（2024）所示，让智能体用代码表达其动作有几个优势，但最显著的是代码是专门为表达复杂的动作序列而设计的。

考虑Wang等人给出的这个例子：

这突出了使用代码的几个优势：

Code actions are much more concise than JSON.
- 需要运行4个并行流，每个流包含5个连续动作？在JSON中，你需要生成20个JSON块，每个都在单独的步骤中；而在代码中，只需1步。
- 平均而言，论文显示代码动作比JSON少需要30%的步骤，这相当于生成的token数量也相应减少。由于LLM调用通常是智能体系统的规模成本，这意味着你的智能体系统运行成本降低了约30%。
代码能够复用常见库中的工具
Better performance in benchmarks, due to two reasons:
- 表达动作的方式更直观
- LLM在训练中大量接触代码

上述优势在我们对agent_reasoning_benchmark的实验中得到了证实。

从构建smolagents中，我们还可以引用一个值得注意的额外优势，即更好地处理状态：这对多模态任务尤其有用。需要将这张图片/音频/其他内容存储起来以备后用？没问题，只需将其作为状态中的一个变量赋值，你就可以在4步之后重新使用它。而在JSON中，你不得不让LLM在字典键中命名它，并相信LLM之后会理解它仍然可以使用它。

制作合适的工具 🛠️

现在我们需要为智能体提供合适的工具集。

1. 一个网络浏览器。虽然要达到巅峰性能，离不开像 Operator 这样成熟的网络浏览器交互，但我们在初次概念验证时，是从一个极为简易的文本型网络浏览器起步的。你可以在这里找到相关代码。

2. 一个简单的文本检查器，能够读取多种文本文件格式，详情见此处。

这些工具源自微软研究院出色的 Magentic-One 智能体，向他们致敬！我们未做太多改动，因为我们的目标是在尽可能低的复杂度下达到最高性能。

以下是我们认为能显著提升这些工具性能的简要改进路线图（欢迎提交PR贡献你的力量！）：

扩展可读取的文件格式种类。
提出更精细的文件处理方案。
将网页浏览器替换为基于视觉的版本，我们已在此处着手进行。

成果 🏅

在我们超过24小时的复现冲刺中，我们已经见证了智能体在GAIA上的性能稳步提升！

从之前开放框架的SoTA——Magentic-One约46%，我们迅速提升到了目前验证集上55.15%的性能。

这一性能跃升主要归功于让我们的智能体以代码形式编写其操作！实际上，如果改用标准智能体，以JSON而非代码形式编写操作，同一设置的性能立即下降至验证集平均33%。

这里是最终智能体系统。

我们已在此处搭建了实时演示，供您体验！

然而，这仅仅是开始，还有许多需要改进之处！我们的开放工具可以优化，smolagents框架也能调整，我们更期待探索更好的开放模型以支持智能体性能。

我们诚邀社区加入这一努力，共同利用开放研究的力量，构建一个出色的开源智能体框架！它将使任何人都能在自己的设备上，使用他们喜爱的模型，通过完全本地化和定制化的方式运行类似DeepResearch的智能体！

社区复现

在我们专注于此并进行GAIA的同时，社区中涌现了其他优秀的Deep Research开源实现，特别来自

这些实现各自采用不同的库来索引数据、浏览网页和查询大语言模型。在此项目中，我们希望复现OpenAI提出的基准测试（平均pass@1分数），并记录我们转向开源大语言模型（如DeepSeek R1）和视觉语言模型后的发现，对比传统工具调用与代码原生智能体的性能。

最重要的后续步骤

OpenAI的Deep Research很可能得益于他们随Operator推出的优秀网页浏览器。

因此，我们接下来就要解决这个问题！更广泛地说：我们将构建GUI智能体，即“能查看你的屏幕并直接通过鼠标和键盘行动的智能体”。如果你对此项目充满热情，希望通过开源让每个人都能获得这些酷炫能力，我们非常期待你的贡献！

我们也在招聘一名全职工程师来帮助我们进行这项及更多工作，如果你感兴趣就申请吧 🙂

要开始使用 Open Deep Research，请尝试这里的示例。
查看 smolagents 仓库。
阅读更多关于 smolagents 的文档、介绍博客文章。