H Company 发布 GUI 自动化 VLM 系列 Holo1 与 WebClick 基准

今天，在 H Company，我们发布 Holo1，这是一个 Action Vision Language Models（VLMs）系列，以及 WebClick，一个在 Hugging Face Hub 上的全新多模态定位基准。

Surfer-H，一个像人类一样与浏览器交互的 web 原生 agent，依赖 Holo1。

Holo1

Holo1 是首个专为深度 web UI 理解和精确定位设计的开源 Action VLMs 系列。该系列包括 Holo1-3B 和 Holo1-7B 模型，其中后者在常见 UI 定位基准上达到 76.2% 的平均准确率——在小型模型中最高。H Company 已在 Hugging Face 上开源发布这些模型，以及包含 1,639 个人类风格 UI 任务的 WebClick 基准。

与 Transformers 一起使用

Holo1 模型基于 Qwen2.5-VL 架构，并且与 transformers 完全兼容。这里我们提供一个简单的使用示例。你可以按如下方式加载模型和处理器。

from transformers import AutoModelForImageTextToText, AutoProcessor
import torch
model = AutoModelForImageTextToText.from_pretrained(
    "Hcompany/Holo1-3B",
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map="auto",
)

processor = AutoProcessor.from_pretrained("Hcompany/Holo1-3B")

加载图像并预处理。

image_url = "https://huggingface.co/Hcompany/Holo1-3B/resolve/main/calendar_example.jpg" 


guidelines = "Localize an element on the GUI image according to my instructions and output a click position as Click(x, y) with x num pixels from the left edge and y num pixels from the top edge."
instruction = "Select July 14th as the check-out date"
messages = [
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "url": image_url,
                },
                {"type": "text", "text": f"{guidelines}\n{instruction}"},
            ],
        }
    ]


inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True,
).to(model.device)

我们现在可以进行推理。

generated_ids = model.generate(**inputs, max_new_tokens=128)

decoded = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)

# Click(352, 348)

Surfer-H

Web 自动化代表了 AI 对企业最实用的应用之一，但直到现在，解决方案往往为了性能而牺牲成本效率。通过在 Hugging Face 上提供我们的 Holo1 Action Models，用户现在可以实施 web 自动化解决方案，在真实世界 web 任务上达到 92.2% 的准确率，且每项任务仅需 $0.13。

Surfer-H 依赖 Holo1 系列开放权重模型。它是一种用于完整 web 任务自动化的模块化架构，可执行阅读、思考、点击、滚动、输入和验证。它被设计为灵活且模块化，由三个独立组件组成：一个规划并驱动 agent 行为的 Policy 模型，一个理解视觉 UI 以进行精确交互的 Localizer 模型，以及一个确认任务是否成功完成的 Validator 模型。与其他依赖自定义 API 或脆弱封装器的 agent 不同，Surfer-H 完全通过浏览器运行——就像真实用户一样。

这些解决方案共同代表了 web 自动化的新前沿，实现了最先进的定位性能，并在 WebVoyager 基准上设定了成本高效 web 导航的 Pareto 前沿：

我们期待看到你会用 Holo1 构建什么！让我们在这篇博客文章和模型仓库的讨论标签下见！

引用

@misc{andreux2025surferhmeetsholo1costefficient,
      title={Surfer-H Meets Holo1: Cost-Efficient Web Agent Powered by Open Weights}, 
      author={Mathieu Andreux and Breno Baldas Skuk and Hamza Benchekroun and Emilien Biré and Antoine Bonnet and Riaz Bordie and Matthias Brunel and Pierre-Louis Cedoz and Antoine Chassang and Mickaël Chen and Alexandra D. Constantinou and Antoine d'Andigné and Hubert de La Jonquière and Aurélien Delfosse and Ludovic Denoyer and Alexis Deprez and Augustin Derupti and Michael Eickenberg and Mathïs Federico and Charles Kantor and Xavier Koegler and Yann Labbé and Matthew C. H. Lee and Erwan Le Jumeau de Kergaradec and Amir Mahla and Avshalom Manevich and Adrien Maret and Charles Masson and Rafaël Maurin and Arturo Mena and Philippe Modard and Axel Moyal and Axel Nguyen Kerbel and Julien Revelle and Mats L. Richter and María Santos and Laurent Sifre and Maxime Theillard and Marc Thibault and Louis Thiry and Léo Tronchon and Nicolas Usunier and Tony Wu},
      year={2025},
      eprint={2506.02865},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2506.02865}, 
}