H Company 发布 Holotron-12B 高吞吐 computer-use 智能体模型

我们非常高兴发布 Holotron-12B，这是来自 H Company 的多模态计算机使用模型。Holotron-12B 基于开放的 NVIDIA Nemotron-Nano-2 VL 模型，在 H Company 的专有数据混合上进行后训练，是我们研究实验室紧密合作的成果，旨在打造一种主要针对生产环境中的规模和性能进行优化的新型模型。

H Company 是 NVIDIA Inception Program 的成员。

该模型现已在 Hugging Face 上提供。

我们为何构建 Holotron-12B

如今大多数多模态模型主要针对静态视觉或指令遵循进行优化。然而，Holotron-12B 与我们的 Holo2 模型一样，有着不同的目标：作为计算机使用智能体的策略模型，这些智能体必须在交互式环境中高效地感知、决策和行动。

借助 Holotron-12B，我们希望打造一个模型，能够在生产环境中高效且有效地扩展，同时处理包含多张图片的长上下文，并且在智能体基准测试中依然表现出色。NVIDIA Nemotron 模型在推理侧提供了坚实的基础，而通过开发 Holotron-12B，我们展示了该模型经过进一步训练后能够实现多大的提升。

采用混合 SSM 架构的高吞吐量推理

Holotron-12B 在推理效率上的显著飞跃得益于其基础 Nemotron 架构，该架构采用了混合状态空间模型（SSM）与注意力机制。与纯 transformer 模型不同，这一设计针对高吞吐量服务进行了优化。状态空间模型通过避免完整注意力机制带来的二次计算成本，为长上下文推理提供了更出色的可扩展性，尤其有利于涉及多张图片和冗长交互历史的智能体工作负载。在推理方面，SSM 的主要贡献在于其大幅降低的内存占用：普通注意力会为每个 token 和每层存储 K 和 V 激活值（即众所周知的 KV Cache），而 SSM 是线性循环模型，每个生成序列每层仅存储一个恒定状态，与序列长度无关。

在 WebVoyager Benchmark 上评估时，该模型在真实世界的多模态智能体工作负载中表现出色，该工作负载具有长上下文、多张高分辨率图片以及 100 个基准 worker 的高请求并发量。在单块 H100 GPU 上运行，并使用带有最新 SSM 优化（v0.14.1）的 vLLM，Holotron-12B 实现了相比 Holo2-8B 超过 2 倍的吞吐量。这使得 Holotron-12B 成为吞吐量受限工作负载（如数据生成、标注和在线强化学习）的理想选择。

在受控实验设置中（见图 2），随着并发量增加，Holotron-12B 持续高效扩展，总 token 吞吐量稳步上升，在最大并发量为 100 时达到 8.9k tokens/s。相比之下，Holo2-8B 的总 token 吞吐量则更快地趋于平稳，为 5.1k tokens/s。这一表现凸显了 Nemotron 架构的关键优势，即更有效且更高效地利用 VRAM，以及更小的整体内存占用，从而能够在相同硬件上实现大得多的有效批大小。即使在大批大小下，Holotron-12B 也能保持强劲的吞吐量。

训练与评估 Holotron-12B

Holotron-12B 分两个阶段训练。我们从 Nemotron-Nano-12B-v2-VL-BF16 开始，这是 NVIDIA 发布的多模态基础模型。随后，我们在 H Company 专有的定位与导航数据混合集上进行了监督微调，重点关注屏幕理解、定位和 UI 级交互。

最终检查点使用约 140 亿个 token 进行训练。

Agent 基准测试

在计算机使用和导航基准测试中，Holotron-12B 相比 Nemotron 基础模型展现出显著提升，并与现有 agent 模型相比表现强劲。其 WebVoyager 表现从 35.1% 提升至 80.5%，超过了 Holo2-8B 在该基准测试上的表现，展示了该模型在 agentic 场景中高效执行的能力。

定位基准测试

Holotron-12B 在定位与 grounding 基准测试（如 OS-World-G、GroundUI 和 WebClick）上也较 Nemotron 基础模型有大幅提升。

结论

Holotron-12B 表明，NVIDIA Nemotron VL 模型在搭配正确的训练设置和基础设施工作时，为真实世界的多模态 agent 提供了坚实的基础。

该模型提供了强大的 agent 性能、显著提升的推理吞吐量，以及未来改进的清晰路径，尤其是在更高分辨率视觉训练方面。

我们期待看到其他人用 Holotron-12B 构建出什么。该模型和检查点现已在 Hugging Face 上以 NVIDIA Open Model License 提供。

下一步：以 Nemotron 3 Omni 扩展 Agentic 智能的未来

NVIDIA 今天宣布发布 Nemotron 3 Omni。基于 Holotron-12B 的成功，我们正准备对这一代多模态模型进行后训练。通过利用 Nemotron 3 系列增强的混合 SSM-Attention 和 MoE 架构基础，我们的目标是通过新宣布的 Nemotron 3 Omni 在推理能力和多模态精度方面实现更大的飞跃。随着这一演进推动 Holotron 超越研究并进入商业应用，它将为企业提供大规模自主“计算机使用”部署所需的高吞吐量、低延迟性能。