NVIDIA 发布 Nemotron 3 Nano Omni：面向文档、音频与视频智能体的长上下文全模态模型

• NVIDIA Nemotron 3 Nano Omni 是一款全新的全模态理解模型，专为真实世界文档分析、多图像推理、自动语音识别、长音视频理解、智能体计算机使用以及通用推理而构建。
• 它将 Nemotron 多模态系列从强大的视觉-语言系统扩展为更广泛的文本 + 图像 + 视频 + 音频模型。
• Nemotron 3 Nano Omni 在 MMlongbench-Doc、OCRBenchV2 等复杂文档智能排行榜上实现了同类最佳准确率，同时在 WorldSense 和 DailyOmni 等视频与音频排行榜上也处于领先地位。它在音频理解 VoiceBench 上取得了顶级准确率，并在 MediaPerf 上被评为最具成本效益的开放视频理解模型。
• 在底层，它将 Nemotron 3 混合 Mamba-Transformer 专家混合骨干网络与 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器相结合。
• 该架构旨在保留精细的视觉细节，增加原生音频理解能力，并扩展到极长的多模态上下文，以处理密集图像、文档、视频和混合模态推理。
• 训练配方采用分阶段多模态对齐与上下文扩展，随后进行偏好优化和多模态强化学习。
• 在多模态用例中，Nemotron 3 Nano Omni 相比其他方案可提供高达 9 倍的吞吐量和 2.9 倍的单流推理速度。
• 在 HuggingFace 下载 BF16、FP8 和 NVFP4 检查点。
• 有关模型架构、训练配方、数据管道和基准测试的更多信息，请阅读完整的 Nemotron 3 Nano Omni 报告。

基准测试亮点
在 Nemotron Nano V2 VL 的基础上，Nemotron 3 Nano Omni 带来了显著的视觉提升，并新增了全新的音频和视频+音频能力——同时在许多领域领先另一个开放权重全模态模型 Qwen3-Omni。

效率亮点
与其他具有相同交互性的开放全模态模型相比，Nemotron 3 Nano Omni 在多文档用例中提供 7.4 倍更高的系统效率，在视频用例中提供 9.2 倍更高的系统效率
图 1. 各模型在固定的每用户交互性阈值（tokens/秒/用户）下，多文档和视频用例所维持的总系统吞吐量

Nemotron 3 Nano Omni 的设计用途

从高层来看，Nemotron 3 Nano Omni 面向五类工作负载：

1. 真实世界文档分析

这不仅仅是 OCR。该模型定位于冗长、杂乱、高价值的文档，其理解依赖于布局、表格、图表、公式、章节结构和跨页引用。比如合同、技术论文、报告、手册、多页表单或合规文件包。该模型可以处理 100 页以上的文档。

2. 自动语音识别

Nemotron 3 Nano Omni 具备强大的语音理解能力，能够在各种音频条件下实现高质量转录。它可以处理包含不同说话人、口音和背景噪声的长音频。这些能力可以集成到更广泛的工作流程中，让口语内容被转录、分析，并与其他模态结合，用于摘要、问答和跨模态推理等任务。

3. 长音频-视频理解

许多企业和开发者工作流程依赖于混合的音频和视觉证据：带旁白的屏幕录制、培训视频、带幻灯片的会议、教程、产品演示、客户支持记录以及长视频档案。Nemotron 3 Nano Omni 专为对这些输入进行联合推理而构建。

4. 智能体计算机使用

Nemotron 3 Nano Omni 模型专门针对智能体计算机使用进行了训练，使其能够协助完成图形用户界面（GUI）环境中的任务。其能力包括解读屏幕截图、监控用户界面状态、将推理建立在屏幕视觉内容之上，以及协助动作选择或工作流自动化。

5. 通用多模态推理

该模型的设计不止于感知。它擅长推理密集型任务，这些任务需要跨长上下文窗口、多种模态以及结构化或半结构化证据综合信息。它可以执行多步推理、进行计算，并连接来自文本、图像、表格和其他输入的信号，从而得出连贯且有充分支持的答案。

模型架构与关键创新

Nemotron 3 Nano Omni 采用统一的编码器-投影器-解码器设计。语言主干是 Nemotron 3 Nano 30B-A3B，搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器。各模态专用编码器通过轻量级投影器连接到 LLM 主干。

图 2. NVIDIA Nemotron 3 Nano Omni 30B-A3B 的模型架构

面向长多模态上下文的混合 Mamba-Transformer-MoE 主干

模型主干交错融合了三个关键组件：23 个 Mamba 选择性状态空间层，用于高效的长上下文处理；23 个 MoE 层，具有 128 个专家、top-6 路由和一个共享专家以实现条件容量；以及 6 个分组查询注意力层，以保持强大的全局交互和表达能力。

Nemotron 3 Nano Omni 将状态空间模型、注意力和 MoE 结合在统一设计中，在保持强大推理性能的同时，对长多模态上下文仍然实用。

面向密集文档、图表和屏幕的动态分辨率

在视觉方面，Nemotron 3 Nano Omni 用原生宽高比下的动态分辨率处理取代了 v2 模型中使用的分块策略。每张图像可以使用可变数量的 16 x 16 图块来表示，每张图像最少 1,024 个、最多 13,312 个视觉图块。对于正方形图像，这分别相当于 512 x 512 和 1840 x 1840。

这种灵活性对于处理高分辨率、复杂的视觉输入至关重要，例如OCR密集型文档、财务表格、幻灯片、研究图表、截图和GUI布局——尤其是在需要同时理解细节和整体结构时。

用于视频的Conv3D时间压缩

对于视频，Nemotron 3 Nano Omni使用专用的Conv3D tubelet嵌入路径。它不是独立嵌入每一帧，而是在ViT之前将每对连续帧融合成一个单一的“tubelet”，从而将语言模型需要关注的视觉token数量减半。这使我们能够在相同的token预算下将帧数加倍，或在相同的帧数下将token数减半

EVS — 高效视频采样

EVS是一项重要功能，在推理时启用，可在视觉编码器之后丢弃冗余的视频token。这降低了延迟并提高了吞吐量，同时保持了准确性。视频的第一帧被完整保留，然后对于每个后续帧，EVS保留视频正在变化的“动态”token，并丢弃与前一帧相比没有变化的“静态”token。我们将此与Conv3D结合以实现卓越的压缩效果：Conv3D将成对帧的token融合为一个，然后EVS剪除冗余的静态信息。

原生音频输入，而不仅仅是文本转录

音频部分由Parakeet-TDT-0.6B-v2提供支持，通过其自身的2层MLP投影器连接到主干网络。音频以16 kHz采样，模型使用高达1,200秒（20分钟）的输入进行训练，而LLM的最大上下文长度支持5小时以上。

这代表了从传统VLM管线的转变，通过在共享的多模态序列中启用原生音频处理，允许音频、视觉和文本token联合建模。这对于旁白屏幕录制、语音改变视觉含义的视频问答、长篇教学或会议内容，以及需要时间对齐的多模态推理的任务等场景至关重要。

轻量级模态投影器和统一的token交错

每个编码器通过一个轻量级的2层MLP投影器连接到LLM，将编码器特征映射到共享嵌入空间。投影后，视觉、音频和文本token被交错并联合处理。

这种设计保持了整体系统的模块化，同时仍然在主干网络内部实现了真正的跨模态推理。

训练数据、基础设施和系统故事

SFT阶段在NVIDIA H100上训练，根据阶段不同，规模从32个节点扩展到128个节点。技术栈使用Megatron-LM、Transformer Engine和Megatron Energon，并采用张量并行、专家并行、序列并行、长上下文阶段的上下文并行、在线序列打包和选择性激活重计算。

SFT 后的强化学习使用了 NeMo-RL 和 NeMo Gym，并采用 Megatron 后端。强化学习基础设施在 B200 和 H100 集群上使用了基于 Ray 的分布式设置，再加上多模态去重，因此重复的 rollout 不会导致图像、视频和音频内存成倍增加。

我们开源了训练代码的很大一部分。

使用强化学习塑造可靠的多模态行为

我们在 Nemotron 3 Nano Omni 中引入了多环境文本和全模态训练。我们的文本强化学习训练阶段在 Nemo-Gym 中的多样化环境中进行，用于评估模型执行一系列动作的能力，例如工具调用、编写代码以及满足可验证标准的多部分规划。

全模态强化学习训练模型在统一框架内跨图像、视频、音频和文本进行推理，涵盖从单模态到完全多模态场景的任务。多样化的验证器套件评估多种格式的输出，如多项选择、数学、GUI 定位和 ASR，同时有意加入无法回答的案例，以教导模型在证据不足时放弃回答，而不是产生幻觉。

数据和数据管道

Nemotron 3 Nano Omni 在增强数据集上进行训练，该数据集强调跨多种模态的高质量推理。我们显著扩展了任务覆盖范围，并为公共数据集有限的复杂推理场景引入了合成数据。为支持这一点，我们构建了针对特定任务的多阶段管道，以实现可扩展的合成数据生成。

举个例子，我们使用 NeMo Data Designer 从大量真实世界 PDF 语料中生成了约 1140 万个合成问答对（约 450 亿个 token）。该数据集用于在后期训练中增强长上下文文档推理，并在 MMLongBench-Doc 上实现了整体准确率 2.19 倍的提升。

我们在 Data Designer 开发者笔记中详细介绍了完整的管道演进过程，包括失败分析和关键经验教训。该笔记还包含 九个可运行的管道配方，可作为构建你自己的文档理解数据集的起点。

示例工作流

示例 1：长篇多页文档分析

Nemotron 3 Nano Omni 可以分析和推理长篇文档，例如财务报告、学术论文、产品手册等。以下示例在 100 多页的文档中检索财务指标，以计算另一个指标：

图 3：来自 MMLongBench-Doc 基准的示例（已风格化）

模型被提示按如下方式回答问题：

Extract information from all the given images, then answer the question using a single word or phrase. Return 'Not answerable' if the answer cannot be derived from the the images.

该模型能够一次性完成长上下文检索、结构化提取、表格/图表阅读和多页推理。

示例 2：视频 + 音频理解

Nemotron-3 Nano Omni 执行联合音视频分析，既可以在局部针对特定场景，也可以在全局针对整个视频。这使其能够回答需要跨模态推理的复杂问题——例如在音频中提到某个特定主题时准确识别所显示的具体视觉内容。

视频

问题

Watch the video and listen to the narration.
1.What structure is on fire as shown in the video and how much money was being spent in its renovation project ? 
2. Describe in short what visuals are shown when the eye-witness narrates her experience?

答案

1. The structure on fire is the Notre Dame Cathedral, which was undergoing an almost $7 million renovation project.

2. When the eye-witness narrates her experience, the visuals show the cathedral engulfed in flames and thick smoke, scaffolding surrounding the burning roof, firefighters using ladders to spray water, a crowd of people watching from the riverbank, and views of the burning structure against the Paris skyline.

示例 3：代理式计算机使用 / 截图推理

Nemotron 3 Omni 可集成到代理式计算机使用系统中，对用户意图进行推理、分析 GUI 元素并执行操作以完成任务。

该模型被赋予了一个 Web 环境访问权限，并附带以下系统提示：

You are a GUI agent. You are given an instruction, a screenshot of the screen and your previous interactions with the computer. You need to perform a series of actions to complete the task. The passoword of the computer is {password}.

For each step, provide your response in this format:
{thought}
## Action:
{action}
## Code:
{code}

In the code section, the code should be either pyautogui code or one of the following functions wrapped in the code block:
- {"name": "computer.wait", "description": "Make the computer wait for 20 seconds for installation, running code, etc.", "parameters": {"type": "object", "properties": {}, "required": []}}
- {"name": "computer.terminate", "description": "Terminate the current task and report its completion status", "parameters": {"type": "object", "properties": {"status": {"type": "string", "enum": ["success", "failure"], "description": "The status of the task"}, "answer": {"type": "string", "description": "The answer of the task"}}, "required": ["status"]}}

用户指令

Find the Driver License Eligibility Requirements

模型回复：
上方 GIF 展示了代理为满足用户请求所执行的操作

1. 它点击了“License & IDs”选项卡
2. 然后从下拉菜单中点击“Driver’s License”
3. 接着点击左侧的“Driver’s License Eligibility”
4. 它在该页面上向下滚动再向上滚动
5. 最后为用户生成以下回复：

Successfully found the Driver License Eligibility Requirements page on the Virginia DMV website. The page contains comprehensive information about driver license eligibility including:

**General Requirements:**
- Must be a resident of the Commonwealth of Virginia
- Must be at least 16 years and 3 months of age

**First Time Drivers:**
- Must complete a state-approved driver education program
- Must obtain a learner's permit at least 60 days before taking the road skills test
- Must be at least 15 years and 6 months of age for a learner's permit
- No exceptions to age requirements

**New Residents:**
- Temporary residents: must obtain license within 6 months
- Permanent residents: must obtain license within 1 year

**Military Personnel:**
- Active-duty members of the Armed Forces stationed in Virginia
- Spouses and dependents 16 years and 3 months or older may drive with valid out-of-state license
- If vehicle is co-owned and out-of-state plates are used, all co-owners must be active duty members

**Out-of-State Students:**
- Full-time students enrolled in accredited Virginia schools (not employed) may drive with valid out-of-state license
- Full-time students who are employed are considered Virginia residents for vehicle laws

**Non-Residents:**
- Non-residents temporarily living in Virginia may drive with home state license for no more than 6 months
- Note: This does not apply to commercial vehicle drivers
- If becoming gainfully employed, must hold Virginia driver's license

**Identification and Residency Requirements:**
- Proof of identity (acceptable documents listed in DMV 141)
- Proof of legal presence in the U.S.
- Proof of Virginia residency
- Proof of Social Security number
- Proof of name change (if applicable)

Additional resources available: interactive document guide, "Acceptable Documents for Obtaining a Driver's License or Photo ID Card" (DMV 141), and Spanish language version.

示例 4：混合文档 + 图表 + 旁白推理

Nemotron-3 Nano Omni 可以分析图像中展示的图表、图形以及音频文件，从而生成跨媒体之间的共性、差异。

图像

音频

问题

Use both the slide content and the spoken commentary.
List out any extra points mentioned by the speaker that is not shown in the slide

回答

Based on the speaker's commentary and the visual content of the slide, here are the extra points mentioned that are not explicitly shown or detailed in the slide:

*   **The Topic:** The speaker explicitly states she will be covering **multitask learning** with neural networks, while the slide title is simply "Some notation" (though it contains the mathematical definitions for tasks).
*   **Nature of the Output:** She describes the output ($y$) as a **probability distribution** over possible labels (e.g., tiger, tiger cat, lynx, cat), whereas the slide only shows a bar chart with class labels without explicitly labeling the vector as a distribution.
*   **Specific Task Example (Paper Titles):** She introduces a concrete example where the input is the **title of a paper** and the neural network is tasked with estimating the **length of the paper**. The slide shows "length of paper" near the bar chart, but does not visually distinguish how a paper title maps to these bars versus representing animal classes.
*   **Optimization Techniques:** She mentions that the loss function is typically optimized using **stochastic gradient descent** or a **"favorite optimizer,"** which are procedural steps not written on the slide (which only defines the loss function $\mathcal{L}$ to minimize).
*   **Input Diversity:** She specifies that inputs can be a **"wide range of unstructured inputs,"** specifically mentioning **images** and **text**. The slide visually displays a single image (a structured input) and uses a generic variable $x$ for the input class.

示例 5：声景

Nemotron-3 Nano Omni 可以分析图像中展示的图表、图形以及音频文件，从而生成跨媒体之间的共性、差异。

音频

问题

What is producing the main sound in this audio, and what does the acoustic environment suggest about where it was recorded? 

回答

The main sound is a bird chirping, and the presence of multiple bird calls and a natural, open acoustic environment suggests the recording was made outdoors in a natural setting like a forest or park.

示例 6：音乐

Nemotron-3-Nano-Omni 可以解读并推理一般音频，包括声景和环境声音。

音频

问题

What's the overall vibe of this song, and what kind of scenario would it complement well?

回答

The song has a calm, reflective, and slightly melancholic vibe, with a gentle piano melody and soft string accompaniment. It would complement a quiet, introspective scene such as a rainy evening, a peaceful walk, or a moment of personal reflection.

Nemotron 3 Nano Omni 入门

参考文献

• NVIDIA Nemotron Nano V2 VL。技术报告： https://arxiv.org/abs/2511.03929
• NVIDIA Nemotron 3：高效开放的智能。技术报告： https://arxiv.org/abs/2512.20856
• C-RADIOv4-H。Hugging Face 模型页面： https://huggingface.co/nvidia/C-RADIOv4-H
• Parakeet-TDT-0.6B-v3。Hugging Face 模型页面： https://huggingface.co/nvidia/parakeet-tdt-0.6b-v3
• Megatron-LM。GitHub： https://github.com/NVIDIA/Megatron-LM
• Transformer Engine。GitHub： https://github.com/NVIDIA/TransformerEngine
• Megatron Energon。GitHub： https://github.com/NVIDIA/Megatron-Energon