跳到正文
原文
Hugging Face Blog·· 16 小时前精选AI 评分72

NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2 数据管线

NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

AI 导读

NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe，把多语言转写、说话人分离、翻译和音频问答合入同一个 checkpoint，支持 40 种语言转写、31 种语言与英文互译、13 种语言说话人分离，可处理最长 1 小时录音并标记最多 8 位说话人。

推荐理由

文章给出该模型在多语言转写与说话人分离榜单上的位置，以及从提示词到微调的完整适配路径，便于判断落地成本。

正文 · AI 翻译

一个开放模型，支持多语言转写、说话人归属、翻译和音频问答，在排行榜上名列前茅，并附带开放的 Granary v2 数据流水线和微调方案以便适配。

转写文本可以记录每一个说出的词，却仍让用户或应用不知道是谁说的、如何翻译，或如何格式化领域特定术语。多语言通话、快节奏会议和医疗口述各自需要不同的输出：翻译、说话人标签或拼写正确的医学术语。

NVIDIA Nemotron 3.5 Transcribe 是一个开放权重、可提示的模型，可将录制语音转化为有用的文本，现已在 Hugging Face 和 ModelScope 上提供。它将转写、说话人归属（说话人分离）、翻译和音频问答整合到一个检查点中：可转写 40 种语言，可将其中 31 种语言与英语互译，并可在 13 种语言中进行说话人归属。它可处理长达一小时的录音，并标注最多八位说话人。开发者可以用自然语言引导输出，选择音频处理的位置，并使识别适配领域词汇和口音。

Transcribe 在 Hugging Face Open ASR Leaderboard 的英语开放权重模型中排名第一，并位于 Artificial Analysis 的准确率–活跃参数前沿。在说话人归属方面，它在 David AI 的 21 语言说话人分离排行榜上录得最低错误率，并在 VoiceArena 的 14 系统对比中排名第一。它可在单块 NVIDIA GPU 上运行，从 DGX Spark 到 Blackwell 数据中心系统均可。

Granary v2 的多语言数据（可在 Hugging Face 和 ModelScope 上获取）和可复用的数据整理流水线，连同 NeMo Speech 微调工具，将提示级控制扩展到训练：开发者可以定义所需的书面形式，并使模型适配其应用所遇到的语音。在一项医疗案例研究中，微调将留出说话人的词错误率（WER）相对于最佳提示降低了 45.8%。

用自然语言引导转写和分析

同一个检查点可以根据指令将一次会议录音转化为不同的输出：

  • “转写这段录音并标注每位说话人。”
  • “将这段音频翻译成英语。”
  • “这次会议做出了哪些决定？”

在下方视频中体验该模型的实际运行，它处理了 1940 年怪诞喜剧《女友礼拜五》中的经典场景——这部电影以其快速、大量重叠的对白而闻名。

Nemotron 3.5 Transcribe 为《女友礼拜五》（1940）中的一幕生成字幕并标注说话人，包括重叠对白。

对于不熟悉的术语，先尝试提供上下文，再进行训练。例如在医疗场景中：

Transcribe this medical discussion in the original language. Possible terms: HbA1c, metformin. Use these terms only when supported by the audio. Preserve standard medical spelling and write numbers in conventional written form.

模型卡提供了推荐预设，包括音频问题的推理，以及完整的提示指南和按语言划分的任务矩阵：语言支持因任务而异，音频问答以英语训练。还支持词级时间戳。与任何语音模型一样，请对照录音抽查姓名、说话人变化和答案。

从直播课堂到持久的课程。 Agora 的实时语音和视频平台为应用中的实时对话提供支持，它在课堂演示中使用了词级时间戳：Nemotron 3.5 Transcribe 将录制的课程转成转录文本，与回放一同显示，让学生既能听到说了什么，也能知道何时说的。Agora 的博客详细介绍了他们是如何构建的。

从转录到说话人归属，排行榜全面领先

在开放权重模型中，Transcribe 在“说了什么”上领先；在“谁说的”上，它直接登顶两项说话人归属基准测试。

Hugging Face Open ASR Leaderboard。该排行榜以词错误率（WER）衡量公开测试集上的转录准确率，分为三个赛道：

  1. 英语：在开放权重模型中排名第一，平均 WER 为 5.33%（图 1）。
  2. 多语言：七种语言的平均 WER 为 4.62%，在模型卡片的 Open ASR 对比中为已评估开放权重模型中的最低值。
  3. 长音频：平均 WER 为 10.98%，同样为该对比中的最低值。

Hugging Face Open ASR English Open (2) Leaderboard table showing model rankings on the Hugging Face English Open ASR leaderboard, with columns for rank, model, average WER, RTFx, and dataset scores. nvidia/Nemotron-3.5-Transcribe is ranked first among open-weight models with an average Word Error Rate (WER) of 5.33% and an RTFx of 462.09.

图 1。Nemotron 3.5 Transcribe 在 Hugging Face Open ASR Leaderboard（英语）上以 5.33% 的平均 WER 在开放权重模型中排名第一，API 模型不计入。WER 越低，表示转录错误越少。

Artificial Analysis Speech-to-Text Leaderboard。Artificial Analysis 以其词错误率指数 AA-WER 独立对语音转文本模型进行排名。Nemotron 3.5 Transcribe 以 2.8% 的 AA-WER 在开放权重模型中并列第一，其激活参数约为 4B，而与之并列的模型为 24B。在 AA-AgentTalk（占 AA-WER 指数 50% 的留出语音智能体语音集）上，Transcribe 的 WER 为 1.8%，而次优开放权重模型为 2.3%。Transcribe 将其语音编码器与混合 Mamba–Transformer 专家混合语言模型搭配，因此其 30B 参数中每个 token 仅有约 4B 处于激活状态。这使它在 Artificial Analysis 的开放权重准确率与激活参数帕累托前沿上占有一席之地。在 AA 的全模型图表中，它排在若干广泛使用的专有语音 API 之前。

ArtificialAnalysis-WER vs Model Size (Open Weights) (22 Oct '26)Scatter chart from Artificial Analysis plotting word error rate (AA-WER, non-streaming) against active parameters on a log scale for open-weight speech models. Nemotron 3.5 Transcribe sits on the Pareto frontier at about 4B active parameters and 2.80% WER.

图 2。以约六分之一的激活参数实现领先的 AA 准确率：Nemotron 3.5 Transcribe 以约 4B 激活参数达到 2.80% 的 AA-WER。

跨语言与重叠语音的说话人归属。Sortformer 说话人线索与声学特征一同到达语言模型，因此 Transcribe 可以在生成过程中标记每个话轮，而不必仅依赖后续步骤将说话人与词关联。

David AI DAI-ASR-I18N Leaderboard。在 David AI 的 DAI-ASR-I18N 转录与说话人归属联合赛道上，Transcribe 在已评估的开放权重模型中排名第一，总排名第二。在该基准的说话人分离赛道（对 21 种语言评分“谁在何时说话”）上，它在所测试的 14 个系统中拥有最低的说话人分离错误率，略领先于 NVIDIA 专用的 Nemotron 3 Diarization 模型。

DavidAI_Nemotron_3.5_Transcribe_Diarization_Accuracy Bar chart from David AI’s DAI-ASR-I18N benchmark ranking diarization systems by overall diarization error rate (DER) across 21 languages, where lower is better. Nemotron 3.5 Transcribe ranks first at 18.26%, followed by Nemotron 3 Diarization at 18.38%; the remaining open-weight and proprietary systems range from 22.85% to 37.55%

图 3。NVIDIA 模型在 David AI 的多语言说话人分离排行榜上占据前两名：Nemotron 3.5 Transcribe 创下最低的整体说话人分离错误率（DER），21 种语言平均为 18.26%，紧随其后的是 Nemotron 3 Diarization，为 18.38%。DER 衡量说话人时间错误；越低越好。

VoiceArena Diarization-Bench。在VoiceArena 的英语全时段基准测试中，Transcribe 在 14 个系统中取得了最低的拼接最小置换词错误率（cpWER），并在面对面和在线两种场景中均排名第一。它的漏词也最少：删除词占参考词的 8.32%，而中位数约为 31%。

VoiceArena_Track2_cpWER_ranking_1Bar chart from VoiceArena’s Diarization-Bench v1 ranking 14 diarization-plus-ASR systems on English full sessions with overlapping speech by concatenated minimum-permutation word error rate (cpWER), where lower is better. NVIDIA Nemotron 3.5 Transcribe ranks first at 32.4%, followed by NVIDIA Multitalker Parakeet \+ Nemotron 3 Diarization at 34.2%; the remaining systems range from 34.7% to 71.9%

图 4。NVIDIA 模型在VoiceArena 的 14 系统对比中占据前两名：Nemotron 3.5 Transcribe 以 32.4% 的 cpWER 领先，NVIDIA Multitalker Parakeet 搭配 Nemotron 3 Diarization 以 34.2% 紧随其后。Diarization-Bench v1 涵盖英语全时段、重叠语音以及 2–8 位说话人。cpWER 在匹配说话人标签后统计词错误；数值越低越好。

更多评测。Ocular AI 的 Converse-STT 评测将 Transcribe 列为排名第一的开源模型。Josh Talks 的Voice of India排行榜报告了 Transcribe 在多种印度语言上的结果。

从边缘到数据中心均可运行。Transcribe 可在单块 NVIDIA GPU 上运行，从 Jetson AGX Thor 和 DGX Spark 到 Blackwell 数据中心 GPU。在一块采用 NVFP4 精度的 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上，它以高并发处理 30 秒片段时，可在三分钟内处理 100 小时音频。

今天即可用vLLM部署该检查点，或用NeMo-Speech.cpp在本地运行。Transcribe 面向录制音频，而非实时流式传输。

专业录音仍可能需要针对领域词汇和转写惯例进行适配。Granary v2 和 NeMo Speech 微调可解决这一问题，起点是 Transcribe 背后的数据。

Granary v2：Transcribe 背后的开放数据整理流水线

可提示的语音模型需要具有明确格式目标的训练数据。Granary v2 是 Hugging Face 和ModelScope 上Nemotron 语音集合的一部分。它使用NVIDIA NeMo Curator构建，其可复用流水线准备了 Nemotron 3.5 Transcribe 训练中使用的多语言语音，生成了对齐的转写变体、任务标签和可检查的质量元数据。公开清单涵盖 48 种语言、16 个源语料库，共 463,062 小时，相比Granary v1 的 25 种语言有所增加。这些数字描述的是数据集发布版本，而非 Transcribe 的完整训练混合数据或其采样权重。

Granary v2 为每段录音生成三种转写形式（表 1），即开发者可以通过提示向 Transcribe 请求的逐字风格和干净风格。除转写外，该流水线还生成短音频描述、外来词语码转换还原、基于语音的问答对、上下文 ASR 偏置词，以及带自动质量评分的翻译。

训练目标 示例转写
文本规范化、逐字 I paid, uh, twenty-five euros.
逆文本规范化、含不流畅 I paid, uh, €25.
逆文本规范化、不含不流畅 I paid €25.

表 1。Granary v2 针对同一话语的训练目标。

该流水线分为四个可复用阶段：

  • 1. 音频准备（元数据）：对原始或长时段音频进行分段，在整个录音中跟踪说话人，并标记声学事件和语言。Granary v2 的源数据已经过分段，因此本次发布跳过了此阶段。
  • 2. 转录（ASR）：将每种语言路由到主用和备用 ASR 模型，当主用模型未通过幻觉检查时回退到备用模型。人工参考转录有助于保留可信拼写，同时补充口语形式和口语不流畅现象。
  • 3. 任务标签生成（文本）：派生转录变体，然后检查字符率、幻觉模式以及模型或人工参考的一致性。只有通过验收的记录才会获得上下文 ASR 术语和翻译。
  • 4. 高保真（HiFi）：过滤掉噪声、削波或包含多说话人的片段，保留一小部分高质量录音用于 ASR 之外的用途。对于 VoxPopuli 数据集，它将 22 种欧洲语言的 354k 小时缩减至 111k 小时。

fig6-granary-v2-pipeline-redesign Diagram of the Granary v2 curation pipeline following one roughly 12-minute sample from raw audio to a training target. The Metadata pipeline segments the audio with voice activity detection and diarization and identifies the language. The ASR pipeline transcribes a segment with a primary and a fallback model and keeps the best prediction, “Like, Granary-v2 is, uh, making every word matter.” The Text pipeline derives tn_raw, itn_raw, and itn_clean transcripts, plus translations, a caption, a speech Q&A pair, and context-ASR terms. The training view packs these into an instruction pair that maps “Transcribe without disfluencies” to “Granary-v2 is making every word matter.”

图 6. Granary v2 数据整理流水线，展示一个样本从原始音频经过元数据、ASR 和文本阶段到训练示例的过程。

开发者可以使用 Ray 和 NVIDIA Dynamo 后端，在自有录音或经授权的公共语料库上运行 NeMo Curator 流水线，或基于 Granary v2 公共清单进行构建。清单包含三种转录形式，即 tn_raw、itn_raw 和 itn_clean，以及上述标签、实体提示、派生指令对、来源信息和每条记录的质量标记。请根据各语料库的原始许可证单独下载源音频，并遵守发布版本中公布的条款。

让识别适应真正重要的词汇

从指定语言、文字和转录格式的开发集提示开始。在下面的案例研究中，在提示中指定英语和拉丁字母将完整基准的 WER 从 30.8% 降低到 23.8%。对于仍然存在的领域错误，NeMo Speech 微调工作流将代表性语音与明确的书面目标配对。

NeMo Speech 医疗 ASR 案例研究在 Eka Care 的开放基准上展示了这一进展，该基准包含来自印度医生和医学生的录音，共有 3,619 个片段，且没有指定的训练集划分。该研究从生成的医学文本和公开药品目录构建适应数据，然后结合约 153 小时的合成语音、来自 Common Voice 的 29 小时带口音英语，以及来自 MultiMed 的 63 小时医疗录音。

fig7-eka-care-62pct-rebrand Bar chart titled “62% fewer transcription errors” for the Eka Care medical ASR benchmark of Indian medical speech. On the full test set, word error rate falls from 30.8% out of the box to 23.8% with a better prompt that names English and the Latin alphabet, and to 11.8% after fine-tuning. Side labels note about 14 GPU-hours on one NVIDIA GB300 and about 153 hours of synthetic speech plus 92 hours of public accented and medical speech

图 7. 在 Eka Care 印度医疗语音基准的完整测试集上，更好的提示将 WER 从 30.8% 降低到 23.8%，微调将其降至 11.8%，与开箱即用的模型相比，转录错误减少约 62%。完整集包括用于选择提示和检查点的 855 个调优片段；下面的留出结果才是更干净的测试。

合成生成将书面目标与其口语呈现分离：“HbA1c”是标签，而“H B A one C”则发送给合成器。多种 TTS 语音拓宽了音频；真实录音增加了口音和录音条件。训练文本经过过滤，以与基准参考精确匹配并共享八词序列。

与 Granary v2 的显式目标一致，训练样本会变化数字、单位间距、公司名称展开形式以及品牌名中的连字符，并由指令明确所需遵循的约定。部分提示中包含带有近似干扰项的词表，使模型学会仅在音频支持时才采用某种拼写。最终系统使用一个固定的约定提示和一次模型推理，不进行检索或转写后处理。

该方案训练语音编码器和投影层，并使用 LoRA 适配语言模型。两次训练使用不同的数据混合比例；在合并适配器后，选取的检查点被均匀平均为一个最终模型。检查点选择依据解码后的开发集结果，而非仅依赖训练损失。从文本生成到评估的整个适配过程，在一块 NVIDIA GB300 上耗时约 14 GPU 小时。

在留出说话人上测得的领域增益

该研究按说话人划分基准，分为 855 个调优片段（用于选择提示和检查点）和 2,764 个留出片段（每个最终系统仅解码一次）。使用 Eka Care 的 KARMA 评分流水线，微调将留出集 WER 从最佳提示基线的 22.44% 降至 12.17%，相对降低 45.8%，这是增益可泛化到新说话人的最清晰证据。关键词 WER 从 9.2% 降至 6.5%，语义 WER 从 10.0% 降至 7.6%。在相同的留出说话人和评分器上，适配后模型的 12.17% WER 优于一个开放医疗专用模型（13.79%）和一个广泛使用的通用 ASR 模型（14.92%）。

在通用英语上，LibriSpeech test-clean 的 WER 略有上升，从 1.54% 升至 1.69%。医疗专用模型在品牌药名和诊断名称的精确匹配上仍占优势；该研究指出，下一步是使用临床医生说出品牌名的真实录音。对于你自己的领域，请保留至少 100 个真实的、带标注的片段用于检查点选择，并在评估通用语音保持能力的同时，评估你的应用所依赖的实体类型。

该案例研究包含可复现每个步骤的命令。微调教程涵盖训练方案、资源需求以及训练、导出和评估工具，包括新语言和语码转换 ASR。配套的 agent skill 让编码智能体能够运行整个工作流，从基线选择和数据检查到训练验证、适配器合并和评估。

ModelScope 还让开发者能够通过其 ms-swift 框架微调 Nemotron 3.5 Transcribe，以用于专门的多模态应用。

开始使用 Nemotron 3.5 Transcribe 和 Granary v2

在 Hugging Face 演示或 ModelScope Studios 中试用 Nemotron 3.5 Transcribe，然后从 Hugging Face 或 ModelScope 下载检查点，并使用 vLLM 部署指南进行部署。

如需跳过自托管，可使用来自 Baseten、DeepInfra 或 Simplismart 的托管端点。

要将其适配到你的领域，请从 Hugging Face 或 ModelScope 上的 Granary v2 manifest 以及医疗 ASR 案例研究开始，或让编码智能体通过微调 agent skill 驱动工作流。

模型与数据集

代码仓库与教程：NVIDIA NeMo Speech GitHub | NeMo Curator Granary v2 Pipeline | vLLM 部署指南 | 语音微调指南 | 微调 Agent Skill

合作伙伴博客：Agora | Inflection AI | VoiceArena | Simplismart | DeepInfra

本地 AI：NVIDIA RTX PC、笔记本电脑和 DGX Spark 上本地 AI 的新特性

来源：Hugging Face Blog · hf-mirror.com

#模型发布#语音#多模态#开源生态#Hugging Face