跳到正文
原文
Hugging Face Blog·· 2 小时前

NVIDIA 发布 Nemotron 3.5 Transcribe 多语言语音转写模型与 Granary v2 数据管道

NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

SI 导读

NVIDIA 发布开放权重多语言语音转写模型 Nemotron 3.5 Transcribe 与 Granary v2 数据管道，支持40种语言转写、31种互译及13种语言说话人归属。

精选SI 评分63
推荐理由

NVIDIA开放权重多语言转写模型在多个基准领先，其开放的Granary v2数据管道和微调配方便于开发者适配领域词汇。

#模型发布#语音#数据/训练#开源生态#Hugging Face#部署/工程
正文 · SI 翻译

一个用于多语言转录、说话人归属、翻译和音频问答的开放模型，在排行榜上取得顶尖成绩，并附带开放的 Granary v2 数据管道和微调方案，以便进行适配。

转录文本可以捕捉每一个说出的单词，但仍可能让用户或应用程序困惑于谁说了什么、如何翻译，或如何格式化特定领域的术语。多语言通话、快节奏会议和医疗听写各自需要不同的输出：翻译、说话人标签或拼写正确的医学术语。

NVIDIA Nemotron 3.5 Transcribe 是一个开放权重、可提示的模型，可将录音语音转换为有用的文本，现已在 Hugging Face 和 ModelScope 上可用。它将转录、说话人归属（diarization）、翻译和音频问答整合到一个检查点中：它可转录 40 种语言，将其中 31 种语言翻译为英语或从英语翻译，并为 13 种语言进行说话人归属。它可以处理长达一小时的录音，并标记多达八位说话人。开发者可以使用自然语言引导输出，选择音频处理的位置，并针对领域词汇和口音适配识别功能。

在英语方面，Transcribe 在 Hugging Face Open ASR 排行榜 上位居开放权重模型之首，并位于 Artificial Analysis 的准确率-活跃参数前沿。在说话人归属方面，它在 David AI 的 21 种语言 diarization 排行榜 上拥有最低错误率，并在 VoiceArena 的 14 系统对比 中排名第一。它可以在单个 NVIDIA GPU 上运行，从 DGX Spark 到 Blackwell 数据中心系统均可支持。

Granary v2 的多语言数据（可在 Hugging Face 和 ModelScope 上获取）和可复用的数据整理管道，结合 NeMo Speech 微调工具，将提示级控制扩展到训练阶段：开发者可以定义所需的书面形式，并将模型适配到其应用程序遇到的语音。在一项 医疗案例研究 中，与最佳提示相比，微调使保留说话人的词错误率（WER）降低了 45.8%。

使用自然语言引导转录和分析

同一个检查点可以根据指令将一段会议录音转换为不同的输出：

  • “转录这段录音并标记每位说话人。”
  • “将这段音频翻译成英语。”
  • “这次会议中做出了哪些决定？”

在下方视频中体验该模型的实际运行，它处理了 1940 年经典闹剧电影《His Girl Friday》（《他的女孩星期五》）中的一个场景——这部电影以其快速、大量重叠的对白而闻名。

Nemotron 3.5 Transcribe 为《His Girl Friday》（1940）的一个场景添加字幕并标记说话人，包括重叠的对白。

对于不熟悉的术语，请尝试在训练之前使用上下文。例如，在医疗保健环境中：

Transcribe this medical discussion in the original language. Possible terms: HbA1c, metformin. Use these terms only when supported by the audio. Preserve standard medical spelling and write numbers in conventional written form.

模型卡片 提供了推荐预设，包括用于音频问答的推理功能，以及完整的提示指南和按语言划分的任务矩阵：语言支持因任务而异，音频问答仅针对英语进行训练。还支持词级时间戳。与任何语音模型一样，请对照录音抽查姓名、说话人变化和答案。

从实时课堂到持久课程。Agora 的实时语音和视频平台为应用中的实时对话提供支持，其课堂演示中使用了词级时间戳：Nemotron 3.5 Transcribe 将录制的课堂转换为转录文本，并与回放一同显示，使学生能够看到说了什么以及何时说的。Agora 的博客 介绍了他们的构建过程。

从转录到说话人归属的排行榜胜利

在开放权重模型中，Transcribe 在“说了什么”方面领先；在“谁说的”方面，它在两个说话人归属基准测试中均名列前茅。

Hugging Face 开放 ASR 排行榜。该排行榜通过公开测试集上的词错误率（WER）衡量转录准确性，分为三个赛道：

  1. 英语：在开放权重模型中排名第一，平均 WER 为 5.33%（图 1）。
  2. 多语言：在七种语言中的平均 WER 为 4.62%，是模型卡中开放 ASR 比较里受评估的开放权重模型中最低的。
  3. 长音频：平均 WER 为 10.98%，同样在该比较中最低。

Hugging Face Open ASR English Open (2) Leaderboard table showing model rankings on the Hugging Face English Open ASR leaderboard, with columns for rank, model, average WER, RTFx, and dataset scores. nvidia/Nemotron-3.5-Transcribe is ranked first among open-weight models with an average Word Error Rate (WER) of 5.33% and an RTFx of 462.09.

图 1. Nemotron 3.5 Transcribe 在 Hugging Face 开放 ASR 排行榜（英语）上以 5.33% 的平均 WER 在开放权重模型中排名第一，未包含 API 模型。WER 越低表示转录错误越少。

Artificial Analysis 语音转文本排行榜。Artificial Analysis 独立地通过其词错误率指数 AA-WER 对语音转文本模型进行排名。Nemotron 3.5 Transcribe 以 2.8% 的 AA-WER 在开放权重模型中并列第一，其活跃参数约为 4B，而与其并列的模型为 24B。在 AA-AgentTalk（构成 AA-WER 指数 50% 的保留语音代理语音集）上，Transcribe 的 WER 为 1.8%，而次优开放权重模型为 2.3%。Transcribe 将其语音编码器与混合 Mamba–Transformer 混合专家语言模型配对，因此其 30B 参数中每个 token 仅激活约 4B。这使其位于 Artificial Analysis 的开放权重精度与活跃参数帕累托前沿上。在 AA 的全模型图表中，它排在多个广泛使用的专有语音 API 之前。

ArtificialAnalysis-WER vs Model Size (Open Weights) (22 Oct '26)Scatter chart from Artificial Analysis plotting word error rate (AA-WER, non-streaming) against active parameters on a log scale for open-weight speech models. Nemotron 3.5 Transcribe sits on the Pareto frontier at about 4B active parameters and 2.80% WER.

图 2. 领先的 AA 精度，活跃参数约为六分之一：Nemotron 3.5 Transcribe 以约 4B 的活跃参数实现了 2.80% 的 AA-WER。

跨语言和重叠的说话人归属。Sortformer 说话人提示与声学特征一起到达语言模型，因此 Transcribe 可以在生成过程中标记每一轮对话，而不仅仅依赖后续步骤将说话人附加到单词上。

David AI DAI-ASR-I18N 排行榜。在 David AI 的 DAI-ASR-I18N 转录与说话人归属综合赛道上，Transcribe 在受评估的开放权重模型中排名第一，总体排名第二。在该基准测试的说话人分离赛道（对 21 种语言中谁在何时说话进行评分）中，它在测试的 14 个系统中拥有最低的说话人分离错误率，略高于 NVIDIA 专用的 Nemotron 3 Diarization 模型。

DavidAI_Nemotron_3.5_Transcribe_Diarization_Accuracy Bar chart from David AI’s DAI-ASR-I18N benchmark ranking diarization systems by overall diarization error rate (DER) across 21 languages, where lower is better. Nemotron 3.5 Transcribe ranks first at 18.26%, followed by Nemotron 3 Diarization at 18.38%; the remaining open-weight and proprietary systems range from 22.85% to 37.55%

图 3. NVIDIA 模型占据 David AI 多语言说话人分离排行榜 的前两名：Nemotron 3.5 Transcribe 在 21 种语言中取得了最低的整体说话人分离错误率（DER），为 18.26%，其次是 Nemotron 3 Diarization 的 18.38%。DER 衡量说话人时间错误；越低越好。

VoiceArena Diarization-Bench。 在 VoiceArena 的英语全会话基准测试 中，Transcribe 在 14 个系统中取得了最低的拼接最小排列词错率（cpWER），并在现场和在线两种场景下均排名第一。它的漏词也最少：删除率为参考词数的 8.32%，而中位数约为 31%。

VoiceArena_Track2_cpWER_ranking_1Bar chart from VoiceArena’s Diarization-Bench v1 ranking 14 diarization-plus-ASR systems on English full sessions with overlapping speech by concatenated minimum-permutation word error rate (cpWER), where lower is better. NVIDIA Nemotron 3.5 Transcribe ranks first at 32.4%, followed by NVIDIA Multitalker Parakeet \+ Nemotron 3 Diarization at 34.2%; the remaining systems range from 34.7% to 71.9%

图 4。NVIDIA 模型在 VoiceArena 的 14 系统对比 中占据前两名：Nemotron 3.5 Transcribe 以 32.4% 的 cpWER 领先，其次是配备 Nemotron 3 Diarization 的 NVIDIA Multitalker Parakeet，为 34.2%。Diarization-Bench v1 涵盖英语全会话、重叠语音以及 2 至 8 名说话人。cpWER 计算匹配说话人标签后的词错误；数值越低越好。

更多评估。 Ocular AI 的 Converse-STT 评估将 Transcribe 列为最佳开源模型。Josh Talks 的 Voice of India 排行榜报告了 Transcribe 在印度语言中的表现。

从边缘到数据中心均可运行。 Transcribe 可在单块 NVIDIA GPU 上运行，从 Jetson AGX Thor 和 DGX Spark 到 Blackwell 数据中心 GPU。在配备 NVFP4 精度的一块 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上，它能在不到三分钟内处理 100 小时的音频，该测量基于高并发下的 30 秒片段。

今天即可使用 vLLM 提供检查点服务，或使用 NeMo-Speech.cpp 在本地运行。Transcribe 专为录音音频设计，不适用于实时流媒体。

专业录音可能仍需针对领域词汇和转录规范进行适配。Granary v2 和 NeMo Speech 微调解决了这一问题，从 Transcribe 背后的数据开始。

Granary v2：Transcribe 背后的开源数据整理流水线

可提示的语音模型需要具有明确格式目标的训练数据。Granary v2 是 Hugging Face 和 ModelScope 上 Nemotron 语音集合 的一部分。使用 NVIDIA NeMo Curator 构建，其可复用流水线准备了用于 Nemotron 3.5 Transcribe 训练的多语言语音，生成了对齐的转录变体、任务标签和可检查的质量元数据。公开清单涵盖 48 种语言和 16 个源语料库，共计 463,062 小时，相比 Granary v1 的 25 种语言有所增加。这些数字描述的是数据集发布情况，而非 Transcribe 的完整训练混合或采样权重。

Granary v2 为每个录音生成三种转录形式（表 1），即开发者可以通过提示从 Transcribe 请求的相同逐字和简洁风格。除了转录，该流水线还生成简短的音频字幕、借词的代码转换恢复、基于语音的问答对、上下文 ASR 偏置术语以及带有自动质量评分的翻译。

训练目标 示例转录
文本规范化，逐字 I paid, uh, twenty-five euros.
逆文本规范化，含不流利现象 I paid, uh, €25.
逆文本规范化，不含不流利现象 I paid €25.

表 1。Granary v2 针对同一话语的训练目标。

流水线组织为四个可复用阶段：

  • 1. 音频准备（元数据）： 对原始或长格式音频进行分段，跟踪整个录音中的说话人，并标记声学事件和语言。Granary v2 的源数据已经过分段，因此本次发布跳过了此阶段。
  • 2. 转录 (ASR)： 将每种语言路由到主 ASR 模型和恢复 ASR 模型，当主模型未通过幻觉检查时进行回退。人工参考转录有助于保留可信的拼写，同时添加口语形式和口误。
  • 3. 任务标签生成（文本）： 推导转录变体，然后检查字符率、幻觉模式以及模型或人工参考的一致性。只有被接受的记录才会获得上下文 ASR 术语和翻译。
  • 4. 高保真 (HiFi)： 过滤掉嘈杂、被截断或包含多个说话人的片段，保留一组较小的、用于 ASR 之外用途的高质量录音。对于 VoxPopuli 数据集，它将 22 种欧洲语言的 35.4 万小时数据缩减至 11.1 万小时。

fig6-granary-v2-pipeline-redesign Diagram of the Granary v2 curation pipeline following one roughly 12-minute sample from raw audio to a training target. The Metadata pipeline segments the audio with voice activity detection and diarization and identifies the language. The ASR pipeline transcribes a segment with a primary and a fallback model and keeps the best prediction, “Like, Granary-v2 is, uh, making every word matter.” The Text pipeline derives tn_raw, itn_raw, and itn_clean transcripts, plus translations, a caption, a speech Q&A pair, and context-ASR terms. The training view packs these into an instruction pair that maps “Transcribe without disfluencies” to “Granary-v2 is making every word matter.”

图 6. Granary v2 数据整理流水线，展示一个样本从原始音频经过元数据、ASR 和文本阶段到训练示例的过程。

开发者可以在自己的录音或授权的公开语料库上，使用 Ray 和 NVIDIA Dynamo 后端运行 NeMo Curator 流水线，或者基于 Granary v2 公开清单 进行构建。清单包含三种转录形式（tn_raw、itn_raw 和 itn_clean）、上述标签、实体提示、派生指令对、来源信息以及每条记录的质量标志。请根据每个语料库的原始许可证单独下载源音频，并遵守发布版本的公开条款。

将识别适配到重要的词汇表

从一个指定语言、文字和转录格式的开发集提示开始。在下面的案例研究中，在提示中指明英语和拉丁字母，将全基准 WER 从 30.8% 降低到 23.8%。对于仍然存在的领域错误，NeMo Speech 微调工作流将代表性语音与明确的书面目标配对。

NeMo Speech 医疗 ASR 案例研究 展示了在 Eka Care 的开放基准 上的这一进展，该基准包含来自印度医生和医学生的录音，共有 3,619 个片段，没有指定的训练集划分。该研究从生成的医疗文本和公开医学目录中构建适配数据，然后结合大约 153 小时的合成语音、29 小时来自 Common Voice 的带口音英语以及 63 小时来自 MultiMed 的医疗录音。

fig7-eka-care-62pct-rebrand Bar chart titled “62% fewer transcription errors” for the Eka Care medical ASR benchmark of Indian medical speech. On the full test set, word error rate falls from 30.8% out of the box to 23.8% with a better prompt that names English and the Latin alphabet, and to 11.8% after fine-tuning. Side labels note about 14 GPU-hours on one NVIDIA GB300 and about 153 hours of synthetic speech plus 92 hours of public accented and medical speech

图 7. 在 Eka Care 印度医疗语音基准的完整测试集上，更好的提示将 WER 从 30.8% 降低到 23.8%，微调将其降至 11.8%，比开箱即用的模型少约 62% 的转录错误。完整集包括用于选择提示和检查点的 855 个调优片段；下方的留出结果是更干净的测试。

合成生成将书面目标与其口语渲染分开：“HbA1c”是标签，而“H B A one C”被发送到合成器。多个 TTS 声音拓宽了音频；真实录音增加了口音和录音条件。训练文本经过过滤，以匹配基准参考中的精确匹配和共享的八词序列。

与 Granary v2 的明确目标一样，训练示例在数字、单位间距、公司名称展开和品牌名称连字符方面存在差异，指令中规定了所需的约定。部分提示包含带有近似干扰项的术语列表，以便模型学会仅在音频支持时使用某种拼写。最终系统使用一个固定的约定提示和一次模型遍历，无需检索或转录后处理。

该配方训练语音编码器和投影层，并使用 LoRA 来适配语言模型。两次运行使用了不同的数据混合；在适配器合并后，选定的检查点被均匀平均为一个最终模型。检查点选择使用解码后的开发集结果，而不仅仅是训练损失。从文本生成到评估的完整适配过程，在一块 NVIDIA GB300 上大约花费了 14 个 GPU 小时。

在留出说话者上测量的领域增益

该研究将基准测试按说话者分为 855 个用于选择提示和检查点的调优片段，以及 2,764 个每个最终系统仅解码一次的留出片段。使用 Eka Care 的 KARMA 评分流水线，微调将留出 WER 从最佳提示基线的 22.44% 降低到 12.17%，相对降低 45.8%，这是增益能泛化到新说话者的最清晰证据。关键词 WER 从 9.2% 降至 6.5%，语义 WER 从 10.0% 降至 7.6%。在相同的留出说话者和评分器上，适配模型的 12.17% WER 优于一个开放医疗专家模型（13.79%）和一个广泛使用的通用 ASR 模型（14.92%）。

在通用英语方面，LibriSpeech test-clean WER 略有上升，从 1.54% 升至 1.69%。医疗专家模型在品牌药物和诊断的精确匹配方面仍然领先；该研究指出，下一步是使用临床医生说出品牌名称的真实录音。对于您自己的领域，请至少保留 100 个真实、带标签的片段用于检查点选择，并评估您的应用所依赖的实体类型以及通用语音的保留情况。

案例研究包含用于复现每个步骤的命令。微调教程涵盖了配方、资源需求以及用于训练、导出和评估的工具，包括新语言和代码切换 ASR。配套的 智能体技能 允许编码智能体运行工作流，从基线选择和数据检查到训练验证、适配器合并和评估。

ModelScope 还允许开发者通过其 ms-swift 框架 对 Nemotron 3.5 Transcribe 进行微调，以用于专门的多模态应用。

开始使用 Nemotron 3.5 Transcribe 和 Granary v2

在 Hugging Face 演示 或 ModelScope Studios 中试用 Nemotron 3.5 Transcribe，然后从 Hugging Face 或 ModelScope 下载检查点，并使用 vLLM 部署指南 提供服务。

若要跳过自托管，请使用来自 Baseten、DeepInfra 或 Simplismart 的托管端点。

若要将其适配到您的领域，请从 Hugging Face 或 ModelScope 上的 Granary v2 清单以及 医疗 ASR 案例研究 开始，或者让编码智能体使用 微调智能体技能 驱动工作流。

模型与数据集

仓库与教程：NVIDIA NeMo Speech GitHub | NeMo Curator Granary v2 流水线 | vLLM 部署指南 | 语音微调指南 | 微调智能体技能
合作伙伴博客：Agora | Inflection AI | VoiceArena | Simplismart | DeepInfra 本地 AI：NVIDIA RTX PC、笔记本电脑和 DGX Spark 上的本地 AI 新特性

来源：Hugging Face Blog · huggingface.co

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料，版权归来源方所有