NVIDIA Nemotron 3.5 Transcribe 與 Granary v2 深度解析：可提示、可微調的多語言語音全能模型
2026 年 10 月 28 日，NVIDIA 正式發布開源權重語音與音訊模型 NVIDIA Nemotron 3.5 Transcribe (NVIDIA-Nemotron-3.5-Transcribe-30B-A4B)，以及背後的開源多語言資料清理管線與資料集 Granary v2（詳見 Hugging Face 官方技術部落格）。
過去開發者在處理語音轉文字（ASR）應用時，常需要將語音辨識模型、語者分離（Speaker Diarization）工具與負責問答或翻譯的大型語言模型串接成複雜的管線，不僅維護成本高，各階段的誤差也會累積。Nemotron 3.5 Transcribe 將**多語言語音轉錄、語者分離標記、語音翻譯與音訊問答（Audio Q&A）**整合進單一模型權重（Checkpoint），並允許開發者直接透過自然語言提示詞（Prompt）控制輸出格式與專有名詞拼寫。
核心規格與功能亮點
Nemotron 3.5 Transcribe 屬於語音增強語言模型（Speech-Augmented Language Model, SALM），專為離線批次音訊處理與企業級客製化需求打造：
| 規格專案 | 詳細內容 |
|---|---|
| 模型名稱 | nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B |
| 總參數量 / 活躍參數 | 總計 34B（含音訊編碼器與 MTP 模組）；每個 Token 僅啟動約 4.3B 活躍參數（語言主幹約 3.5B + 音訊與語者編碼器約 0.8B） |
| 模型架構 | Mamba-2 與 Transformer 混合專家模型（MoE），搭配平行專家編碼器（Transformer ASR 編碼器 + Sortformer 語者編碼器）與 CTC 時間戳記對齊頭 |
| 長音訊與上下文長度 | 支援最長 1 小時的 16 kHz 單聲道音訊輸入，最大上下文長度達 65,536 Tokens |
| 多語言支援範圍 | 支援 40 種語言語音轉錄、31 種語言與英文雙向翻譯、13 種語言多語者分離（最多標記 8 位語者），並支援中英夾雜等語碼轉換（Code-switching） |
| 精確度與量化版本 | 提供 BF16 全精度參考權重，以及 NVFP4、FP8 量化版本與 DFlash2 推測解碼草稿模型 |
| 開源授權條款 | OpenMDW-1.1（允許商業與非商業用途） |
混合 Mamba-Transformer MoE 架構解析
為了兼顧長音訊推論效率與高準確率，Nemotron 3.5 Transcribe 技術報告與模型卡揭露了其三階段協同設計：
- 平行專家音訊感知模組（Parallel Expert Encoder）：由 6 億參數的預訓練 Transformer ASR 編碼器與約 9,900 萬參數的
Nemotron-3-Diarization（基於 Sortformer）語者編碼器組成。語者特徵與聲學特徵會同步透過 1,280 維度連接器與 2,688 維度投影層送入語言模型，讓模型在生成文字的同時直接標記說話者（如<spk:0>、<spk:1>），不必依賴事後對齊。 - 輕量 KV Cache 的語言主幹：採用
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16作為語言骨幹，共 52 層，包含 23 個 Mamba-2 層、23 個 MoE 前饋層（每層 128 個路由專家，每次取 Top-6 加上 1 個共享專家），以及僅 6 個群組查詢注意力（GQA）層。極少的注意力層大幅壓低了 KV Cache 記憶體佔用，使單張 GPU 即可流暢處理長達 1 小時的音訊。 - 原生多 Token 預測（MTP）與推測解碼：內建兩層深度的 Multi-Token Prediction 模組，推論時可重複利用以支援最多 8 個推測 Token；亦可搭配專屬的
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-DFlash2區塊擴散草稿模型加速生成，並透過 CTC 模組輸出精準的詞級時間戳記（Word-level Timestamps）。
權威基準測試與排行榜表現
根據 NVIDIA 官方部落格與模型卡評估資料，Nemotron 3.5 Transcribe 在轉錄準確度與多語者分離基準上均創下開源模型最佳紀錄（詞錯誤率 WER 與語者分離錯誤率 DER 越低代表越準確）：
| 評測基準 / 排行榜 | 測試專案 | Nemotron 3.5 Transcribe 成績 | 排名與對比表現 |
|---|---|---|---|
| Hugging Face Open ASR Leaderboard | 英文轉錄（English） | 5.33% 平均 WER（9 個公開測試集均值為 4.71%） | 開源權重模型第 1 名 |
| Hugging Face Open ASR Leaderboard | 多語言轉錄（7 種語言） | 4.62% 平均 WER | 領先次佳開源模型 Qwen3-ASR-1.7B（6.49%） |
| Hugging Face Open ASR Leaderboard | 長音訊轉錄（Long-form） | 10.98% 平均 WER | 領先次佳開源模型 Parakeet-TDT-0.6B-v3（13.37%） |
| Artificial Analysis Speech-to-Text | AA-WER 綜合指標 | 2.8% AA-WER（AA-AgentTalk 子集達 1.8% WER） | 與 24B 活躍參數模型並列開源第 1，但僅用約 1/6 活躍參數 |
| David AI DAI-ASR-I18N | 21 語言多語者分離（Diarization） | 18.26% DER | 14 個受測系統中總排名第 1（超越 Nemotron 3 Diarization 的 18.38%） |
| VoiceArena Diarization-Bench v1 | 英文完整會議（2–8 人重疊對話） | 32.4% cpWER（漏詞率僅 8.32%，中位數約 31%） | 14 個受測系統中第 1 名（實體與線上會議雙冠） |
| 多語者會議綜合測試 | AMI、CALLHOME、Mixer 6、NOTSOFAR-1 | 15.80% 平均 cpWER | 超越已發表最佳組合 DiCoW v3.3 + DiariZen（16.83%） |
在推論吞吐量方面，使用單張 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 執行 NVFP4 量化版並搭配高並發處理 30 秒音訊片段時，不到 3 分鐘即可完成 100 小時音訊轉錄；若透過最佳化後的 Nemotron Transcribe NIM（NVFP4 + DFlash2 推測解碼），每秒可處理高達 2,238 秒音訊，30 秒錄音僅需 0.13 秒即可回傳結果。
自然語言提示詞（Prompt）控制指南
開發者無須重新訓練模型，只要在 user 訊息中給予明確指令（轉錄與翻譯任務建議將 system 提示詞留空，並設定 temperature=0、enable_thinking=False；音訊問答則建議設定 temperature=0.6、top_p=0.95、enable_thinking=True），即可切換不同輸出模式：
- 逐字稿模式（保留語氣詞與重複）：適合研究紀錄與細節檢視。
Audio transcription. Language: as spoken. Wording: verbatim, including fillers and repetitions. Formatting: punctuation and capitalization. Output: transcript only. - 高可讀性文字模式（自動過濾贅詞）：適合字幕生成與會議筆記。
Audio transcription. Language: as spoken. Wording: omit fillers and accidental repetitions; keep the remaining spoken wording unchanged. Formatting: punctuation and capitalization. Output: transcript only. - 領域專有名詞注入（Context Biasing）：適合醫療聽寫、財報電話會議與技術討論。
Transcribe this medical discussion in the original language. Possible terms: HbA1c, metformin. Use these terms only when supported by the audio. Preserve standard medical spelling and write numbers in conventional written form. - 多語者標記與時間戳記：適合多人會議記錄與剪輯工作流。
Transcribe this audio with punctuation and capitalization. Include all spoken words and verbal fillers. Write numbers in their standard written form. Put speaker tags <spk:0> <spk:1> <spk:2> <spk:3> on the transcription.
Granary v2：支撐指令微調的開源資料管線
要讓語音模型精確遵循格式指令，訓練資料必須具備一致且無歧義的目標格式。Granary v2 資料集使用 NVIDIA NeMo Curator 建構，公開清單（Manifest）涵蓋 48 種語言、16 個來源語料庫、總計 463,062 小時的語音資料（規模較第一代 Granary 的 25 種語言大幅擴充；而 Nemotron 3.5 Transcribe 完整訓練混合資料則涵蓋約 172 萬小時不重複索引音訊與 56 億不重複文字 Token）。
Granary v2 為每段音訊自動產出三種對齊的轉錄格式目標：
| 訓練目標程式碼 | 格式類型 | 範例輸出（以同一句話為例） |
|---|---|---|
tn_raw | 文字正規化、保留語氣詞（Verbatim） | I paid, uh, twenty-five euros. |
itn_raw | 逆文字正規化（ITN）、保留語氣詞 | I paid, uh, €25. |
itn_clean | 逆文字正規化（ITN）、移除語氣詞 | I paid €25. |
整條資料處理管線分為四個可重複使用的階段：
- 音訊準備（Metadata）：切分長音訊、追蹤跨片段語者，並標記聲學事件與語種。
- 語音轉錄（ASR）：將各語言路由至主力與備援 ASR 模型，當主力模型未通過幻覺檢測時自動切換，並結合人工參考轉錄保留正確拼寫與口語停頓。
- 任務標籤生成（Text）：衍生上述三種轉錄變體、音訊簡短描述、外來語語碼轉換還原、音訊問答配對、上下文提示詞彙與翻譯，並檢驗字元率與幻覺模式。
- 高保真過濾（HiFi）：剔除雜訊、爆音或多人重疊片段，提煉出高品質子集（例如將 VoxPopuli 資料集從 22 種歐洲語言的 35.4 萬小時精煉為 11.1 萬小時的
Granary-HiFi）。
領域微調實戰：醫療語音辨識錯誤率降低 45.8%
當提示詞仍無法完全涵蓋特定口音或罕見術語時，開發者可結合 NeMo Speech 微調工具進行領域適應。官方部落格展示了針對印度醫師與醫學生口述錄音基準 ekacare/eka-medical-asr-evaluation-dataset（共 3,619 個片段）的微調案例：
- 提示詞最佳化階段：僅在提示詞中明確指定英文與拉丁字母格式，即讓完整測試集的 WER 從預設的 30.8% 降至 23.8%。
- 合成與真實混合微調資料：團隊利用醫療文本與公開藥品目錄合成約 153 小時語音（將書面標籤如
HbA1c與發音H B A one C分離送入多種 TTS 語音合成），並混入 29 小時 Common Voice 帶口音英文與 63 小時 MultiMed 醫療錄音。同時在提示詞中加入近似干擾詞（Distractors），訓練模型只在音訊確實發音時才採用特定拼寫。 - 訓練配置與耗時：訓練音訊編碼器與投影層，並對語言模型使用 LoRA 微調，最後將兩組不同資料配比的模型權重均勻平均（Model Averaging）。從文本生成到評估完成，在單張 NVIDIA GB300 GPU 上僅耗時約 14 個 GPU 小時。
- 跨語者泛化成果：在嚴格切分的 2,764 個未見過語者（Held-out Speakers）測試集上，微調後模型的 WER 從最佳提示詞基準的 22.44% 大幅降至 12.17%（相對錯誤率減少 45.8%），關鍵字 WER 從 9.2% 降至 6.5%，語意 WER 從 10.0% 降至 7.6%，表現超越專門的開源醫療語音模型（13.79%）與主流通用 ASR 模型（14.92%）。
快速上手與部署範例
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B 支援 NVIDIA Ampere（A100）、Hopper（H100/H200）、Lovelace（L40S）與 Blackwell（B200、GB200、GB300、RTX PRO 6000、RTX 5090、DGX Spark、Jetson Thor）等硬體架構，並於發布首日同步支援 vLLM、SGLang-Omni、Hugging Face Transformers、NeMo 與本地端 GGML/NeMo-Speech.cpp。
1. 使用 Hugging Face Transformers 直接推論
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B"
samples = "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
inputs = processor.apply_transcription_request(samples + "en-Alice_woman.wav").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokens=True))
2. 使用 vLLM 部署高吞吐量 OpenAI 相容 API
在單張 H100 80GB GPU 上搭配 vLLM 0.32.0 與 nemo_speechlm 外掛啟動伺服器：
export VLLM_PLUGINS=nemo_speechlm
export VLLM_MAX_AUDIO_DECODE_DURATION_S=3600
export VLLM_MAX_AUDIO_CLIP_FILESIZE_MB=180
export VLLM_USE_V2_MODEL_RUNNER=0
vllm serve ./NVIDIA-Nemotron-3.5-Transcribe-30B-A4B \
--served-model-name nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B \
--trust-remote-code --dtype bfloat16 --gpu-memory-utilization 0.94 \
--max-model-len 65536 --max-num-batched-tokens 4096 --max-num-seqs 192 \
--enable-chunked-prefill --no-enable-prefix-caching \
--use-replayssm --mamba-backend flashinfer --mamba-cache-mode none \
--mm-processor-cache-gb 0 --no-async-scheduling \
--limit-mm-per-prompt '{"audio":{"count":6,"length":120000000}}' \
--speculative-config '{"method":"mtp","num_speculative_tokens":8}' \
--reasoning-parser nemotron_v3 \
--trust-request-mm-kwargs \
--middleware nemo.collections.speechlm2.vllm.salm.ctc_timestamp_middleware
相關連結與資源整理
核心模型與技術文件
- 官方技術部落格：NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt
- 主模型權重（BF16）：nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B (Hugging Face)
- NVFP4 量化版模型：nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4 (Hugging Face)
- DFlash2 推測解碼草稿模型：nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-DFlash2 (Hugging Face)
- 官方技術報告（PDF）：Nemotron 3.5 Transcribe Technical Report
- 模型合集（Collection）：Nemotron 3.5 Transcribe Collection on Hugging Face
關聯模型、資料集與互動展示
- 線上互動 Demo Space：NVIDIA Nemotron Transcribe Demo (Hugging Face Spaces)
- Granary v2 多語言資料集：nvidia/Granary-v2 (Hugging Face Datasets)
- 醫療 ASR 評估資料集：ekacare/eka-medical-asr-evaluation-dataset (Hugging Face Datasets)
- 語者分離基礎模型：nvidia/Nemotron-3-Diarization (Hugging Face)
- 語言模型主幹：nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 (Hugging Face)
- 開源語音辨識排行榜：Hugging Face Open ASR Leaderboard