NVIDIA Audex 多模態模型技術全解析：30B MoE 架構、百萬上下文與語音雙模態 AI 新紀元

NVIDIA Audex 技術專文：統一音訊與文字的強大雙模態智慧

1. 導論：從文字推理到音訊智慧的全面演進

在人工智慧邁向全能多模態（Omni-modal）的進程中，技術架構師面臨的核心挑戰在於：如何在賦予大型語言模型（LLM）音訊感知與生成能力的同時，不損害其原有的邏輯推理深度？

NVIDIA 正式推出 Nemotron-Labs-Audex 系列模型（包含 30B-A3B 與 2B 版本），其開發的核心理念即為「統一音訊智慧且不退化文字智慧」（Unified Audio Intelligence Without Regressing on Text Intelligence）。

這套模型不僅在音訊理解與語音生成任務中表現卓越，更完整保留了 Nemotron 系列在複雜邏輯推理、超長上下文處理及指令對齊方面的實力，為開發者提供了穩定且全能的雙模態解決方案。

模型資源官方連結

• Audex-30B-A3B: Hugging Face 頁面
• Audex-2B: Hugging Face 頁面

2. 強大且全能的多模態能力 (Multimodal Capabilities)

Audex 突破了過往專用型模型的限制，將多元的音訊處理任務整合於單一的 Transformer 架構中。該模型原生支援以下 六大核心任務：

1. 語音理解與分析 (Audio Understanding)： 辨識環境音、音樂特徵及語音脈絡。
2. 語音辨識 (Speech Recognition/ASR)： 實現高精準度的音訊轉文字。
3. 語音翻譯 (Speech Translation/AST)： 支援跨語言（xx -> en）的即時語音對文字翻譯。
4. 文字轉語音 (Text-to-Speech/TTS)： 自然流暢的語音合成。
5. 音訊生成 (Audio Generation/TTA)： 根據文本描述生成特定的環境音效或音樂。
6. 語音對語音生成 (Speech-to-Speech/S2S)： 實現端到端的語音交互，跳過中間文本轉換以降低延遲。

3. 模型架構與參數規格深度解析

Audex 採用混合專家架構（MoE）與稠密架構並行的策略，以滿足不同運算資源場景的需求。其 30B 版本基於 Nemotron-Cascade-2-30B-A3B 文本模型構建，展現了極高的參數利用率。

技術參數對照表

技術處理流程與擴展詞彙表

Audex 的架構設計強調模態間的深度融合，其音訊處理流程如下：

• 編碼與投影： 音訊訊號透過專屬的 Audio Encoder 提取特徵，隨後經由 MLP Adapters 映射為模型可理解的連續嵌入（Continuous Embeddings）。
• 統一解碼： 模型透過擴展的詞彙表（Extended Vocabulary），使其具備在同一序列中同時預測文本標記（Text Tokens）、**語音標記（Speech Tokens）及通用音訊標記（Audio Tokens）**的能力。
• 還原生成： 預測出的離散音訊標記最後透過專用的 Speech/Audio Decoder 還原為聲音訊號，實現端到端的生成流程。

4. 雙模式運作與超長上下文特色

Audex 引入了 Reasoning-aware（感知推理） 機制，允許模型在不同任務場景下靈活切換：

• 「思考」模式 (Thinking Mode)： 針對複雜音訊分析或邏輯問題，模型會將推理過程封裝於 <think> 標記中。這不僅增加了模型的推理時間（Inference-time Compute），更顯著提升了回應的精準度。
• 「指令」模式 (Instruct / Non-thinking Mode)： 在對延遲極度敏感的場景（如即時翻譯），開發者可透過在助理回應的開頭直接附加 <think></think> 標記來跳過推理過程，實現低延遲的即時回應。

此外，30B 版本支援高達 100 萬代幣 (1M tokens) 的處理能力。在 NIAH（Needle In A Haystack，大海撈針） 壓力測試中，該模型在 1M 長度下仍維持 99.4% 的資訊檢索準確率，這對於長篇音訊會議記錄或多輪語音對話的深度情境理解具有決定性意義。

5. 效能表現與基準測試分析 (Benchmarks)

Audex 的關鍵競爭力在於其在擴展模態的同時，成功將文本智慧的損耗降至最低：

• 純文本推理能力： Audex 30B-A3B 在 AIME 2025 取得 91.2 分（對比骨幹模型 92.4），在 AIME 2026 取得 89.4 分（對比骨幹模型 90.9）。此數據證實其邏輯推理能力僅有極細微的偏移，確保了在執行音訊任務時，文字推理實力依然處於業界頂尖。
• 音訊與語音任務：
  • OpenASR： 在領導板上取得平均 6.82 的低詞錯誤率 (WER)；在 LibriSpeech (clean) 測試中更達到 1.34 WER 的峰值效能。
  • BigBenchAudio： 獲得 90.0 的高準確度，優於市面上多數專有的 “Omni” 封閉模型。
• 音訊生成品質： 在 AudioCaps (66.9) 與 SongDescriber (62.7) 的 Frechet Distance 指標測試中，生成的音訊保真度皆處於前段班。

6. 結論與技術部署指引

NVIDIA Audex 證明了在單一 MoE 架構下，音訊與文字智慧可以共存且互補。透過「思考模式」與 1M 超長上下文的加持，Audex 能在處理大量音訊資料時顯著降低資訊損耗，為次世代 AI 助手提供了堅實的技術支柱。

開發者部署建議

為了確保最佳效能，建議架構師在部署時遵循以下規範：

1. vLLM 框架： 建議使用 vllm/vllm-openai:v0.20.0-cu129 容器映像檔。
2. Transformers 框架： 版本須 >= 4.53.0，且必須安裝 mamba-ssm 與 causal-conv1d 以支援特定的層級架構。
3. 音訊編解碼： 基礎 vLLM 映像檔不含音訊編解碼器，請執行 pip install "vllm[audio]"。在進行語音生成時，模型預設使用 XCodec2 進行離散標記的解碼，以獲得最佳音質。

7. 問與答 (Q&A)

Q1：NVIDIA Audex 模型的最大技術亮點是什麼？

A1： Audex 最強大的地方在於它將音訊理解與文字推理完美結合。它透過內建的音訊編碼器並擴展了專屬的音訊詞彙表，使其能在單一 Transformer 架構內同時處理語音辨識、翻譯、生成（S2S）等六大任務，且完全沒有犧牲基礎模型原有的強大純文字邏輯推理與複雜思維能力。

Q2：Audex 模型的硬體規格與 MoE 架構設計有何優勢？

A2： Audex 30B-A3B 建立在 Nemotron-Cascade-2 基礎上，採用了稀疏混合專家 (Sparse MoE) 架構。雖然模型總參數高達 300 億，但每次推論啟動時僅需 30 億 (3B) 啟動參數，這極大地提升了運算效率並降低了推理成本。此外，它支援高達 1M tokens 的超長上下文，並提供兼顧精準度的「思考模式」與主打低延遲的「指令模式」。

Q3：如果開發者的運算資源有限，還能測試或部署 Audex 嗎？

A3： 可以的！NVIDIA 為了兼顧不同硬體條件與應用場景的開發者，同步推出了輕量級的稠密模型 Nemotron-Labs-Audex-2B 版本。即使在資源受限的邊緣設備或單卡環境下，也能享有強大的文字與音訊統整處理能力。