OpenMOSS 0.9B 開源語音神作：端到端多語者轉錄與語者分離技術全解析

OpenMOSS 0.9B 開源語音神作：端到端多語者轉錄與語者分離技術全解析

想一鍵搞定多人會議逐字稿？OpenMOSS 推出最新 MOSS-Transcribe-Diarize 0.9B 模型，採用端到端（End-to-End）單次處理技術，完美融合語音辨識（ASR）與語者分離（Diarization）。本文深度解析其 Qwen3+Whisper 架構、效能評估、自訂熱詞與 vLLM/SGLang 部署指南！

1. 模型基本資訊與定位

MOSS-Transcribe-Diarize 0.9B 是一款專為長文本、多語者音訊設計的「端到端 (End-to-End)」音訊理解模型。不同於傳統將自動語音識別 (ASR) 與語者分離 (Diarization) 系統進行拼湊（Stitched）的做法，該模型採用聯合建模方式，在單次推論（One-pass）中同時產出帶有時間戳與語者標籤的轉錄文本。

• 發佈日期： 2026-07-09
• 參數規模： 0.9B (約 9 億參數)
• 授權方式： Apache-2.0
• 張量類型： BF16
• 處理能力： 具備強大的長音訊處理能力，支援時間戳感知、多語者標註及聲學事件偵測。
• 端到端優勢： 透過單一架構同時處理轉錄與語者分離，從根本上解決了組件間時間軸對齊不一致的問題。

2. 核心技術功能 (Core Capabilities)

本模型針對複雜語音環境（如會議、訪談、播客等）提供以下三大核心能力：

• 長文本轉錄 (Long-form transcription)： 可處理長時間的音訊或影片檔案，並生成結構化、帶有精確時間戳的文本內容。
• 語者感知語者分離 (Speaker-aware diarization)： 模型能自動識別音軌中的不同說話人，並分配匿名語者標籤（如 [S01], [S02]）。這無需傳統的獨立語者分離 Pipeline，且語者標籤在同一段落中具有高度連貫性。
• 可提示生成 (Promptable generation)： 支援透過自然語言指令引導生成行為，開發者可自定義轉錄指令、加入「熱詞 (Hotwords)」以優化專有名詞識別，或要求生成聲學事件註釋。

3. 模型架構深度解析 (Model Architecture)

MOSS-Transcribe-Diarize 0.9B 採用自回歸語音大語言模型 (Autoregressive SpeechLLMs) 架構，其組件規格如下：

核心組件與機制解析

• 文本骨幹與融合機制： 模型基於 Qwen3-0.6B 進行多模態擴展。在 Fusion 階段，模型利用 masked_scatter 策略，將音頻特徵直接替換掉序列中的 <|audio_pad|> 佔位符。此架構優勢在於：能在不增加額外 Token 位數或更改因果掩碼 (Causal Mask) 邏輯的情況下，將多模態特徵注入 LLM 序列，完美維持了骨幹網絡的結構完整性。
• 音頻編碼與橋接： 採用可訓練的 Whisper-Medium 編碼器提取特徵，並透過 4 倍時間融合壓縮序列，大幅降低長音頻處理時的顯存負擔。

4. 效能評估與基準測試 (Evaluation)

我們針對 AISHELL-4 與 Alimeeting 等多語者測試集進行評估。指標包含字錯誤率 (CER)、級聯最小置換字錯誤率 (cpCER) 以及反映語者誤差的 $\Delta_{cp}$（數值愈低愈好）。

💡 結果分析： MOSS 0.9B 在 cpCER 指標上顯著優於傳統拼湊式模型，顯示其在轉錄與語者對齊上的卓越精度。值得注意的是，在 Alimeeting 測試集中，MOSS 0.9B 達到了 -2.69 的 $\Delta_{cp}$，這表示其語者分配後的準確度甚至優於原始 ASR 結果，充分體現了端到端聯合優化的威力。

5. 應用開發與部署指南 (Quickstart & Deployment)

環境配置

建議使用 Python 3.12 環境，並安裝特定版本的依賴：

conda create -n moss-transcribe-diarize python=3.12 -y
conda activate moss-transcribe-diarize
git clone https://github.com/OpenMOSS/MOSS-Transcribe-Diarize.git
cd MOSS-Transcribe-Diarize

# 安裝特定 CUDA 版本的 torch
pip install --index-url https://download.pytorch.org/whl/cu128 torch
pip install -e .

Python 推論實作

推論時必須設置 trust_remote_code=True。以下範例展示了如何處理設備自動識別與精度設置：

import torch
from transformers import AutoModelForCausalLM, AutoProcessor
from moss_transcribe_diarize import parse_transcript
from moss_transcribe_diarize.inference_utils import (
    build_transcription_messages,
    generate_transcription,
    resolve_device
)

model_id = "OpenMOSS-Team/MOSS-Transcribe-Diarize"
# 自動解析設備與精度
device = resolve_device("auto")
dtype = torch.bfloat16 if device.type == "cuda" else torch.float32

model = AutoModelForCausalLM.from_pretrained(
    model_id, trust_remote_code=True, dtype="auto"
).to(dtype=dtype).to(device).eval()

processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
messages = build_transcription_messages("audio.wav")

result = generate_transcription(model, processor, messages, device=device, dtype=dtype)
print(result["text"])

自定義提示詞與熱詞 (Actionable Prompting)

模型支援中文指令引導。若需強化特定術語（熱詞），只需在預設指令後附加提示。

• 預設指令： 请将音频转写为文本，每一段需以起始时间戳和说话人编号（[S01]、[S02]、[S03]…）开头，正…
• 熱詞範例： 请将音频转写为文本，…（略）。热词：OpenMOSS, SGLang, 昇騰計算

服務化部署 (Serving)

1. vLLM 部署

需安裝包含模型註冊的 nightly build：

# CUDA 12 範例
uv pip install -U vllm --torch-backend=auto --extra-index-url https://wheels.vllm.ai/68b4a1d582818e67adc903bf1b8fc5a

vllm serve OpenMOSS-Team/MOSS-Transcribe-Diarize --trust-remote-code

2. SGLang Omni 部署 (推薦)

# 下載並啟動
hf download OpenMOSS-Team/MOSS-Transcribe-Diarize
sgl-omni serve --model OpenMOSS-Team/MOSS-Transcribe-Diarize --max-running-requests 16 --cuda-graph-max-bs 16

推論參數表

6. 吞吐量與延遲分析 (Performance Benchmarking)

以下數據為單張 NVIDIA H100 顯卡之實測結果：

🛠️ 架構師觀點： 測試結果顯示，即便在併發數達到 16 的高負載下，其 RTF (Real-Time Factor) 仍遠低於 1.0 (長序列僅為 0.1237)，這意味著模型能以極高的效率處理大規模併發需求，具備工業級生產環境的應用潛力。

7. 配套工具：字幕 Web 應用 (Subtitle Web App)

模型原始碼內建 mtd-subtitle-web 工具，支援完整的本地字幕工作流：

• 核心功能： 音影片上傳、自動語者段落解析、線上人工審閱。
• 導出格式： JSON, SRT, ASS。
• 批次壓制： 結合 FFmpeg 實現自動字幕燒錄。

# 啟動 Web UI
mtd-subtitle-web --model OpenMOSS-Team/MOSS-Transcribe-Diarize --port 7860

# 命令行批次渲染字幕到影片
mtd-subtitle /path/to/video.mp4 --render

8. 結論與技術引用

MOSS-Transcribe-Diarize 0.9B 為長時音訊處理提供了一個極具競爭力的開源選項。其端到端設計與對 Qwen 多模態範式的兼容，使其在效能與開發便利性之間取得了良好平衡。

• GitHub: OpenMOSS/MOSS-Transcribe-Diarize
• 官方網站: www.open-moss.com
• Hugging Face 主頁: OpenMOSS-Team/MOSS-Transcribe-Diarize
• 社群 GGUF 版本: mudler/moss-transcribe.cpp-gguf

引用資訊

@misc{moss_transcribe_diarize_2026,
  title={MOSS Transcribe Diarize Technical Report},
  author={{MOSI.AI}},
  year={2026},
  eprint={2601.01554},
  archivePrefix={arXiv},
  primaryClass={cs.SD},
  url={https://arxiv.org/abs/2601.01554}
}

問與答 (Q&A)

Q1: MOSS-Transcribe-Diarize 0.9B 模型的主要用途是什麼？

A1: 它是一個端到端（End-to-End）的音訊理解模型，專門處理長音訊的多語者轉錄、語者分離（Diarization）、時間戳記生成以及環境音效感知。非常適合用於多人會議、通話、Podcast、訪談、演講或影片等充滿雜訊的多語者音訊場景。

Q2: 它與傳統的語音辨識系統有何不同？

A2: 傳統作法通常需要將語音辨識（ASR）與語者分離系統分開拼湊（Stitched），在後端對齊時間軸，過程繁瑣且容易出錯。而這款模型採用單次處理（One-pass），直接聯合執行語音轉錄與語者分離，並產出帶有精確時間戳記與 [S01]、[S02] 等匿名語者標籤的結構化文字紀錄。

Q3: 模型的底層技術架構是如何設計的？

A3: 該模型採用自迴歸的 SpeechLLM 架構。其文字骨幹（Text backbone）是基於 Qwen3-0.6B 風格的因果解碼器，而音訊編碼器（Audio encoder）則採用可訓練的 Whisper-Medium 設定。透過 4 倍時間融合壓縮序列後，利用 masked_scatter 機制將多模態特徵注入 LLM 序列中。

Q4: 針對專業領域，模型是否支援客製化指令或專有名詞？

A4: 是的，它具備強大的可提示生成（Promptable generation）能力。系統完美支援開發者在提示詞中輸入自訂轉錄指令與專屬熱詞（Hotwords，例如：OpenMOSS, SGLang, 昇騰計算），甚至能讓模型標註環境音效，滿足特定產業的高階需求。

Q5: 硬體資源有限的開發者，該如何部署或測試這個模型？

A5: 除了使用 Python 環境直接載入以及伺服器級的 vLLM / SGLang Omni 部署外，開源社群也貼心地提供了 GGUF 版本（mudler/moss-transcribe.cpp-gguf），大幅降低了個人電腦與有限硬體資源下的部署門檻。此外，源碼內建的 mtd-subtitle-web 網頁工具也非常適合拿來直接進行視覺化測試。