擺脫切碎的錄音檔！Microsoft VibeVoice ASR 挑戰一小時不間斷的精準轉錄

如果你曾經試著用 AI 來處理長篇會議記錄或 Podcast 逐字稿，這情況可能讓人感到熟悉：前面十分鐘還算精準，但隨著對話變長，語意開始變得支離破碎，甚至張冠李戴，分不清是誰說了哪句話。

這並非 AI 變笨了，問題通常出在「切分」。

目前的語音辨識（ASR）模型為了節省運算資源，往往會把長錄音切成無數個小片段來處理。這就像把一本小說撕成一頁一頁跳著讀，讀到後來自然會忘記前面的伏筆，導致上下文脫節。不過 Microsoft Research 最近發布的 VibeVoice-ASR 似乎打算正面解決這個痛點。這款模型主打的賣點相當直接：它能在單次處理中，直接吞下並消化長達 60 分鐘的音訊，而且不僅僅是轉錄文字，還能同時搞定「是誰說的」、「什麼時候說的」以及「說了什麼」。

這聽起來像是技術規格的堆疊，但對於需要處理長內容的開發者或創作者來說，這可能意味著工作流程的巨大改變。

什麼是 Single-Pass Processing？為什麼 60 分鐘很重要？

稍微聊聊技術背景。傳統的 ASR 模型在處理長音訊時，通常採用「滑動視窗」或切塊的方式。這種做法雖然節省記憶體，但代價就是犧牲了「全局語境」。當一段錄音被切斷，AI 就很難理解這句話與 30 分鐘前那句話的關聯，這也是為什麼很多長逐字稿到了後半段會出現語意不連貫的原因。

Microsoft 的 VibeVoice-ASR 採用了一種不同的路徑。它支援高達 64K token 的長度，這意味著它可以在**單次傳遞（Single-Pass）**中處理整整 60 分鐘的連續音訊。

這有什麼好處？想像一下，你在會議開始時定義了一個縮寫，到了會議結束前又提到了它。如果是切片處理的模型，可能早忘了那是甚麼；但對於擁有完整 60 分鐘記憶的 VibeVoice 來說，它能保持語意的一致性，確保整場對話的邏輯是連貫的。這種不切斷的處理方式，對於維持長時間對話的精確度至關重要。

Rich Transcription：不只是文字，而是結構化的資訊

單純把聲音轉成文字，現在很多工具都做得到。但 VibeVoice-ASR 想要做的是所謂的 Rich Transcription（豐富轉錄）。

這是一個「三合一」的概念。這款模型並不是分開執行三個任務，而是同時進行：

1. ASR（自動語音辨識）： 核心的轉錄功能，解決「What」。
2. Diarization（說話者分理）： 區分不同的人聲，解決「Who」。
3. Timestamping（時間戳記）： 標記精確的時間點，解決「When」。

在過去，開發者可能需要串接三個不同的模型才能達成這種效果：一個轉文字，一個分辯是誰說話，最後再想辦法把時間對齊。這不僅流程繁瑣，還容易在模型之間的交接處產生誤差。VibeVoice 直接輸出包含 Who、When 和 What 的結構化數據，這讓後續的應用開發變得簡單許多。

如果你想親自測試這種結構化輸出的效果，可以參考官方提供的 VibeVoice-ASR Demo 頁面，實際感受一下它的整合能力。

自定義熱詞：讓 AI 聽懂你的「行話」

再聰明的 AI，遇到冷門的專有名詞或是公司內部的術語，往往也會聽得一頭霧水。這時候，如果能給它一張「小抄」，效果就會完全不同。

VibeVoice-ASR 引入了 Customized Hotwords（自定義熱詞） 的功能。使用者可以提供特定的名稱、技術術語或是背景資訊給模型。這就像是在考試前告訴考生：「待會如果聽到這個詞，指的就是這個意思。」

這項功能對於特定領域的應用特別有價值。例如醫療會議中的藥名、法律研討會中的法條簡稱，或是科技公司內部的專案代號。透過提示這些熱詞，可以顯著提升模型在特定領域內容的辨識準確度，減少後期人工校對的時間。

關於這部分的實作細節，有興趣深入研究程式碼的朋友，可以直接查看 Microsoft 的 GitHub Repo，裡面有更詳細的參數說明。

效能表現：數據背後的意義

當然，光說不練假把戲。在 Microsoft 公布的評測數據中，VibeVoice-ASR 在幾個關鍵指標上都展現了強大的競爭力，甚至在某些測試中超越了 Gemini-2.5-Pro 和 Gemini-3-Pro。

特別值得注意的是以下幾個指標：

• DER (Diarization Error Rate)： 這是衡量「區分說話者」準確度的指標。數值越低越好，表示模型更少把 A 說的話誤判成 B 說的。
• cpWER 與 tcpWER： 這些是針對長文本和時間約束下的錯誤率評估。

從圖表趨勢來看，VibeVoice 在處理多人對話的複雜場景時，穩定性相當高。這也呼應了前面提到的 Single-Pass 架構優勢，因為掌握了完整的對話脈絡，模型在判斷「現在是誰在說話」這件事上，顯得更有把握。

你可以在 Hugging Face 的模型卡片 上看到完整的評測圖表和更多技術細節。

常見問題解答 (FAQ)

在開始使用這類大型模型之前，總是會有一些實際的疑問。這裡整理了幾個關鍵問題，幫助你快速判斷它是否適合你的專案。

1. VibeVoice-ASR 是開源的嗎？我可以免費用嗎？

是的。根據官方資訊，這個專案採用 MIT License 授權。這是一個非常寬鬆的開源協議，意味著你可以自由地使用、修改甚至用於商業目的，只要保留原始的版權聲明即可。這對於想要建立自有轉錄服務的新創公司或開發者來說，是一個巨大的利多。

2. 運行這個模型需要什麼樣的硬體規格？

這是一個擁有 9B（90 億）參數 的模型，並且使用 BF16 的張量類型。這意味著它並不是一個可以在普通筆記型電腦 CPU 上順暢運行的輕量級模型。你通常需要配備有足夠 VRAM 的高階 GPU 才能進行推論。如果你沒有相應的硬體，可能需要尋求雲端運算資源的協助。

3. 除了英文，它還支援其他語言嗎？

根據標籤顯示，它支援 English 和 Chinese（中文）。這對於中文使用者來說是個好消息，因為許多頂尖的 ASR 模型往往優先優化英文，中文的支援度有時會稍顯不足，尤其是涉及中英夾雜的專業場景時。VibeVoice 的雙語支援讓它在亞洲市場的實用性大增。

4. 如果遇到模型表現不佳或有問題該怎麼辦？

這是一個由 Microsoft Research 成員主導的專案。如果你在使用過程中發現了 Bug，或者有關於模型行為的建議（例如產生了不適當的內容），官方建議透過電子郵件 [email protected] 聯繫團隊。這也顯示了他們對於社群反饋的重視。

結語

VibeVoice-ASR 的出現，並不僅僅是為了刷榜或展示技術肌肉。它回應了一個很實際的需求：我們需要一個能夠理解「長篇大論」，並且搞清楚「誰在說話」的統一工具。

對於開發者而言，它簡化了 pipeline，不需要再為了串接語音辨識和聲紋辨識而頭痛；對於使用者而言，這意味著未來的會議記錄軟體或字幕工具，可能會變得更加聰明且連貫。雖然 9B 的參數量對硬體有一定要求，但在雲端運算普及的現在，這或許只是個小門檻。如果你正在尋找一個能處理複雜、長時數音訊的解決方案，這個模型絕對值得你花時間去測試一番。