輕量語音合成模型 Kokoro-7M-Distill 解析：參數量縮減 11 倍與邊緣端推論實踐

本文介紹開源語音合成模型 Kokoro-7M-Distill 的技術架構與蒸餾機制。該模型將參數量壓縮至約 748 萬，在 4 核心 CPU 上達成 45 倍即時合成速度，並透過 WavLM 特徵匹配與靜音損失抑制背景雜訊，適合無網路連線的行動裝置離線執行。

邊緣運算與離線語音合成技術逐漸受到重視，但模型運算負擔與記憶體佔用經常成為裝置端的部署瓶頸。開發者 oddadmix 在 Hugging Face 發布了開源語音模型 Kokoro-7M-Distill，將原本擁有約 8,181 萬參數的 Kokoro-82M 進行知識蒸餾，壓縮為 7,477,702 個參數的輕量架構。該模型未壓縮的 32 位元浮點數檔案僅 28.7 MB，使行動電話等終端設備得以在不連線外部伺服器的情況下獨立完成英文語音合成。

核心架構與參數量縮減設計

Kokoro-7M-Distill 沿用 StyleTTS 2 與 Kokoro 的骨幹設計，整體系統由文字編碼器、音素語言模型、韻律預測器與解碼器組合而成。

模型整體的參數量約為 7.48M，各模組的具體參數配置如下：

• 解碼器（ISTFTNet）：4,062,450 參數
• 韻律預測器（Prosody Predictor）：2,219,572 參數
• PL-BERT 語言模型：595,520 參數
• 文字編碼器（Text Encoder）：569,280 參數
• 投影層（Projection）：30,880 參數

該模型能將體積壓縮至原本的十一分之一，主要依賴兩項結構調整。

第一項調整是音素語言模型 PL-BERT 的參數共享。該模組包含 12 層 ALBERT 結構，各層共用同一個參數區塊，因此 12 層的總參數量維持在 59.6 萬左右，相較於非共享結構省下約數百萬參數。

第二項調整是音素長度預測方式。模型放棄傳統直接預測數值的回歸做法，改為對每個音素計算 50 個 Sigmoid 門控機率並將其加總，從而縮減韻律預測層的計算負擔。相同的架構設計也應用於阿拉伯語模型 Nabra-7M-Distill，使多語言的蒸餾調校流程具備一致性。

4 核心 CPU 推論速度與效能表現

在端點運算情境中，語音合成往往需要在低功耗處理器上運作。根據開發者釋出的基準測試，評測環境設定為 4 個 CPU 執行緒且不啟用 GPU，模擬中階智慧型手機的運算規格，測試內容包含 24 個英文句子的平均生成表現。

在合成速度方面，Kokoro-7M-Distill 的即時率（Real Time Factor，簡稱 RTF）達到 0.0220，中位數合成時間為 0.081 秒。對比原版 Kokoro-82M 的 RTF 0.0902 與 0.327 秒合成時間，蒸餾版本的推論速度約提升 4.1 倍。換算後每秒音訊僅需約 22 毫秒即可合成完畢，約達到即時速度的 45 倍。

為了便於評估語音輸出品質與生成延遲，開發者同時提供了 Kokoro-7M-Distill-Demo 線上展示，使用者可直接在瀏覽器中比對 82M 原版與 7M 蒸餾版的音訊細節。

知識蒸餾機制與損失函數優化

小型文字轉語音模型在訓練時容易出現發音錯位與音質劣化。Kokoro-7M-Distill 採用教師模型導引方式，由 Kokoro-82M 輸出生成音訊時所對應的音素持續時間，使學生模型在結構上直接對齊正確的時間標記，解決了小型架構難以收斂對齊的問題。

訓練目標函數整合了多解析度 STFT、音素長度 L1、Log-mel L1，並搭配多週期與多解析度頻譜判別器。其中兩項特化損失發揮了關鍵作用：

靜音損失（Silence Term）

小型 ISTFTNet 解碼器在推論無聲片段時，容易產生高於教師模型的基準噪訊，在聽覺上會呈現微弱的持續性電流底噪。由於常規的對數振幅損失對此類底噪的懲罰力道不足，加入專門的靜音損失項可直接壓制靜音區間的背景雜音。

WavLM 特徵匹配（WavLM Feature Matching）

頻譜類型的損失函數多數集中在振幅領域，對聲波相位缺乏足夠約束，容易導致語音帶有不自然的金屬機械感。透過引入預訓練語音模型 WavLM 的特徵匹配，模型能夠維持自然的發音共鳴與語調起伏。

部署環境與使用注意事項

在本地環境安裝與呼叫 Kokoro-7M-Distill 時，有數項設定需要特別留意。

首先是語音風格檔的搭配。該模型專門針對 af_msa.pt 風格包進行蒸餾，官方測試顯示搭配該風格檔時，音質預測分數 UTMOS 達 4.138，字錯率（WER）為 0.0525。專案目錄內保留的 af_heart.pt 僅為相容舊版介面，學生模型在訓練階段未接觸該檔案，使用時會造成發音清晰度降低。

其次是套件相容性。原版 Kokoro 官方套件將解碼器的隱藏通道與輸出通道固定為 1024 與 512，直接以標準套件載入 7M 模型會引發 TypeError。開發者因此提供了修補後的載入腳本 load_model.py，使用者需透過該腳本初始化推論流程。

在應用範圍方面，目前模型僅支援單一英文女聲，且處理常規英語文本時表現最為穩定。若輸入文字包含大量特殊符號或不規則排版，前端音素轉換工具可能產生非預期的發音標記，進而影響後續聲音輸出。

常見問題

Kokoro-7M-Distill 可以在無 GPU 的單板電腦或手機上順暢執行嗎？

可以。該模型專為 CPU 運算環境優化，在 4 執行緒 CPU 下的即時率約為 0.0220，合成 1 秒音訊僅需約 22 毫秒，足以在無獨立顯示晶片的裝置上達成離線低延遲播放。

為什麼使用 af_heart.pt 會導致合成語音模糊？

Kokoro-7M-Distill 於訓練階段僅採用 af_msa.pt 作為目標風格權重。af_heart.pt 並未納入學生的訓練分布，強制載入會造成韻律特徵失真，導致清晰度與評測分數顯著下滑。

載入模型時為何無法直接調用官方 kokoro 套件的 KModel 類別？

官方套件在解碼器設定中將通道數寫死，無法適應 7M 模型的輕量通道規模。使用者應透過專案提供的 load_model.py 載入修改後的解碼器結構，以確保權重正確映射。

結語

Kokoro-7M-Distill 透過層級參數共享、教師音素對齊導引與 WavLM 特徵約束，在 28.7 MB 的檔案容量下維持了可用的英文語音品質。此類極輕量設計降低了對雲端 API 的依賴，為智慧家居設備、離線輔助工具與行動應用的本地語音合成提供了實用的整合選項。