語音合成（TTS）技術長期面臨一個實務痛點：當配音員或 AI 讀錯一個詞、或者某個字的情緒不到位時，創作者往往必須重新生成整句臺詞，原本滿意的語氣也隨之消失。Fish Audio 於 2026 年 10 月 13 日發布的新一代旗艦模型 Fish Audio Drama 3，將「劇本執導」與「單詞級區域性修音」帶入開放權重（Open-Weight）領域。同時，社群也迅速推出了針對 32GB 消費級顯示卡最佳化的量化版本 darioooooo0o/drama-3-w4a16-32gb，讓單張 RTX 5090 等級的硬體也能在本地端執行這套 35B 規模的語音模型。
本文整理自 Fish Audio Drama 3 官方中文頁面 與 官方技術部落格，帶你快速掌握模型架構、五種導演控制語法、效能資料與本地部署方式。
什麼是 Fish Audio Drama 3？35B-A3B 混合專家架構解析
Drama 3 是專為多角色場景、有聲書、廣播劇與長篇內容設計的新一代文字轉語音模型，支援 83 種語言、多說話人生成、語音克隆（Voice Cloning）以及自然語言指令控制。
在底層架構上，Drama 3 採用稀疏混合專家（MoE）設計，兼顧大型模型的表現力與推論速度：
- 35B 總參數、每 Token 啟用 3B 參數（35B-A3B）：文字主幹（Backbone）由 Qwen3.5-35B-A3B 語言模型初始化，包含 256 個路由專家（每次啟用 8 個）與 1 個共享專家。路由專家權重以 FP8（F8_E4M3）儲存，其餘權重維持 BF16。
- 混合注意力機制（Hybrid Attention）：共 40 層網路，以「3 層 Gated DeltaNet 線性注意力 + 1 層門控全注意力（Full Attention）」為單位交替組成。DeltaNet 層以固定大小的狀態儲存歷史上下文，每 4 層僅有 1 層需要維護 KV Cache，大幅降低長文字推論的記憶體負擔。
- Codebook-MTP 音訊解碼器：取代前代 S2 的單幀 Fast AR 架構。由 4 個共享層連線 9 個全寬度層（分別對應聲學 Codebook 1 至 9），每一層皆可在整個序列上進行因果注意力計算（Causal Attention），直接參考前文與參考音訊的細微聲學特徵。
- 部分編碼簿融合（Partial Codebook Fusion）：僅將 Codebook 0 與 1 回饋至主幹網路（前代 S2 回饋全部 10 個 Codebook），以減少曝光偏差（Exposure Bias），Codebook 2 至 9 則直接送入解碼器。
- 44.1 kHz 音訊 Tokenizer：沿用基於 Descript Audio Codec 構建的 S2 Tokenizer，具備 10 個 Codebook（1 個語義、9 個殘差），每秒約 21.5 幀，採全因果設計。
- 偏好模型強化學習（RL）：傳統語音模型多以「易於轉寫（低 WER）」與「接近參考音訊」作為獎勵，容易把笑聲、嘆氣或耳語視為雜訊而壓平。Drama 3 改用單一的人類偏好獎勵模型（Learned Human-Preference Reward Model），搭配無 KL 懲罰的 GRPO 演算法（每步 1,536 個提示詞 × 8 個演繹版本）進行微調，保留哭腔、咬牙切齒與憋笑等真實情緒起伏。
五種「導演式」語音控制方式，同一份劇本自由混用
官方將這套互動模式定調為「導演整場表演，而不只是臺詞」。創作者可以在同一句臺詞中混用五種控制方式：
- 用自己的話描述情緒與情境：不必受限於固定預設標籤，直接在方括號
[ ]中以自然語言寫出情緒、意圖、節奏或對話物件。例如：[warm and relaxed, like talking to an old friend] It's been a while.或[barely holding it together, forcing a smile] I'm fine.。 - 加入聲音、情緒或停頓：在需要的位置精準插入
[sigh]（嘆氣）、[laughs]（笑聲）、[shaky breath]（顫抖呼吸）或[pause]（短暫停頓），系統只會在標記處觸發該聲音事件，其餘字句不受影響。 - 精確控制要變的文字（成對範圍標籤）：使用成對的 XML 風格範圍標籤（如
<whisper>...</whisper>、<emphasis>...</emphasis>、<slow>...</slow>、<stress>...</stress>），僅改變被包圍字詞的演繹方式。例如：[breathless, speaking fast] Just turn off the lights. [voice drops to a terrified whisper] And whatever you hear out there… [slow, deadly serious] <emphasis>do not open that door.</emphasis>，讓同一句話從急促轉為耳語，最後在關鍵字詞加重語氣。 - 用自己的語言下達導演指令：方括號內的導演指令不需要與臺詞語言相同。即使臺詞是英文，也可以直接用中文寫
[像是在強忍著眼淚，卻努力笑著] I'm fine. Really. Go on without me.，或使用日文、西班牙文下達指令。 - 從「自動加標籤（Auto Tag）」開始：若不確定如何撰寫指令，只需輸入純文字對白並為各角色指定音色，「自動加標籤」功能會自動根據上下文補上情緒與停頓標記（例如將普通臺詞
I was home. Asleep.自動轉為[defensive, slightly uneasy tone] I was home. [pause] Asleep.）。
此外，針對多角色長篇劇本，模型支援 <|speaker:0|> 到 <|speaker:15|> 的說話人標籤，單段文字最多可容納 16 個角色，並在單次串流中完成整場對手戲，無須分開生成再手動拼接音軌。
區域性修音（Audio Inpainting）與多輪導演修訂
除了一次到位的劇本演繹，Fish Speech GitHub 專案 與官方技術部落格展示了兩項針對後製流程的編輯能力（目前雲端版本處於小範圍邀請測試，本地開源權重可透過傳入先前生成的 VQ Tokens 實現）：
- 單詞級區域性修音（Infilling / Audio Inpainting）：當客戶或編劇修改劇本中的某個字（例如把「Wednesday」改為「Thursday」，或將「jacket」改為「scarf」），只需傳入前一次生成的 VQ Tokens（
previous_takes）與修改後的文字，模型會聆聽目標詞彙前後的語音脈絡，僅重新生成該單詞，並自然銜接原有的音色、情緒與語速。 - 多輪導演修訂（Multi-turn Director Revision）：如同在錄音室指導配音員，你可以針對上一個生成版本下達相對指令（例如「比上一版更輕柔、更悲傷一點」或「少一點傷感，多一點自嘲」），模型會在保留既有演繹脈絡的基礎上重新調整，不必從零開始抽卡。
Drama 3 與前代模型 S2-Pro / S2.1 Pro 規格與基準比較
根據官方公佈的說明檔案與 Artificial Analysis 發音穩健性測試（Pronunciation Robustness Benchmark），Drama 3 與 S2 系列的差異整理如下：
| 評估專案 / 功能特性 | Fish Audio S2-Pro / S2.1 Pro | Fish Audio Drama 3 |
|---|---|---|
| 模型參數量 | 4B 參數 | 35B 總參數（每 Token 啟用 3B 參數） |
| 多說話人生成 | 支援 | 支援（場景式多角色單次生成，最多 16 人） |
| 自然語言行內指令 | 支援 | 支援（含成對範圍標籤與跨語言指令） |
| 區域性修音（Audio Inpainting） | 不支援 | 支援（單詞級替換與上下文延續編輯） |
| 多輪導演修訂 | 不支援 | 支援（基於前次 Take 進行相對調整） |
| 強烈情緒表現（哭泣、大笑、耳語） | 中等（易受參考音訊壓平） | 顯著提升（經人類偏好獎勵模型微調） |
| 發音穩健性：品牌、地名與技術術語 | 87.3%（S2.1 Pro） | 95.9% |
| 發音穩健性：依賴上下文的多音詞 | 86.1%（S2.1 Pro） | 95.3% |
| 發音穩健性：數字、日期、單位與符號 | 92.7%（S2.1 Pro） | 93.6% |
| 發音穩健性：程式碼、路徑與電子郵件 | 79.4%（S2.1 Pro） | 86.3% |
| Artificial Analysis 發音穩健性總分 | 88.1%（S2.1 Pro） | 93.2%（排行榜第一） |
開源權重部署與 32GB 顯示卡量化方案（drama-3-w4a16-32gb）
官方原版模型 fishaudio/drama-3 包含 8 個 Safetensors 分片與 1.9 GB 的編解碼器，完整下載體積約 40 GB 至 41.5 GB。在伺服器端，官方推薦使用 SGLang-Omni 進行部署。根據官方模型卡在單張 NVIDIA H200 GPU 上的測試資料：
- 單路串流（Concurrency = 1）：中位數首音訊延遲（TTFA p50）僅 88.9 ms，平均即時率（RTF）為 0.131（生成速度約為播放速度的 7.6 倍）。
- 高併發表現（Concurrency = 16 / 64）：16 併發時 TTFA p50 為 210.1 ms、RTF 為 0.373（生成速度仍比播放快約 2.7 倍），64 併發時平均 RTF 仍可維持在 0.801。若在 256 併發場景下將 Vocoder 移至第二張 GPU，吞吐量可從 2,422 frames/s 提升至 4,160 frames/s（提升約 72%），中位數 TTFA 降低 37%。
消費級 32GB 顯示卡救星：darioooooo0o/drama-3-w4a16-32gb
由於原版 FP8/BF16 權重約需 40 GB 以上的視訊記憶體（例如需雙卡 RTX 3090 或資料中心級 GPU），社群開發者推出了專為 32 GB VRAM 顯示卡（如 NVIDIA RTX 5090）量身打造的混合量化版本 darioooooo0o/drama-3-w4a16-32gb。
該版本採用分層混合精度策略，在壓縮體積的同時保留音質關鍵元件的精度：
| 比較專案 | 官方原版 fishaudio/drama-3 | 社群 32GB 量化版 darioooooo0o/drama-3-w4a16-32gb |
|---|---|---|
| 路由專家（Routed Experts） | FP8（F8_E4M3） | INT4（W4A16，對稱量化，Group Size 128，moe_wna16） |
| 主幹注意力、線性注意力與共享專家 | BF16 | INT8（GPTQ-Marlin W8A16，250 個矩陣，Group Size 128） |
Embeddings、lm_head 與音訊解碼器 | BF16 | 維持無損 BF16（確保聲學解碼品質不流失） |
| 模型下載體積 | 約 41.5 GB | 24.5 GB（較標準 W4A16 版的 25.9 GB 更精簡） |
| 硬體與 VRAM 需求 | 建議 > 40 GB VRAM（或多卡配置） | 單張 ≥ 32 GB VRAM 顯示卡（Compute Capability ≥ 8.0，實測峰值 30.7 GiB） |
本地部署注意事項：由於量化版在 RTX 5090 上實測峰值視訊記憶體約為 30.7 GiB（接近 32 GB 顯示卡的 31.8 GiB 可用上限），建議在無桌面環境（Headless）下執行，或避免在同一張 GPU 上開啟佔用視訊記憶體的視窗程式。
快速啟動與 API 呼叫範例
無論使用官方原版或 32GB 量化版，皆可透過 Linux、CUDA 12.8+、Python 3.12 與 sglang-omni 啟動本地推論伺服器：
# 1. 安裝 SGLang-Omni 環境
git clone https://github.com/sgl-project/sglang-omni.git && cd sglang-omni
uv pip install --prerelease=allow -v -e ".[fishaudio]"
# 2A. 啟動官方原版模型（需足夠 VRAM）
sgl-omni serve --model-path fishaudio/drama-3 --port 8000
# 2B. 啟動 32GB 顯示卡量化版模型（如單張 RTX 5090）
python3 -m sglang.launch_server \
--model-path darioooooo0o/drama-3-w4a16-32gb \
--mem-fraction-static 0.8 \
--port 8000
若不想自行架設 GPU 伺服器，也可以直接透過 Fish Audio 雲端 API 或 ComfyUI 核心內建的 Text to Speech (Fish Audio) 節點呼叫 drama-3：
curl https://api.fish.audio/v1/tts \
-H "Authorization: Bearer $FISH_API_KEY" \
-H "Content-Type: application/json" \
-H "model: drama-3" \
-d '{
"text": "I'\''m fine. Really. <whisper>Go on without me.</whisper>",
"reference_id": "f3a2b90078d54a65af4b95f63bc7798e"
}' --output speech.mp3
授權條款與價格方案
在使用 fishaudio/drama-3 或其衍生量化模型前，開發者與團隊需留意其授權規範與雲端計費方式：
- 開源權重授權（Fish Audio Community License v1.0）：Drama 3 採用全新的社群授權條款。學術研究與非商業用途完全免費；若你與關聯企業的年營收低於 50 萬美元（US$500,000），同樣可免費作為商業用途（例如為客戶製作完成品音訊）。若年營收超過該門檻，或欲將 Drama 3 包裝為對外提供的 TTS、語音克隆或推論 API 服務，則須向官方申請商業授權。此外，授權條款明確禁止在未經本人同意的情況下克隆真實人物的聲音。
- 雲端 API 與創作者方案定價：Drama 3 API 標準定價為每百萬字元 50 美元，在 2026 年 10 月 13 日至 11 月 12 日的首發優惠期間享 2 折優惠（每百萬字元 10 美元）。針對一般創作者，網頁版與 iOS / Android App 內的生成點數消耗與 S2.1 Pro 相同，且新訂閱 Plus、Pro 或 Max 方案於 11 月 12 日前享首月（月繳）或首年（年繳）5 折優惠。
相關連結
- Fish Audio Drama 3 官方模型權重：https://huggingface.co/fishaudio/drama-3
- Fish Audio Drama 3 官方中文介紹頁：https://fish.audio/zh-CN/drama-3/
- Drama 3 32GB 顯示卡量化版模型（W4A16）：https://huggingface.co/darioooooo0o/drama-3-w4a16-32gb
- Fish Audio Drama 3 官方技術部落格：https://fish.audio/blog/fish-audio-drama-3/
- Fish Speech 開源程式碼庫（GitHub）：https://github.com/fishaudio/fish-speech