開源全雙工語音模型新標竿:Sophon-Realtime v1 技術解析,聽得懂語氣與情緒的 32B 即時對話架構
由 Adventists AI 開發並於 2026 年 11 月正式開源的 Sophon-Realtime v1,是一套採 Apache-2.0 授權(程式碼與模型權重皆可免費商用)的全雙工(Full-Duplex)即時語音模型家族。不同於傳統「語音轉文字(STT)→ 大型語言模型(LLM)→ 文字轉語音(TTS)」的串接管線,Sophon-Realtime 就像真人通話一樣,能在你說話時持續聆聽、在停頓瞬間即時接話,並在你隨時插話打斷時立刻切換回應。
根據 ModelScope 官方於 X 發布的公告(由 @BKJinAI 與團隊打造),該模型不僅能辨識說話者的語氣、猶豫與諷刺,還能主動在對話中自然地笑、嘆氣、呼吸或清喉嚨,在多項開源全雙工與副語言基準測試中拿下第一名。
核心技術亮點:聽得見的語氣,演得出的情緒
1. 真正的全雙工輪替與即時打斷(Barge-in)
Sophon-Realtime 在你說話的過程中持續進行聲學與語意聆聽。每當偵測到停頓,模型只需單一 token 即可判斷使用者是「已經說完」、「仍在思考」、「只是附和(back-channeling)」還是準備繼續發言。模型會在第一時間預先草擬回覆(Drafts early),一旦輪到自己發言便立刻輸出語音;若使用者仍在繼續說話,草稿則直接丟棄。當使用者中途插話打斷時,模型會立即停止播放,且對話歷史僅保留使用者「實際聽見」的片段,確保多輪上下文不失真。
2. 聽覺大腦 DuplexJev 與非語言表現力
- 聽懂副語言線索:模型聽覺模組採用團隊開源的語音決策模型 DuplexJev(單次前向傳播僅需約 92 ms 即可完成輪替結束、打斷、情緒與重音判斷),能直接從聲音中聽出情緒波動、重音強調、反諷、笑聲與嘆氣。
- 自然演繹聲音表情:大腦在生成回覆文本時,會同步決定何時插入
[laughter](笑聲)、[sigh](嘆氣)、呼吸、清喉嚨或重讀標籤。這些標籤不會被直接唸出,而是交由語音合成端真實「演繹」出來。
三大版本架構:共享同一顆 32B 大腦
Sophon-Realtime v1 系列的三個版本皆共享同一顆 32B 參數核心大腦(負責聆聽、判斷輪替與撰寫回覆),僅在「如何將回覆轉化為聲音」的發聲引擎上有所區隔,以滿足不同延遲與併發需求(資料來源:GitHub README 與 ModelScope 模型合集頁):
| 比較項目 | Tag(推薦) | Flash | E2E |
|---|---|---|---|
| 發聲機制 | 大腦輸出帶聲音標籤的回覆,由高表現力語音模型演繹 | 同一套帶標籤回覆,改由更輕量快速的語音模型發聲(每 80 ms 幀一次前向傳播) | 無獨立語音 token 模型;約 350M 參數的 Talker 邊寫邊生成連續語音向量(約 6.5 fps),經 2-step 解碼器與聲碼器轉為 24 kHz 音訊 |
| 適用場景 | 高度情緒表現:虛擬伴侶、角色扮演、Demo 展示 | 極致速度與高併發:客服中心、車載語音、高流量服務 | 最快首字延遲與高表現力;自有引擎易於客製修改 |
| 非語言聲音表現(NVV-SuperBench, en / zh) | 0.80 / 0.86 | 0.63 / 0.77 | 0.75 / 0.85 |
| 單一使用者首字音訊延遲(H100) | ~0.6 s | 0.31 s | ~0.25 s(自有引擎)/ ~0.35 s(vLLM-Omni) |
| 單張 80 GB GPU 建議併發數 | 16 路 | 40 路 | 16 路 |
| 零樣本聲音克隆 | 支援(3–10 秒音檔) | 支援(3–10 秒音檔) | 支援(5–12 秒音檔,v1.3.0 起) |
| 部署與服務框架 | vLLM-Omni 一行指令啟動 | vLLM-Omni 一行指令啟動(另有 Mac MLX 4-bit 本地版) | 自有引擎或 vLLM-Omni |
| ModelScope 模型頁 | Sophon-Realtime-32B-Tag | Sophon-Realtime-32B-Flash | Sophon-Realtime-32B-E2E |
基準測試表現(Benchmarks)
根據 GitHub 官方評測資料 與 ModelScope 公告,Sophon-Realtime v1 在多項公開基準中展現出開源全雙工模型的領先實力:
- VoiceBench:獲得 82.8 分,位居開源全雙工模型第 1 名,整體對話能力與閉源的 GPT-4o-mini-Audio 相當。
- Big Bench Audio:獲得 81.8%,同樣拿下開源全雙工模型第 1 名。
- 副語言理解(Paralinguistic Understanding):在 LISTEN、StressTest 與 MSPB 綜合評測中獲得 48.6 分(總榜第 1),領先 Gemini 3.8 Flash(46.9)與 Qwen3-Omni(44.6)。
- Full-Duplex-Bench v3 工具呼叫:Pass@1 達到 48%,超越 Grok(43%),並達成 100% 的回應率。
近期重磅更新與開發者生態支援(2026 年 11 月)
自 11 月 8 日釋出 v1.0 後,團隊在短短一週內快速迭代多項實用功能:
- 零樣本聲音克隆(v1.1 / v1.3.0):只需將 3–10 秒(E2E 版為 5–12 秒)的單人乾淨音訊放入
model/voices/目錄,無須重新訓練或重啟伺服器,即可於下一次請求中以該音色進行全雙工即時對話。打斷、附和與笑聲皆可保留,甚至支援跨語言發聲(官方提醒僅能用於已獲授權之聲音)。 - Apple Silicon Mac 完全離線運行(2026-11-13):
Sophon-Realtime-32B-Flash-4bit-MLX(約 24 GB)可透過 MLX 在配備 36 GB 以上統一記憶體的 Mac 本地離線運行,完整支援輪替偵測、插話打斷與回音消除。 - OpenAI Realtime / GPT-Live 相容與 Live 模式:
- 透過
vLLM-Omni部署即可直接對外提供相容 OpenAI Realtime 協定的 WebSocket(/v1/realtime)與/v1/chat/completions介面(詳見 vLLM Recipes 部署指南)。 - 內建
live/閘道器支援 OpenAI GPT-Live 協定,可將天氣、新聞查詢或工具任務委派給後端更大的模型執行,同時由 Sophon 維持流暢語音互動並輸出可稽核的逐字稿。
- 透過
- 多語言支援:中文與英文已完整支援;義大利語、德語、西班牙語、法語與葡萄牙語可流暢進行多輪對話;日語與俄語已於 Flash 版上線,韓語等更多語言正在開發中。
- 免 GPU 免費託管 API 試用(2026-11-14):開發者可至 Adventists AI Console 註冊取得 3 小時免費語音對話額度,直接透過
wss://api.adventists.ai/sophon/v1/realtime串接三個版本。
快速部署與微調指南
單張 80 GB GPU 一行指令啟動(Tag 版)
建議於 Python 3.12、Linux 與 CUDA 13 環境中安裝包含 TensorRT 加速的 [trt] 套件(若缺少 TensorRT,純 PyTorch 在 16 路併發下的首字延遲會慢約 3 倍):
pip install "sophon-realtime[trt]"
sophon-realtime serve
Mac 本地離線體驗(Apple Silicon / MLX)
git clone https://github.com/adventists-ai/sophon-realtime
cd sophon-realtime && bash mac/install.sh
~/sophon-mac/sophon --lang en
客製化微調
若需調整人設、語氣、領域知識或工具呼叫能力,可參考倉庫中的 finetune/ 目錄,使用 ms-swift 在單張 80 GB GPU 上以 LoRA 微調大腦模型,同時完整保留原有的語音表現力、表情標籤與全雙工輪替能力。
相關連結彙整
- GitHub 開源倉庫:adventists-ai/sophon-realtime
- 官方專案主頁:Adventists AI — Sophon-Realtime
- X(Twitter)發布貼文:ModelScope (@ModelScope2022) 公告貼文
- 線上即時語音 Demo:ModelScope Studio(國際站) / 魔搭社區 Studio(中文站)
- ModelScope 模型集合與權重:
- 部署與技術參考: