跳至主要內容

工具與應用

開源全雙工語音模型新標竿:Sophon-Realtime v1 技術解析,聽得懂語氣與情緒的 32B 即時對話架構

Adventists AI 以 Apache 2.0 授權開源全雙工語音模型家族 Sophon-Realtime v1,共享 32B 核心大腦與 DuplexJev 聽覺模組,支援即時插話打斷與 Mac 本地離線運行。

開源全雙工語音模型新標竿:Sophon-Realtime v1 技術解析,聽得懂語氣與情緒的 32B 即時對話架構

由 Adventists AI 開發並於 2026 年 11 月正式開源的 Sophon-Realtime v1,是一套採 Apache-2.0 授權(程式碼與模型權重皆可免費商用)的全雙工(Full-Duplex)即時語音模型家族。不同於傳統「語音轉文字(STT)→ 大型語言模型(LLM)→ 文字轉語音(TTS)」的串接管線,Sophon-Realtime 就像真人通話一樣,能在你說話時持續聆聽、在停頓瞬間即時接話,並在你隨時插話打斷時立刻切換回應。

根據 ModelScope 官方於 X 發布的公告(由 @BKJinAI 與團隊打造),該模型不僅能辨識說話者的語氣、猶豫與諷刺,還能主動在對話中自然地笑、嘆氣、呼吸或清喉嚨,在多項開源全雙工與副語言基準測試中拿下第一名。


核心技術亮點:聽得見的語氣,演得出的情緒

1. 真正的全雙工輪替與即時打斷(Barge-in)

Sophon-Realtime 在你說話的過程中持續進行聲學與語意聆聽。每當偵測到停頓,模型只需單一 token 即可判斷使用者是「已經說完」、「仍在思考」、「只是附和(back-channeling)」還是準備繼續發言。模型會在第一時間預先草擬回覆(Drafts early),一旦輪到自己發言便立刻輸出語音;若使用者仍在繼續說話,草稿則直接丟棄。當使用者中途插話打斷時,模型會立即停止播放,且對話歷史僅保留使用者「實際聽見」的片段,確保多輪上下文不失真。

2. 聽覺大腦 DuplexJev 與非語言表現力

  • 聽懂副語言線索:模型聽覺模組採用團隊開源的語音決策模型 DuplexJev(單次前向傳播僅需約 92 ms 即可完成輪替結束、打斷、情緒與重音判斷),能直接從聲音中聽出情緒波動、重音強調、反諷、笑聲與嘆氣。
  • 自然演繹聲音表情:大腦在生成回覆文本時,會同步決定何時插入 [laughter](笑聲)、[sigh](嘆氣)、呼吸、清喉嚨或重讀標籤。這些標籤不會被直接唸出,而是交由語音合成端真實「演繹」出來。

三大版本架構:共享同一顆 32B 大腦

Sophon-Realtime v1 系列的三個版本皆共享同一顆 32B 參數核心大腦(負責聆聽、判斷輪替與撰寫回覆),僅在「如何將回覆轉化為聲音」的發聲引擎上有所區隔,以滿足不同延遲與併發需求(資料來源:GitHub README 與 ModelScope 模型合集頁):

比較項目Tag(推薦)FlashE2E
發聲機制大腦輸出帶聲音標籤的回覆,由高表現力語音模型演繹同一套帶標籤回覆,改由更輕量快速的語音模型發聲(每 80 ms 幀一次前向傳播)無獨立語音 token 模型;約 350M 參數的 Talker 邊寫邊生成連續語音向量(約 6.5 fps),經 2-step 解碼器與聲碼器轉為 24 kHz 音訊
適用場景高度情緒表現:虛擬伴侶、角色扮演、Demo 展示極致速度與高併發:客服中心、車載語音、高流量服務最快首字延遲與高表現力;自有引擎易於客製修改
非語言聲音表現(NVV-SuperBench, en / zh)0.80 / 0.860.63 / 0.770.75 / 0.85
單一使用者首字音訊延遲(H100)~0.6 s0.31 s~0.25 s(自有引擎)/ ~0.35 s(vLLM-Omni)
單張 80 GB GPU 建議併發數16 路40 路16 路
零樣本聲音克隆支援(3–10 秒音檔)支援(3–10 秒音檔)支援(5–12 秒音檔,v1.3.0 起)
部署與服務框架vLLM-Omni 一行指令啟動vLLM-Omni 一行指令啟動(另有 Mac MLX 4-bit 本地版)自有引擎或 vLLM-Omni
ModelScope 模型頁Sophon-Realtime-32B-TagSophon-Realtime-32B-FlashSophon-Realtime-32B-E2E
單張 80 GB GPU 建議併發服務能力Flash 版單卡可支撐 40 路即時語音併發,高於 Tag 與 E2E 版的 16 路
單張 80 GB GPU 建議併發數
16路Tag / E2E 版
40路Flash 版約 2 倍
資料來源:GitHub 官方倉庫

基準測試表現(Benchmarks)

根據 GitHub 官方評測資料 與 ModelScope 公告,Sophon-Realtime v1 在多項公開基準中展現出開源全雙工模型的領先實力:

  • VoiceBench:獲得 82.8 分,位居開源全雙工模型第 1 名,整體對話能力與閉源的 GPT-4o-mini-Audio 相當。
  • Big Bench Audio:獲得 81.8%,同樣拿下開源全雙工模型第 1 名。
  • 副語言理解(Paralinguistic Understanding):在 LISTEN、StressTest 與 MSPB 綜合評測中獲得 48.6 分(總榜第 1),領先 Gemini 3.8 Flash(46.9)與 Qwen3-Omni(44.6)。
  • Full-Duplex-Bench v3 工具呼叫:Pass@1 達到 48%,超越 Grok(43%),並達成 100% 的回應率。
副語言理解(LISTEN / StressTest / MSPB 綜合評測)Sophon-Realtime v1 在副語言理解拿下 48.6 分總榜第 1
綜合評測分數(越高越好)
Sophon-Realtime v148.6 Gemini 3.8 Flash46.9 Qwen3-Omni44.6
資料來源:GitHub 官方倉庫

近期重磅更新與開發者生態支援(2026 年 11 月)

自 11 月 8 日釋出 v1.0 後,團隊在短短一週內快速迭代多項實用功能:

  1. 零樣本聲音克隆(v1.1 / v1.3.0):只需將 3–10 秒(E2E 版為 5–12 秒)的單人乾淨音訊放入 model/voices/ 目錄,無須重新訓練或重啟伺服器,即可於下一次請求中以該音色進行全雙工即時對話。打斷、附和與笑聲皆可保留,甚至支援跨語言發聲(官方提醒僅能用於已獲授權之聲音)。
  2. Apple Silicon Mac 完全離線運行(2026-11-13):Sophon-Realtime-32B-Flash-4bit-MLX(約 24 GB)可透過 MLX 在配備 36 GB 以上統一記憶體的 Mac 本地離線運行,完整支援輪替偵測、插話打斷與回音消除。
  3. OpenAI Realtime / GPT-Live 相容與 Live 模式:
    • 透過 vLLM-Omni 部署即可直接對外提供相容 OpenAI Realtime 協定的 WebSocket(/v1/realtime)與 /v1/chat/completions 介面(詳見 vLLM Recipes 部署指南)。
    • 內建 live/ 閘道器支援 OpenAI GPT-Live 協定,可將天氣、新聞查詢或工具任務委派給後端更大的模型執行,同時由 Sophon 維持流暢語音互動並輸出可稽核的逐字稿。
  4. 多語言支援:中文與英文已完整支援;義大利語、德語、西班牙語、法語與葡萄牙語可流暢進行多輪對話;日語與俄語已於 Flash 版上線,韓語等更多語言正在開發中。
  5. 免 GPU 免費託管 API 試用(2026-11-14):開發者可至 Adventists AI Console 註冊取得 3 小時免費語音對話額度,直接透過 wss://api.adventists.ai/sophon/v1/realtime 串接三個版本。

快速部署與微調指南

單張 80 GB GPU 一行指令啟動(Tag 版)

建議於 Python 3.12、Linux 與 CUDA 13 環境中安裝包含 TensorRT 加速的 [trt] 套件(若缺少 TensorRT,純 PyTorch 在 16 路併發下的首字延遲會慢約 3 倍):

pip install "sophon-realtime[trt]"
sophon-realtime serve

Mac 本地離線體驗(Apple Silicon / MLX)

git clone https://github.com/adventists-ai/sophon-realtime
cd sophon-realtime && bash mac/install.sh
~/sophon-mac/sophon --lang en

客製化微調

若需調整人設、語氣、領域知識或工具呼叫能力,可參考倉庫中的 finetune/ 目錄,使用 ms-swift 在單張 80 GB GPU 上以 LoRA 微調大腦模型,同時完整保留原有的語音表現力、表情標籤與全雙工輪替能力。


相關連結彙整

謝謝你,讀到這裡。

保持好奇,明天繼續探索。

© 2026 Communeify. All rights reserved.