騰訊混元開源 Hy-SimulMT：實現約 3 秒超低延遲與即時音色克隆的中英雙向同步口譯大模型
在跨語言會議、國際演講與即時訪談中，傳統語音翻譯往往需要等待講者說完一整句話才能開始處理，這種「聽完再譯」的停頓容易打斷對話節奏。2026 年 10 月 26 日，騰訊混元（Tencent Hunyuan）正式發布並開源即時同步口譯大模型 Hy-SimulMT，支援中文與英文之間的雙向語音到語音（Speech-to-Speech）即時同步翻譯，並透過 GitHub 官方儲存庫 與 Hugging Face 模型集合 開放模型權重、推理服務與訓練工具。
邊聽邊譯結合即時音色克隆，打破跨語言溝通的等待延遲
Hy-SimulMT 採用混合專家（MoE）架構（總參數約 30B、每次前向推理激活參數約 3B，即 30B-A3B），專為即時交流場景打造。模型具備三大核心技術特性：
- 流式邊聽邊譯（Streaming Simultaneous Translation）：持續接收輸入的語音流，在講者仍在發言時即同步進行增量語義理解與譯文生成，同步輸出目標語言文字與語音。
- 先開口、後修補策略（Speak-First-Then-Correct）：為了兼顧低延遲與語義準確度，模型會在獲取初步語義時先行開口翻譯，並隨後續語境動態修正，聽感貼近人類同步口譯員的自我修正節奏。
- 即時音色克隆（Real-Time Voice Cloning）：搭配外部語音合成（TTS）服務時，模型能在生成目標語言長語音的同時保留原講者的聲音特質與語氣。在多人訪談或跨語言會議中，系統可分別還原不同講者的音色特徵，讓聽眾無須看畫面即可輕鬆分辨「誰在說話」。
長短音訊基準測試領跑開源模型，RealSI 流式延遲低至約 3 秒
同步口譯的核心挑戰在於「翻譯品質」與「響應速度」的權衡：等待更多語音能提升語義完整度，但會拉長聽眾等待時間；提早開口則考驗模型的增量組織能力。在 Hy-SimulMT 中文技術文件 公布的评测中，團隊透過長音訊、短音訊與人類專業譯員同場對照三大維度驗證模型實力：
- RealSI 長音訊流式評測：以衡量流式翻譯滯後程度的 StreamLAAL（單位為秒，越低越好，不等同於首次開口延遲）與 GEMBA 翻譯品質評分（越高越好）進行對比，Hy-SimulMT 的 StreamLAAL 約為 3 秒，為參評系統中的最低延遲；同時其 GEMBA 品質得分超越所有對比開源模型，並擊敗五個商業同傳 API 中的四個。
- 四大公開短音訊基準測試：在 FLEURS、CoVoST2、ACL6060 與 RealSI-Sentence 四項公開測試集上，Hy-SimulMT 在 FLEURS（90.3）、ACL6060（81.2）與 RealSI-Sentence（84.7）三項指標均高於其他開源模型，其中 RealSI-Sentence 更奪下全場參評系統最高分。
| 模型 / API 名稱 | FLEURS | CoVoST2 | ACL6060 | RealSI-Sentence |
|---|---|---|---|---|
| Hy-SimulMT | 90.3 | 75.5 | 81.2 | 84.7 |
| Gemini3.5-LiveTranslate | 92.4 | 74.4 | 82.6 | 82.2 |
| Qwen3.8-LiveTranslate | 88.4 | 82.1 | 80.5 | 84.4 |
| Confucius4 R2T2 → T3PO | 89.4 | 76.8 | 76.1 | 77.7 |
| Seed-LiveInterpret2.0 | 85.8 | 67.7 | 74.8 | 80.0 |
| SimulS2ST-Omni | 78.6 | 66.6 | 73.1 | 77.4 |
| GPT-Realtime-Translate | 77.7 | 50.8 | 76.4 | 76.7 |
| XunFei-Simult-Interpretation | 73.4 | 57.0 | 57.5 | 70.9 |
| SeamlessStreaming | 72.8 | 60.9 | 49.8 | 56.9 |
- 與人類專業同傳譯員同場對照：團隊收集了 2026 年 9 月後新出現在網路上的 18 段中英文真實音訊（每段約 6 分鐘，涵蓋軟體與 AI、醫學、製造與能源、自然科學、農業與食品、商務管理、法律、教育、文化文旅、體育生活等十個領域），並邀請 6 位資深同步口譯員（3 位持有 CATTI 一級口譯證書、3 位持有 CATTI 二級口譯證書，各取該等級最高分對照）進行盲測對比。結果顯示，Hy-SimulMT 在測試樣本中的翻譯品質達到人類同傳專家水準，且響應速度往往更快（StreamLAAL 時延更低）。
「在實際場景測評中，騰訊混元同聲傳譯的譯語聽感自然，常規陳述的主幹資訊傳達準確。為控制延遲，系統先開口、後修補，修補的聽感接近譯員的自我修正。這標誌著國產 AI 同傳（自動語音翻譯，AST）能力邁上了新的台階。隨著技術的持續打磨，AI 同傳正從『輔助理解』走向低風險場景『可用溝通』，為推動人機協同的翻譯新範式提供了重要的技術支撐。」 —— 廣東外語外貿大學高級翻譯學院副院長 王巍巍
「同聲傳譯是語言服務中最具挑戰性的領域。通過系統測評，騰訊混元同傳大模型在語音識別穩定性、同傳響應速度與譯語播報質量上均展現出不俗的實力，其研發成果體現出 AI 同傳技術持續向好的進步態勢，為推動機器同傳走進真實場景提供了有力的技術支撐。」 —— 廣東外語外貿大學原校長、中國澳門中西創新學院校長、中國翻譯協會原常務副會長、口譯專業委員會主任委員 仲偉合教授
六大開源權重涵蓋 BF16、FP8 與 GGUF 格式，滿足多元算力需求
為了讓開發者與企業能根據硬體資源與業務合規需求靈活選型，騰訊混元在 Apache-2.0 授權下一次開源了 6 個版本的模型權重，分為**僅輸出譯文（Translation-Only）與同時輸出源文與譯文（Interleave）**兩大系列，並各自提供原始精度（BF16）、FP8 量化以及支援 llama.cpp 推理的 GGUF 格式：
| 模型名稱 | 輸出模式 | 精度 / 格式 | Hugging Face 連結 | ModelScope 連結 |
|---|---|---|---|---|
| Hy-SimulMT-30B-A3B | 僅輸出譯文 | BF16 | Hugging Face | ModelScope |
| Hy-SimulMT-30B-A3B-FP8 | 僅輸出譯文 | FP8 量化 | Hugging Face | ModelScope |
| Hy-SimulMT-30B-A3B-GGUF | 僅輸出譯文 | GGUF 格式 | Hugging Face | ModelScope |
| Hy-SimulMT-30B-A3B-Interleave | 輸出原文與譯文 | BF16 | Hugging Face | ModelScope |
| Hy-SimulMT-30B-A3B-Interleave-FP8 | 輸出原文與譯文 | FP8 量化 | Hugging Face | ModelScope |
| Hy-SimulMT-30B-A3B-Interleave-GGUF | 輸出原文與譯文 | GGUF 格式 | Hugging Face | ModelScope |
支援 vLLM、llama.cpp 與 SGLang-Omni 三大推理部署路徑與 SimulTrain 訓練工具
Hy-SimulMT GitHub 儲存庫 提供了完整的 SimulInfer 推理服務與 SimulTrain 持續訓練工具，支援網頁互動介面、音訊檔案上傳、即時 WebSocket 串流，以及選配的 TTS 音色克隆服務。開發者可依照硬體環境選擇三種部署方式：
1. vLLM 一鍵部署（SimulInfer）
在具備 NVIDIA GPU、CUDA 驅動與 Python 3.12+ 的 Linux 環境中（使用現有環境時需 vLLM ≥ 0.31 並支援 HYV3ForCausalLM 及安裝 simulst），可透過 deploy.sh 一鍵建立隔離環境、啟動 vLLM（預設端口 8800）與網頁/API 服務（預設端口 8080）：
git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git Hy-SimulMT
cd Hy-SimulMT/SimulInfer
# 自動安裝依賴並啟動模型與網頁服務
bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave
服務啟動後，可透過瀏覽器開啟 http://127.0.0.1:8080/ 使用麥克風或上傳音訊，或透過命令列串流調用：
curl -N http://127.0.0.1:8080/translate/stream \
-F direction=en-zh -F file=@audio.wav
2. llama.cpp 輕量化 GGUF 部署
針對 Hy-SimulMT-30B-A3B-GGUF 與 Hy-SimulMT-30B-A3B-Interleave-GGUF，騰訊混元團隊已向 llama.cpp 官方儲存庫提交架構支援（PR #31198，支援 llama-mtmd-cli 推理與後續服務端適配）。當支援音訊輸入的 llama.cpp 服務在 8080 端口載入 GGUF 模型後，可透過 serve_llamacpp.py 啟動橋接網頁與 API 服務（預設端口 8094）：
cd SimulInfer
python -m pip install .
export MODEL=/path/to/hymt-A3b-tgt_only-1019-Q8_0.gguf
MODEL_TYPE=target_only python serve_llamacpp.py
其中僅譯文模型設定 MODEL_TYPE=target_only，原文與譯文同出模型則設定為 source_target。
3. SGLang-Omni 高吞吐即時串流服務
針對 Hy-SimulMT-30B-A3B（BF16 僅譯文版本，權重約佔 57 GiB，單張 H200 即可部署），可透過多階段運行時 SGLang-Omni 提供相容 OpenAI 格式的 HTTP 端點（/v1/audio/translations、/v1/audio/transcriptions）與即時 WebSocket（/v1/realtime?intent=transcription，支援 16 kHz 單聲道 PCM16 串流，每 1.6 秒刷新一次翻譯假設）。在單張 H200（batch size 1）測試下，相比 Transformers 最高可實現 6.5 倍加速：
sgl-omni serve \
--model-path tencent/Hy-SimulMT-30B-A3B \
--mem-fraction-static 0.75 \
--enable-realtime \
--port 8000
此外，若企業或研究人員需要使用自有領域語料進行微調，可使用倉庫內的 SimulTrain 工具，在 SimulTrain/.env 中配置模型路徑、資料集與 GPU 參數後，基於預訓練檢查點繼續訓練；一般使用者也可直接下載 騰訊混元翻譯 App（Hy Translate App） 免費體驗即時同傳功能。
相關連結彙整
- GitHub 官方開源儲存庫（含 SimulInfer 與 SimulTrain）：Tencent-Hunyuan/Hy-SimulMT
- GitHub 簡體中文官方說明文件：Hy-SimulMT README.zh-CN.md
- 騰訊混元官方開源模型詳情頁：Hy-SimulMT 騰訊混元官網介紹
- Hugging Face GGUF 模型庫（僅譯文）：tencent/Hy-SimulMT-30B-A3B-GGUF
- Hugging Face GGUF 模型庫（原文＋譯文 Interleave）：tencent/Hy-SimulMT-30B-A3B-Interleave-GGUF
- Hugging Face 主模型庫（BF16 僅譯文）：tencent/Hy-SimulMT-30B-A3B
- Hugging Face FP8 模型庫（僅譯文）：tencent/Hy-SimulMT-30B-A3B-FP8
- Hugging Face Interleave 模型庫（BF16 原文＋譯文）：tencent/Hy-SimulMT-30B-A3B-Interleave
- Hugging Face Interleave FP8 模型庫（原文＋譯文）：tencent/Hy-SimulMT-30B-A3B-Interleave-FP8
- Hugging Face 模型總集：Hy-SimulMT Collection on Hugging Face
- ModelScope GGUF 模型庫：Tencent-Hunyuan/Hy-SimulMT-30B-A3B-GGUF