跳至主要內容

工具與應用

美團 LongCat-2.5 技術解析:1.6 兆參數原生多模態 MoE 模型與長程 AI Agent 架構

美團以 MIT 授權開源 1.6 兆參數原生多模態混合專家模型 LongCat-2.5,每個 Token 僅啟用 480 億參數,強化原生視覺離散建模、長程 AI Agent 強化學習與 W4A4 推論加速。

美團 LongCat-2.5 技術解析:1.6 兆參數原生多模態 MoE 模型與長程 AI Agent 架構

美團(Meituan)於 2026 年 11 月初正式發表並透過 Hugging Face 以 MIT 授權條款 釋出新一代原生多模態混合專家(MoE)模型 LongCat-2.5(LongCat-2.5 官方技術部落格)。該模型總參數量達 1.6 兆(1.6T),每個 Token 僅啟用約 480 億(48B) 參數,延續 LongCat-2.0 的架構基礎,進一步強化原生視覺理解與長程 AI Agent 程式開發(Long-Horizon Agentic Coding)能力,專為複雜程式碼庫開發、完整專案建置、創意設計與 3D 任務而設計(Hugging Face)。


核心架構與技術亮點

1. 原生視覺離散建模(Native Visual Modeling)

有別於傳統外掛視覺編碼器的多模態方案,LongCat-2.5 承襲 LongCat-Next 的設計思路,將視覺與文字訊號整合進單一 Token 表徵體系(LongCat-2.5 官方技術部落格):

  • 多層級離散視覺 Token:透過語義對齊編碼器(SAE)擷取原生解析度影像特徵,並採用殘差向量量化(RVQ)將其轉換為多層級離散 Token,與文字共同對齊於共享語義空間(Hugging Face、LongCat-2.5 官方技術部落格)。
  • 離線視覺前處理:固定的視覺 Tokenizer 允許在訓練前預先計算並快取影像 Token ID,使主幹模型在訓練時無需線上執行視覺編碼器,簡化長序列打包(Packing)與分散式負載均衡(LongCat-2.5 官方技術部落格)。

2. 長程 AI Agent 強化學習(Long-Horizon Agentic RL)

針對端到端軟體工程與多步驟任務,LongCat-2.5 擴展了包含資料合成、環境建構與演算法穩定性的全流程強化學習管線(LongCat-2.5 官方技術部落格):

  • 真實任務與失敗軌跡再生:從 GitHub PR 與關聯 Issue 篩選並合成可互動環境,結合 Fail-to-Pass(F2P)與 Pass-to-Pass(P2P)測試驗證;同時將真實世界中的 Agent 失敗軌跡轉化為可重現、可驗證的訓練任務,持續補強模型短板(LongCat-2.5 官方技術部落格)。
  • 非同步部分採樣(Asynchronous Partial Rollouts):在每個 RL 步驟中透過過採樣(Oversampling)與中斷接續機制避免長尾任務拖慢整體吞吐,並對歷史檢查點產生的軌跡進行對數機率差異裁剪與梯度重縮放,確保更新穩定性(LongCat-2.5 官方技術部落格)。
  • 防範 Reward Hacking 與跨框架泛化:訓練環境關閉網路存取、移除 Git 歷史與快取檔案,並引入 LLM 裁判稽核軌跡以抑制投機行為或重複呼叫工具;同時透過不同基準與框架(Harness)的混合訓練提升跨任務泛化能力(LongCat-2.5 官方技術部落格)。

3. 多教師蒸餾學習(Multi-Teacher Learning / MOPD)

為將多領域專精能力融入主幹模型,LongCat-2.5 保留了 LongCat-2.0 在 Agent 執行、單輪推理與互動安全領域的專家群作為教師模型(LongCat-2.5 官方技術部落格):

  • 學生模型在各任務領域進行線上採樣,並透過全詞表 KL 散度進行蒸餾學習(Hugging Face)。
  • 針對長回應中的分佈偏移問題,團隊將教師回應切分為固定長度的分段前綴(Per-cut prefixes),並結合 Tree Attention 技術,以教師軌跡為主幹、學生採樣為分支,在單次前向與反向傳播中完成訓練,大幅降低運算與儲存成本(LongCat-2.5 官方技術部落格)。

國產算力訓練與推論基礎設施優化

LongCat-2.5 的訓練與推論全程針對單卡顯存小於 80 GB 的國產 AI 加速卡進行深度適配(LongCat-2.5 官方技術部落格):

  • 超節點感知並行與雙重分片 FSDP:將 FSDP 與專家並行(EP)維度對齊超節點內部高速互聯域,結合混合詞表並行與基於 MoonEP 的閾值動態專家複製;雙重分片 FSDP 將模型參數分片保留於超節點內,並將 FP32 主權重與優化器狀態跨 FSDP 域分片。在長序列 SFT 任務測試中,單卡吞吐量較 DDP 基線提升 86%(LongCat-2.5 官方技術部落格)。
  • 訓練與推論數值位元級一致:統一訓練、Prefill 與 Decode 階段的算子與框架邏輯,在各自採用不同並行配置的情況下,仍維持逐 Token 對數機率(log-prob)的位元級一致(Bitwise-identical)(LongCat-2.5 官方技術部落格)。
  • 長上下文 Rollout 與 KV Cache 優化:採用 Prefill-Decode 分離架構、HiCache 記憶體管理以及 LSA 跨層預取(複用偶數層 Top-k 索引並將奇數層完整 KV 卸載至主記憶體),在測試負載下使 Decode 階段 KV 容量接近翻倍且不增加 TPOT(Hugging Face、LongCat-2.5 官方技術部落格)。
  • W4A4 原生 INT4 推論加速:採用 FlatQuant 風格的可學習等價變換與專家輸入共享變換,在 Token 複製與分發前即完成 4-bit 量化(Hugging Face)。線上壓測結果顯示,相較於 W8A8 基線:
    • Prefill 吞吐量提升 43.3%,Decode 吞吐量提升 42.77%(Hugging Face)
    • 首字延遲(TTFT)降低 15.91%,每 Token 生成耗時(TPOT)降低 19.72%(Hugging Face)
    • 分組矩陣乘法(GMM)算子平均加速 1.73×(Hugging Face)
    • 結合 KV Cache 量化後,W4A4KV8 較 W8A8KV16 的 Decode 吞吐量提升 92%(Hugging Face)
原生 INT4 量化推論加速(相較 W8A8 基線)W4A4 讓 Prefill 與 Decode 吞吐量提升逾 42%,結合 KV8 量化更提升 92%
推論吞吐量提升幅度(0–100%)
W4A4 Prefill 吞吐提升43.3% W4A4 Decode 吞吐提升42.77% W4A4KV8 Decode 吞吐提升92%
資料來源:Hugging Face 模型卡

基準測試表現(Benchmarks)

根據 Hugging Face 模型卡 與 LongCat-2.5 官方技術部落格 公布的評測結果(預設於 enable_thinking=on、temperature=1.0、top_p=0.95 設定下測試;標註 * 者為引用自公開報告或榜單之資料,其餘為美團內部實測僅供參考):

程式 AI Agent(Code Agent)

評測基準LongCat-2.5LongCat-2.0GPT-5.6-SolClaude-Opus-5GLM-5.3kimi-k3DeepSeek-V4.1-Flash
Terminal Bench v2.188.470.888.8*89.1*88.2*88.3*90.6*
Terminal Bench v4.038.53.037.3*53.9*41.8*12.6*31.2*
Program Bench (Almost Resolved)25.52.523.0*37.0*19.0*17.5*20.3*
DeepSWE (v1.1)64.69.772.7*68.8*66.9*67.5*74.2*
PaperBench82.145.283.379.173.777.5-
SWE Atlas - Codebase QnA58.333.146.0*63.2*58.354.355.2
SWE Atlas - Refactoring55.235.7-51.9-49.556.7
NL2Repo60.540.956.8*75.3*58.0*58.0*65.4*

資料來源:Hugging Face、LongCat-2.5 官方技術部落格

程式 AI Agent 評測(Terminal Bench v4.0)LongCat-2.5 拿下 38.5 分,較前代 LongCat-2.0 的 3.0 分大幅躍升
Terminal Bench v4.0 分數(越高越好)
Claude-Opus-553.9 GLM-5.341.8 LongCat-2.538.5 GPT-5.6-Sol37.3 DeepSeek-V4.1-Flash31.2 LongCat-2.03.0
資料來源:Hugging Face 模型卡

通用 AI Agent(General Agent)與視覺任務(Visual)

類別評測基準LongCat-2.5LongCat-2.0GPT-5.6-SolClaude-Opus-5
General AgentBrowseComp91.979.990.4*90.8*
General AgentAutomationBench (v1.0.6)51.815.845.8*50.3*
General AgentHLE (w/ tools)63.137.558.0*64.7*
General AgentMCP Atlas83.161.881.8*85.8*
General AgentJobBench65.444.445.4*66.7*
General AgentSkillsBench63.336.854.1*60.4*
Visual3DCodeBench (Text→3D)55.4-52.354.3
VisualVision2Web78.6-73.5*80.2*
VisualCharXiv-RQ (w/ tools)90.2-89.1*89.3*
VisualMathVision (w/ tools)96.5-97.8*-
VisualVideoMME85.2-89.5*-

資料來源:Hugging Face、LongCat-2.5 官方技術部落格


部署與使用方式

LongCat-2.5 為支援雙模式的混合推理模型,開發者可依場景需求透過 chat_template_kwargs 切換(Hugging Face):

  • 思考模式(enable_thinking=True):建議同時啟用 save_history_reasoning_content=True,保留多輪工具呼叫過程中的歷史推理內容以獲得最佳表現(Hugging Face)。
  • 非思考模式(enable_thinking=False):適合對延遲或 Token 消耗較敏感的場景,以提升推論效率(Hugging Face)。
  • 硬體與推論支援:權重採 MIT 授權開放商用與二次訓練,NPU 平台部署可參考官方開源的 SGLang-FluentLLM (longcat-2.5-npu 分支)(Hugging Face)。

相關連結

謝謝你,讀到這裡。

保持好奇,明天繼續探索。

© 2026 Communeify. All rights reserved.