美團 LongCat-2.5 技術解析:1.6 兆參數原生多模態 MoE 模型與長程 AI Agent 架構
美團(Meituan)於 2026 年 11 月初正式發表並透過 Hugging Face 以 MIT 授權條款 釋出新一代原生多模態混合專家(MoE)模型 LongCat-2.5(LongCat-2.5 官方技術部落格)。該模型總參數量達 1.6 兆(1.6T),每個 Token 僅啟用約 480 億(48B) 參數,延續 LongCat-2.0 的架構基礎,進一步強化原生視覺理解與長程 AI Agent 程式開發(Long-Horizon Agentic Coding)能力,專為複雜程式碼庫開發、完整專案建置、創意設計與 3D 任務而設計(Hugging Face)。
核心架構與技術亮點
1. 原生視覺離散建模(Native Visual Modeling)
有別於傳統外掛視覺編碼器的多模態方案,LongCat-2.5 承襲 LongCat-Next 的設計思路,將視覺與文字訊號整合進單一 Token 表徵體系(LongCat-2.5 官方技術部落格):
- 多層級離散視覺 Token:透過語義對齊編碼器(SAE)擷取原生解析度影像特徵,並採用殘差向量量化(RVQ)將其轉換為多層級離散 Token,與文字共同對齊於共享語義空間(Hugging Face、LongCat-2.5 官方技術部落格)。
- 離線視覺前處理:固定的視覺 Tokenizer 允許在訓練前預先計算並快取影像 Token ID,使主幹模型在訓練時無需線上執行視覺編碼器,簡化長序列打包(Packing)與分散式負載均衡(LongCat-2.5 官方技術部落格)。
2. 長程 AI Agent 強化學習(Long-Horizon Agentic RL)
針對端到端軟體工程與多步驟任務,LongCat-2.5 擴展了包含資料合成、環境建構與演算法穩定性的全流程強化學習管線(LongCat-2.5 官方技術部落格):
- 真實任務與失敗軌跡再生:從 GitHub PR 與關聯 Issue 篩選並合成可互動環境,結合 Fail-to-Pass(F2P)與 Pass-to-Pass(P2P)測試驗證;同時將真實世界中的 Agent 失敗軌跡轉化為可重現、可驗證的訓練任務,持續補強模型短板(LongCat-2.5 官方技術部落格)。
- 非同步部分採樣(Asynchronous Partial Rollouts):在每個 RL 步驟中透過過採樣(Oversampling)與中斷接續機制避免長尾任務拖慢整體吞吐,並對歷史檢查點產生的軌跡進行對數機率差異裁剪與梯度重縮放,確保更新穩定性(LongCat-2.5 官方技術部落格)。
- 防範 Reward Hacking 與跨框架泛化:訓練環境關閉網路存取、移除 Git 歷史與快取檔案,並引入 LLM 裁判稽核軌跡以抑制投機行為或重複呼叫工具;同時透過不同基準與框架(Harness)的混合訓練提升跨任務泛化能力(LongCat-2.5 官方技術部落格)。
3. 多教師蒸餾學習(Multi-Teacher Learning / MOPD)
為將多領域專精能力融入主幹模型,LongCat-2.5 保留了 LongCat-2.0 在 Agent 執行、單輪推理與互動安全領域的專家群作為教師模型(LongCat-2.5 官方技術部落格):
- 學生模型在各任務領域進行線上採樣,並透過全詞表 KL 散度進行蒸餾學習(Hugging Face)。
- 針對長回應中的分佈偏移問題,團隊將教師回應切分為固定長度的分段前綴(Per-cut prefixes),並結合 Tree Attention 技術,以教師軌跡為主幹、學生採樣為分支,在單次前向與反向傳播中完成訓練,大幅降低運算與儲存成本(LongCat-2.5 官方技術部落格)。
國產算力訓練與推論基礎設施優化
LongCat-2.5 的訓練與推論全程針對單卡顯存小於 80 GB 的國產 AI 加速卡進行深度適配(LongCat-2.5 官方技術部落格):
- 超節點感知並行與雙重分片 FSDP:將 FSDP 與專家並行(EP)維度對齊超節點內部高速互聯域,結合混合詞表並行與基於 MoonEP 的閾值動態專家複製;雙重分片 FSDP 將模型參數分片保留於超節點內,並將 FP32 主權重與優化器狀態跨 FSDP 域分片。在長序列 SFT 任務測試中,單卡吞吐量較 DDP 基線提升 86%(LongCat-2.5 官方技術部落格)。
- 訓練與推論數值位元級一致:統一訓練、Prefill 與 Decode 階段的算子與框架邏輯,在各自採用不同並行配置的情況下,仍維持逐 Token 對數機率(log-prob)的位元級一致(Bitwise-identical)(LongCat-2.5 官方技術部落格)。
- 長上下文 Rollout 與 KV Cache 優化:採用 Prefill-Decode 分離架構、HiCache 記憶體管理以及 LSA 跨層預取(複用偶數層 Top-k 索引並將奇數層完整 KV 卸載至主記憶體),在測試負載下使 Decode 階段 KV 容量接近翻倍且不增加 TPOT(Hugging Face、LongCat-2.5 官方技術部落格)。
- W4A4 原生 INT4 推論加速:採用 FlatQuant 風格的可學習等價變換與專家輸入共享變換,在 Token 複製與分發前即完成 4-bit 量化(Hugging Face)。線上壓測結果顯示,相較於 W8A8 基線:
- Prefill 吞吐量提升 43.3%,Decode 吞吐量提升 42.77%(Hugging Face)
- 首字延遲(TTFT)降低 15.91%,每 Token 生成耗時(TPOT)降低 19.72%(Hugging Face)
- 分組矩陣乘法(GMM)算子平均加速 1.73×(Hugging Face)
- 結合 KV Cache 量化後,W4A4KV8 較 W8A8KV16 的 Decode 吞吐量提升 92%(Hugging Face)
基準測試表現(Benchmarks)
根據 Hugging Face 模型卡 與 LongCat-2.5 官方技術部落格 公布的評測結果(預設於 enable_thinking=on、temperature=1.0、top_p=0.95 設定下測試;標註 * 者為引用自公開報告或榜單之資料,其餘為美團內部實測僅供參考):
程式 AI Agent(Code Agent)
| 評測基準 | LongCat-2.5 | LongCat-2.0 | GPT-5.6-Sol | Claude-Opus-5 | GLM-5.3 | kimi-k3 | DeepSeek-V4.1-Flash |
|---|---|---|---|---|---|---|---|
| Terminal Bench v2.1 | 88.4 | 70.8 | 88.8* | 89.1* | 88.2* | 88.3* | 90.6* |
| Terminal Bench v4.0 | 38.5 | 3.0 | 37.3* | 53.9* | 41.8* | 12.6* | 31.2* |
| Program Bench (Almost Resolved) | 25.5 | 2.5 | 23.0* | 37.0* | 19.0* | 17.5* | 20.3* |
| DeepSWE (v1.1) | 64.6 | 9.7 | 72.7* | 68.8* | 66.9* | 67.5* | 74.2* |
| PaperBench | 82.1 | 45.2 | 83.3 | 79.1 | 73.7 | 77.5 | - |
| SWE Atlas - Codebase QnA | 58.3 | 33.1 | 46.0* | 63.2* | 58.3 | 54.3 | 55.2 |
| SWE Atlas - Refactoring | 55.2 | 35.7 | - | 51.9 | - | 49.5 | 56.7 |
| NL2Repo | 60.5 | 40.9 | 56.8* | 75.3* | 58.0* | 58.0* | 65.4* |
資料來源:Hugging Face、LongCat-2.5 官方技術部落格
通用 AI Agent(General Agent)與視覺任務(Visual)
| 類別 | 評測基準 | LongCat-2.5 | LongCat-2.0 | GPT-5.6-Sol | Claude-Opus-5 |
|---|---|---|---|---|---|
| General Agent | BrowseComp | 91.9 | 79.9 | 90.4* | 90.8* |
| General Agent | AutomationBench (v1.0.6) | 51.8 | 15.8 | 45.8* | 50.3* |
| General Agent | HLE (w/ tools) | 63.1 | 37.5 | 58.0* | 64.7* |
| General Agent | MCP Atlas | 83.1 | 61.8 | 81.8* | 85.8* |
| General Agent | JobBench | 65.4 | 44.4 | 45.4* | 66.7* |
| General Agent | SkillsBench | 63.3 | 36.8 | 54.1* | 60.4* |
| Visual | 3DCodeBench (Text→3D) | 55.4 | - | 52.3 | 54.3 |
| Visual | Vision2Web | 78.6 | - | 73.5* | 80.2* |
| Visual | CharXiv-RQ (w/ tools) | 90.2 | - | 89.1* | 89.3* |
| Visual | MathVision (w/ tools) | 96.5 | - | 97.8* | - |
| Visual | VideoMME | 85.2 | - | 89.5* | - |
資料來源:Hugging Face、LongCat-2.5 官方技術部落格
部署與使用方式
LongCat-2.5 為支援雙模式的混合推理模型,開發者可依場景需求透過 chat_template_kwargs 切換(Hugging Face):
- 思考模式(
enable_thinking=True):建議同時啟用save_history_reasoning_content=True,保留多輪工具呼叫過程中的歷史推理內容以獲得最佳表現(Hugging Face)。 - 非思考模式(
enable_thinking=False):適合對延遲或 Token 消耗較敏感的場景,以提升推論效率(Hugging Face)。 - 硬體與推論支援:權重採 MIT 授權開放商用與二次訓練,NPU 平台部署可參考官方開源的 SGLang-FluentLLM (
longcat-2.5-npu分支)(Hugging Face)。
相關連結
- Hugging Face 模型頁面(權重與模型卡):meituan-longcat/LongCat-2.5
- Hugging Face 組織主頁(含 LongCat-2.5-W4A4 等模型):meituan-longcat
- 官方技術部落格:Introducing LongCat-2.5
- 官方線上對話與平台入口:LongCat.ai
- NPU 部署參考專案:SGLang-FluentLLM (
longcat-2.5-npu) - 美團技術團隊官方網站:tech.meituan.com