LongCat-2.0 技術解析：1.6 兆參數 MoE、百萬上下文、LSA 與 N-gram Embedding 全面解讀

LongCat-2.0 技術解析：1.6 兆參數 MoE、百萬上下文、LSA 與 N-gram Embedding 全面解讀

LongCat-2.0 是美團（Meituan）開源的 1.6 兆（1.6T）參數混合專家（MoE）大型語言模型，支援 100 萬（1M）上下文，並以超過 5 萬片中國 AI ASIC 晶片完成 35 兆 Token 預訓練。本篇完整解析 LongCat Sparse Attention（LSA）、N-gram Embedding、Agentic 工作流、SWE-bench 與 Terminal-Bench 表現，以及中國 AI 算力平台的大規模訓練實踐與技術創新。

模型概覽與核心參數規範

LongCat-2.0 是由美團（Meituan）研發並開源的大規模混合專家（MoE）語言模型。作為 LongCat 系列的最新一代架構，該模型在繼承 LongCat-Flash 優點的基礎上，通過稀疏維度擴展與索引機制優化，顯著提升了模型在處理複雜邏輯與長上下文任務時的表徵效率。

下表總結了 LongCat-2.0 的核心技術規範：

訓練基礎設施：中國算力集群之穩定性分析

LongCat-2.0 的研發成功，驗證了在前沿模型訓練中採用中國算力平台的可行性與技術韌性。其訓練環境與穩定性指標如下：

• 大規模 ASIC 超算集群：完整訓練流程與大規模部署均運行於基於中國 AI 晶片的 ASIC 超算集群（AI ASIC Superpods），集成了超過 5 萬片中國 AI 晶片。
• 軟硬體協同設計之驗證：訓練過程消耗了數百萬加速器時數，在處理超過 35 萬億 Token 的過程中，實現了「無回滾（No rollbacks）」與「無不可恢復的 Loss 突刺（No irrecoverable loss spikes）」的卓越紀錄。此穩定性指標不僅是數據紀錄，幕後更是對中國 ASIC 超算集群在萬億級規模下實施大規模軟硬體協同設計（Software-Hardware Co-design）能力的有力論證。
• 規模化實踐價值：該實踐證明了中國硬體在承載前沿 Pretraining 任務時，具備與國際主流算力平台等效的效能表現。

核心架構創新 I：LongCat 稀疏注意力 (LSA) 機制

為應對智能體應用對長輸入處理效率的嚴苛要求，LongCat-2.0 引入了由 DeepSeek 稀疏注意力（DSA）演進而來的 LongCat 稀疏注意力 (LSA)。LSA 旨在解決細粒度稀疏注意力中，由於索引器（Indexer）評分開銷所導致的端到端延遲瓶頸。

LSA 通過以下三個正交優化組件實現性能躍升：

• 流感知索引 (Streaming-aware Indexing, SI)：該技術重塑了索引器的預算分配模式，將硬體對齊的連續訪問與動態隨機選擇相結合。通過將碎片化的顯存訪問轉化為可預測的順序讀取，SI 最大化了高帶寬顯存（HBM）的合併訪問效率。
• 跨層索引 (Cross-Layer Indexing, CLI)：觀察到相鄰層間重要 Token 分布的高度一致性，CLI 在訓練階段引入跨層蒸餾。在 Target 模型中，實現了每兩層共享一次索引計算；而在 3-step MTP (Draft) 模塊中，Step 2 與 Step 3 會完全復用 Step 1 的索引結果，使全部三個 Draft 步僅需單次索引計算，大幅攤薄了開銷。
• 層級化索引 (Hierarchical Indexing, HI)：採用兩階段打分機制，即「Block 級粗召回」搭配「細粒度 Token 選擇」。HI 被設計為可插拔（Pluggable）組件，僅在處理超長上下文任務、面臨極高評分壓力時觸發，以優化檢索空間。

核心架構創新 II：N-gram Embedding 模塊

LongCat-2.0 利用 N-gram Embedding 在正交於 MoE 專家的稀疏維度擴展參數。該模塊設定 N-gram Size 為 5，對應參數規模為 135B。

此架構選擇基於以下兩大設計原則：

1. 稀疏度甜點區補償：當 MoE 稀疏度接近 97% 的「甜點區」時，單純增加專家參數對 Token 表徵能力的邊際收益開始遞減。此時引入 N-gram Embedding 能更有效地建模局部上下文信息，比傳統稀疏專家提供更高的參數價值。
2. 參數占比约束：N-gram 參數在總參數中的占比被嚴格控制在 10% 以內。實驗數據顯示，若該占比超過 50%，其相對於專家的擴增優勢將會消失。

推理收益：由於 N-gram 參數具有 dense 且 shared 的特性，在大 Batch 解碼場景下，該技術能有效減輕 KV-cache 與專家加載帶來的 I/O 負擔。通過將部分計算轉移至 N-gram 模塊，模型能顯著降低顯存 I/O 壓力，加速生成過程。

智能體 (Agentic) 工作流與自動化表現

LongCat-2.0 在智能體任務中表現出具備競爭力的適配性與執行率。

• 核心訓練技術：模型採用了 多教師在線策略蒸餾 (Multi-Teacher On-Policy Distillation, MOPD)。該方法通過集成多個領域專家的能力，確保模型在 Agentic 執行、推理與環境互動中實現最優對齊。
• 主流 Harness 適配：深度適配 Claude Code、OpenClaw 與 Hermes 等工程工具鏈。
• 工程實踐場景：在倉庫級代碼修改、自動化任務執行（Agentic Workflow）中驗證了其穩健的邏輯推理與指令遵循能力。
• Benchmark 表現：
• 在 SWE-bench Pro 中展現出色的倉庫級問題解決能力。
• 在 Terminal-Bench 2.1 測試中，驗證了其在終端環境下進行多步交互的領先地位。

結論與未來展望

LongCat-2.0 的發布標誌著萬億級 MoE 模型在架構創新與中國算力實踐上的雙重突破。通過 LSA 機制與 N-gram Embedding 的協同，模型在擴展規模的同時，有效緩解了推理延遲與 I/O 瓶頸。

作為開源社群的重要貢獻，LongCat-2.0 的技術框架已全面公開。模型權重目前已經發布七月六日釋出，旨在為中國 AI 生態提供更強大的智慧基座，推動全球開源模型技術的演進。

🐱 LongCat-2.0 is now fully open-source — MIT licensed, no restrictions.

Since our launch a few days ago, the response from the community has been incredible.
Thank you for all the feedback, discussions, and interest.

Today, we’re releasing the model weights and inference code… https://t.co/ZJZumxQ4DP pic.twitter.com/5t3EiqFlCJ

— Meituan LongCat (@Meituan_LongCat) July 5, 2026

技術問答 (Q&A)

• Q1：LongCat-2.0 的模型規模有多大？

• A：LongCat-2.0 是一款巨型的混合專家 (MoE) 語言模型。它的總參數量高達 1.6 兆 (1.6 Trillion)，而在運算時每個 token 約會激活 480 億個參數。

• Q2：這款模型的訓練過程與算力硬體有何特別之處？

• A：最具標誌性的是，LongCat-2.0 的完整預訓練與大規模部署，完全仰賴超過 5 萬片中國製造的 AI ASIC 算力晶片 (Superpods)。在耗時一個多月的訓練中，模型消耗了超過 35 兆個 tokens，且全程沒有遇到任何回滾 (Rollbacks) 或無法恢復的損失突刺 (Loss spikes)，強力驗證了在中國替代算力平台上進行前沿級大規模模型訓練的能力。

• Q3：為了解決超長文本的處理瓶頸，LongCat-2.0 引入了什麼創新機制？

• A：開發團隊針對百萬長度上下文 (1M-context) 引入了 LongCat 稀疏注意力機制 (LSA)。這項機制包含了三個互相正交的優化策略：

1. 流感知索引 (SI)：將原本碎片化的顯存存取轉化為有順序的讀取，最大化頻寬效益。
2. 跨層索引 (CLI)：利用相鄰注意力層的特性，在連續層之間共享索引結果來分攤運算開銷。
3. 層級化索引 (HI)：採用先粗略篩選再細部挑選的兩階段打分機制，大幅縮減處理空間。

• Q4：什麼是 N-gram Embedding？為什麼 LongCat-2.0 要使用它？

• A：N-gram Embedding 是一種能將表示空間擴展超過 100 倍的技術，LongCat-2.0 採用了 5-gram 的大小，藉此更充分地建模局部上下文資訊。實驗發現，當 MoE 稀疏度接近 97% 時，單純增加專家參數的收益會遞減，而加入 N-gram Embedding 的效益更好。為了維持穩定優勢，團隊嚴格將這部分參數 the 比例控制在總參數的 10% 以內，這不僅能提升模型能力，還能在推理階段降低大 batch 解碼時的顯存 I/O 以加速解碼。

• Q5：LongCat-2.0 最擅長應用在哪些任務場景？

• A：得益於超長上下文處理能力與專門的後訓練 (Post-training)，LongCat-2.0 在程式碼理解與複雜的智慧體任務 (Agentic tasks) 上表現非常強勁。它深度適配了 Claude Code、OpenClaw 以及 Hermes 等主流框架，特別適合用來執行倉庫層級的自動化程式碼修改與智慧體工作流。

🔗 相關資源與連結

• GitHub 開源專案： meituan-longcat/LongCat-2.0
• HuggingFace 模型主頁： meituan-longcat/LongCat-2.0
• 官方技術部落格： LongCat-2.0 介紹