螞蟻集團開源 560B 混合推理模型 Ling-3.1-flash：架構規格、官方評測與實測全解析

inclusionAI（螞蟻集團旗下 AGI 研發團隊）於 2026 年 10 月 14 日在 Hugging Face 正式開源大規模混合推理語言模型 inclusionAI/Ling-3.1-flash。

該模型為前代 inclusionAI/Ling-3.0-flash 的架構升級版，採用 MIT 開源授權。其總參數量達 5,600 億（560B），每 Token 僅啟用 250 億（25B） 參數，具備高達 100 萬（1M）Tokens 的上下文視窗上限，兼顧龐大知識容量與推論經濟效益。

核心定位與設計重點

Ling-3.1-flash 是 Ant Ling 語言模型產品線的旗艦分支，專為複雜的多步驟長流程任務與代理（Agentic）工作流設計：

代理工作流與工具調用：原生支援函數調用（Tool Calling）與深度推理模式切換，適用於數小時以上的終端機操作、多步驟自動化流程與辦公檔案處理。
軟體工程與長程式碼庫分析：針對大型專案問答、跨語言代碼重構、自動漏洞修復與編譯器建構進行專門優化。
專業垂直領域建模：加強金融檢索與分析、醫療專業溝通（HealthBench Professional），以及與北京大學合作評估的材料化學領域（Supermatbench）。

混合線性 MoE 架構規格

為了在 560B 規模下維持低延遲與高吞吐量，Ling-3.1-flash 升級了混合線性注意力機制（Hybrid-linear Attention）與專家混合（MoE）設計，將線性注意力與全局注意力的比例調整為 7:1。

架構維度	規格細節
模型類型	原生混合線性專家混合架構（Hybrid-linear MoE，純文字輸入/輸出）
參數規模	總參數 560B，每 Token 啟用 25B（稀疏度約 1/22）
上下文視窗	架構原生支援最高 1,000,000 Tokens（線上 API 服務目前開放至 262,144 Tokens）
注意力層配置	共 72 層：63 層 KDA（Kimi Delta Attention，線性複雜度）+ 9 層 Gated MLA，採 7:1 比例堆疊
FFN 與專家配置	前 4 層為 Dense FFN（維度 10,240），後續為 512 個路由專家 + 1 個共享專家
專家路由機制	每 Token 啟用 8 個路由專家與 1 個共享專家（E512A8 + 1 shared expert），採用 ALF-LB 負載平衡
關鍵超參數	Hidden Size 4,096、專家中間層維度 1,280、Attention Heads 64、詞表大小 157,184
訓練與權重格式	Next-Token Prediction + 多 Token 預測（MTP），提供 `BF16`、`FP8 (F8_E4M3)`、`FP32` Safetensors
開源授權條款	MIT License

官方基準測試表現

官方公布了多項領域評測結果。需要注意的是，部分高分標註使用了螞蟻自家的 LingCode harness 或 AQ 專屬環境，屬於官方自測（Vendor-reported）成績：

評測領域	基準測試項目	測試得分	測試條件與說明
軟體工程與終端機	SWE-bench Multilingual	88.50	多語言軟體修復基準
軟體工程與終端機	CyberGym	87.90	資訊安全防護與漏洞分析
軟體工程與終端機	Terminal-Bench-2.1 / 4.0	81.18 / 46.03	4.0 版本使用 LingCode harness 測試
軟體工程與終端機	FrontierSWE / SWE-bench Pro	75.16 / 68.74	SWE-bench Pro 使用 LingCode harness 測試
軟體工程與終端機	SWE Atlas (Codebase QnA) / DeepSWE	64.51 / 59.70	均使用 LingCode harness 測試
搜尋與網頁瀏覽	Browsecomp / Draco / WideSearch	91.67 / 85.49 / 83.32	複雜瀏覽與廣域搜尋基準
代理與任務自動化	Mcp-atlas / SkillsBench / Automationbench	83.00 / 68.70 / 52.50	MCP 工具呼叫與技能執行
代理與任務自動化	GDPval-AA v2.1 / TAU3-Banking	1,673.00 / 47.80	生產力辦公與銀行業務代理
金融與對話	Finsearch / MultiChallenge / Finance Agent V2	81.74 / 69.78 / 57.87	金融檢索與多輪複雜任務
科學與醫療	HealthBench Professional	65.35	於 AQ 醫療環境下評測
科學與醫療	Supermatbench (QA / Agent)	51.23 / 31.75	與北京大學合作之材料化學基準
高難度學術推理	HLE / CritPt	37.44 / 16.29	人類最後評測與臨界點難題

第三方獨立評測與實測觀察

除了官方自測數據外，第三方獨立評測機構與社群實測揭示了具體的實際運作特性：

智慧指數與推理速度（Artificial Analysis）：第三方中立評測機構 Artificial Analysis 在自有硬體與標準環境下測試指出，其 Intelligence Index v4.3.2 評分獲得 41 分（在 175 個受測模型中名列第 5，大幅超越同級模型中位數 13 分及前代 Ling 3.0 Flash 的 20 分）；輸出吞吐量達每秒 210 至 212.1 Tokens（排名第 16/147），首字延遲約 1.87 秒；全套指數測試共生成 2.2 億個 Tokens（中位數為 9,500 萬），顯示模型在執行推理時傾向產生詳細且完整的長篇回答。
真實場景實機測試表現（MindStudio）：根據 MindStudio 實測報告的多維度測試，模型在單次提示下即可生成超過 2 萬 Tokens 的完整動態城市夜景 SVG 網頁，在 Design Arena 行動應用榜單排名開源模型第 2；面對複雜 SQL 查詢，模型準確鎖定關聯子查詢瓶頸，改寫為預聚合 Join 並自行建立合成資料集驗證；在模擬急診病例中，能識別出下壁心肌梗塞併右心室受累的臨床陷阱並建議檢查 V4R 導程；但在跨工具任務中（自主操作 Blender 建模並匯入 Godot 遊戲引擎），物體方向與關卡空間出現錯位，且在 80 國語言測試中，低資源稀有語言（如法羅語、巴斯克語）翻譯準確度明顯下降。

本地部署與推理指南

Ling-3.1-flash 已驗證支援 NVIDIA H200、GB300、H800、H100 與 B200 等硬體，並相容於 Mooncake HiCache 前綴快取。官方建議透過 SGLang 或 vLLM 部署：

1. SGLang 部署（推薦，支援 NEXTN 推測解碼與 Hopper FP8 加速）

使用官方 Docker 映像檔（以 8 卡 H200 搭配 TP8 + EP8 為例）：

docker pull lmsysorg/sglang:dev-ling-3.1-flash

export SGLANG_ENABLE_FP8_BLOCK_GEMV=1
export SGLANG_ENABLE_FUSED_KDA_OUTPUT_QUANT=1

python3 -m sglang.launch_server \
  --model-path inclusionAI/Ling-3.1-flash \
  --tp 8 --ep 8 \
  --speculative-algorithm NEXTN \
  --host 0.0.0.0 --port 30000

2. vLLM 部署

使用專屬的工具調用與推理解析器啟動：

vllm serve "inclusionAI/Ling-3.1-flash" \
  --port 8000 \
  --trust-remote-code \
  --served-model-name auto \
  --tensor-parallel-size 8 \
  --gpu-memory-utilization 0.85 \
  --enable-prefix-caching \
  --enable-expert-parallel \
  --mamba-cache-mode align \
  --enable-auto-tool-choice \
  --tool-call-parser ling3 \
  --reasoning-parser ling3 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":3}'

3. 採樣參數與思考模式切換

官方建議採樣參數為：temperature: 1.0、top_p: 0.95、top_k: 20。

可透過 API 請求中的 chat_template_kwargs 動態控制思考模式：

extra_body={
    "chat_template_kwargs": {
        "enable_thinking": True
    }
}