百度 ERNIE 5.5 Flash Base 完整解析：280B 混合注意力 MoE 基座模型、六大架構創新、30 項基準評測與本地部署指南

文章摘要：百度文心（Baidu ERNIE）團隊於 2026 年 11 月 5 日正式發布並開源新一代稀疏混合專家（MoE）基礎語言模型 ERNIE-5.5-Flash-Base（官方中文發布頁 / 英文技術部落格）。該模型總參數量為 2800 億（280B），每處理一個 Token 僅激活 140 億（14B）參數，使用 33.5 兆（33.5T）Tokens 從頭預訓練，訓練階段最大上下文長度為 128K，微調與推論階段則原生支援 100 萬（1M / 1,048,576）Tokens 超長上下文。與一般經過指令微調的對話模型不同，本次釋出的權重是預訓練結束當下的純淨基座檢查點（Pre-training Checkpoint），未經過任何中期訓練（Mid-training）或後訓練（Post-training），旨在為開發者與研究團隊提供領域適配（Domain Adaptation）、指令微調（Instruction Tuning）、強化學習（RL）與代理（Agent）研發的高效率起點。本文完整整理官方技術報告、Hugging Face 模型卡與關聯論文中的六大底層架構設計、預訓練資料與系統優化、30 項同尺寸基座模型評測對比，以及 SGLang 與 vLLM 生產環境部署方法。

ERNIE 5.5 Flash Base 四大核心設計定位

根據 百度 ERNIE 5.5 Flash Base 官方技術發布頁 與 Hugging Face 官方模型卡，研發團隊認為不同垂直領域、推理任務與代理（Agentic）應用需要各自專屬的資料分佈、訓練目標與行為策略；而在後續強化學習反覆採樣（Rollout）與多輪長上下文互動中，運算與記憶體成本會持續累加。因此，ERNIE 5.5 Flash Base 從設計初期便圍繞四個核心目標展開：

1. 開放純淨的預訓練起點（Open Starting Point for Further Training）：直接公開預訓練結束時的原始基座權重（提供 FP8 權重庫 與 BF16 權重庫），不預先綁定特定的後訓練策略，讓研究人員與企業團隊能在統一且乾淨的基準點上，自由驗證各種微調與強化學習演算法的效果，省去從頭進行大規模預訓練的高昂算力成本。

2. 為後續訓練與長上下文推論量身打造的極致效率：模型將激活算力（Activated Compute）、KV 快取記憶體（KV Cache）與長上下文運算成本視為單一整體預算進行協同設計，透過 37 層重度壓縮注意力（HCA）搭配 6 層多頭潛在稀疏注意力（MLA + DSA），以及運行於半寬度潛在空間（2048 維）的 多路由器潛在混合專家（Multi-Router Latent MoE），大幅降低訓練與推論的資源消耗。

3. 預埋難以靠後訓練補足的底層能力：預訓練語料庫除了大規模多語系網頁知識外，特別強化了儲存庫級別（Repository-scale）程式碼演進軌跡（涵蓋 Commit、Issue、Pull Request、Code Review 與 CI 驗證修復）與合成長上下文多跳問答資料，為後續的軟體工程代理與長文本檢索打下基礎。

4. 演算法與底層訓練系統協同設計（Co-designed Infrastructure）：為了在數千張 GPU 規模下高效完成 33.5T Tokens 的預訓練，百度團隊同步開發了通訊高效的分散式 Muon 優化器（Distributed Muon）、記憶體均衡分片機制，以及支援超大注意力頭維度的 FlashMask-4 核心（在 NVIDIA SM100 架構上較 FlashAttention-4 MaskMod 前向加速最高達 175%、反向加速最高達 74%）。

底層架構與關鍵技術規格總覽

結合 Hugging Face 官方模型卡、百度官方技術報告 與 vLLM 官方部署配方，ERNIE-5.5-Flash-Base 的核心模型參數配置整理如下表：

六大核心架構創新深度解析

根據 百度官方技術部落格 與三篇同步發表於 arXiv 的技術論文，ERNIE 5.5 Flash 從注意力層、專家路由、殘差流到輸出頭進行了全面重構：

1. 潛在門控混合稀疏注意力（Hybrid MLA-DSA + HCA）與 VHA

為了在百萬級上下文下同時兼顧檢索精度與 KV 快取記憶體預算，ERNIE 5.5 Flash 採用了 1:6 的混合注意力配比：

• 37 層重度壓縮注意力（Heavily Compressed Attention, HCA）：多數網路層只需要對遠距離歷史保持粗粒度感知。HCA 將每 128 個連續 Tokens 壓縮為單一快取條目（128 倍壓縮），並同時關注所有壓縮歷史條目與近期未壓縮的短視窗 Tokens。由於序列長度壓縮了 128 倍、注意力計算成本極低，HCA 層得以配置更寬的 512 維注意力頭（Head Dimension = 512） 以強化表達能力。

• 6 層多頭潛在稀疏注意力（MLA + DSA）：每 7 層中保留 1 層具備完整 Token 級別視野的 MLA 層，並將頭維度設為較窄的 256 維。為了避免長序列下 Token 級別注意力運算量暴增，這 6 層結合了動態稀疏注意力（DSA），透過輕量級索引器（Indexer）為每個 Query 對歷史位置打分，僅針對得分最高的 Top-$k$ 位置計算核心注意力，使單次 Query 的注意力成本隨上下文增長維持常數。官方消融實驗證實，在相同 KV 快取預算下，「HCA + 少量全視野 MLA」的組合明顯優於「HCA + 4 倍壓縮稀疏注意力（CSA）」。

• 低秩門控注意力（Low-Rank Gated Attention）與虛擬頭注意力（VHA）：所有 43 層皆在注意力輸出端乘上學習門控（Gate），且門控直接由窄 4 倍的「低秩 Query 潛在向量」計算而非完整隱藏狀態，減少了 75% 的門控投影參數並提升訓練穩定度。此外，模型全面導入入選 NeurIPS 2026 的 虛擬頭注意力（Virtual Head Attention, VHA）（GitHub 開源實作），在注意力計算後加入跨頭低秩混合步驟與恆等跳躍連接（Identity Skip Connection），推論時可直接融合進注意力算子中，以趨近於零的額外開銷促進不同注意力頭之間的資訊共享。

2. 多路由器潛在混合專家（Multi-Router Latent MoE）

傳統 MoE 架構依賴單一路由器（Single Router）搭配硬性 Top-$k$ 選取專家，但在中深層網路中，單一路由器的評分與專家的實際效用（Utility）相關性偏弱；且未被選中的專家無法獲得梯度更新，導致錯誤的路由決策容易自我強化。

根據百度發表的論文《Multi-View MoE: Letting Every Router Shape Expert Computation》與 官方技術報告：

• 多路由器協同評分（Multi-Router）：模型以多個獨立初始化的 Sigmoid 路由器取代單一路由器。訓練過程中，不同路由器會自然分化出相異的專家偏好，一個專家可因單一路由器強烈推薦或多個路由器共同支持而被選中，有效降低對雜訊特徵與分佈偏移的敏感度。在 10B-A1B 對照實驗中，Multi-Router 將全局路由分數與專家效用的秩相關性提升了 8.1%（在單路由器對齊最差的網路層更相對提升達 58%），且激活專家數、FLOPs 與跨節點通訊量完全維持不變。

• 半寬度潛在空間專家（Latent Experts）與穩定化設計：除第 1 層為稠密層外，其餘 42 層皆配置 512 個路由專家（每 Token 激活 Top-10）與 1 個共享專家，並採用無輔助損失（Auxiliary-loss-free）的偏差修正負載均衡。Token 進入 MoE 層時會先從 4096 維投影至 2048 維潛在空間，專家網路在 2048 維空間內完成運算後，再透過共享的上投影矩陣映射回 4096 維，使專家分發／合併（Dispatch/Combine）通訊量與專家運算量雙雙減半。同時結合 Stable LatentMoE 設計（上投影前加入 RMSNorm 並採用 SiTU-GLU 激活函數）與每個路由專家專屬的可學習純量權重，確保 43 層網路的專家輸出尺度穩定。

3. 流形約束超連接（Manifold-Constrained Hyper-Connections, mHC）

ERNIE 5.5 Flash Base 以擴展率為 4 的 流形約束超連接（mHC） 取代標準殘差連接。每一層網路皆透過受約束的混合矩陣（Constrained Mixing Matrix）同時讀寫 4 條平行殘差流，在幾乎不增加額外運算量的前提下，大幅拓寬了跨層訊號傳遞的通道寬度。

4. MultiMax 輸出頭：可學習分段溫度消除 Softmax 兩難

傳統輸出層使用單一 Softmax 溫度時面臨兩難：降低溫度雖能使分佈稀疏，卻會壓抑其他合理的候選 Token；調高溫度雖能保留合理候選，卻會讓不合理的長尾噪音機率膨脹。根據 官方技術報告，MultiMax 輸出頭改用「可學習的分段溫度（Learnable Piecewise Temperature）」，在壓抑長尾無效 Token 的同時保留多個高機率合理候選。該元素級別的 Logits 縮放直接融合在分塊（Chunked）Triton 交叉熵核心的 Softmax 之前執行，不佔用額外顯示記憶體，並顯著降低了預訓練損失。

5. ECHO 自遞迴機制：取代外掛 MTP 模組並內建投機解碼

傳統多 Token 預測（MTP，如 DeepSeek-V3 等架構採用的方案）會在主幹網路外附加額外的預測模組，導致未來 Token 的監督訊號主要用於訓練外掛模組，主幹本身仍僅受下一個 Token 的監督。

根據百度論文《ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction》與 官方技術報告，ERNIE 5.5 Flash 採用單步 ECHO（Efficient Causal Self-Recursion） 取代 MTP 模組，直接重用骨幹網路自己的最後一層（Final Decoder Layer）與輸出頭來預測未來 Token（僅透過約 0.36B 參數的輕量融合層連接）。由於沒有獨立的 MTP 層，未來視角的損失會直接回傳並優化產生下一個 Token 的核心參數，促使主幹模型預判序列走向，在數學推理與程式碼任務上帶來顯著增益。在推論階段，同一層可直接作為內建投機解碼（Speculative Decoding）的草稿模型（Drafter），且具備跨深度泛化能力：即使預訓練僅針對預測額外 1 個 Token 訓練，推論時仍能連續起草多個候選 Token，接受率（Acceptance Rate）亦高於同等訓練方式的外掛 MTP 模組。

6. 右至左（R2L）三位數分組 BPE 分詞器

ERNIE 5.5 Flash Base 採用詞表容量達 201,216 的全新 BPE 分詞器。針對數值處理，分詞器會將數字由右至左（Right-to-Left, R2L）以最多 3 位數為一組進行切分（例如 1,234,567 會被切分為 1、234、567），確保不同長度的數字在相同位值（個十百、千、百萬）上嚴格對齊，有效提升算術運算與密集數值文本的處理準確度。

33.5T 預訓練資料工程與分散式訓練基礎設施

根據 百度官方技術報告第 3 節，ERNIE-5.5-Flash-Base 的預訓練語料規模達 33.5 兆（33.5T）Tokens，訓練上下文逐步擴展至 128K，並在資料組成與底層系統上進行了三項針對性強化：

1. 三維度高密度語料（網頁、動態軟體工程、長上下文）：

   • 多語系高保真網頁資料：經大規模爬取、高保真擷取與多維度品質評分模型過濾，確保高知識密度。
   • 儲存庫級程式碼與演化軌跡（Repository-level Code & Evolution）：除了經過嚴格去重與多粒度分級的靜態程式碼外，語料庫特別納入軟體開發的動態演化與執行驗證資料，涵蓋 Commits、Issues、Pull Requests、Code Reviews、「需求至 PR（Requirement-to-PR）」與多 Commit 軌跡、自動生成測試以及 CI 驗證通過的修復紀錄（CI-verified fixes），強化儲存庫級別推理與代理軟體工程能力。
   • 三源互補長上下文資料：結合（1）經嵌入去重與 LLM 品質篩選的自然長文件、（2）在自然長文中穿插語義相似檢索干擾項（Distractors）拼接而成的長序列，以及（3）針對 MRCR 風格多針檢索、引文歸因問答（Citation-grounded QA）與多跳問答（Multi-hop QA）生成的合成資料。

2. 通訊高效且記憶體均衡的分散式 Muon 優化器：不同於 Adam 等逐元素優化器，Muon 會對整個參數矩陣的更新進行正交化（Orthogonalization）。百度團隊針對千卡級叢集進行了兩項改造：

   • 稠密與 MoE 參數同步融合：將原本透過全叢集單一環狀（Ring）傳遞的稠密參數同步，移至與 MoE 專家平行相同的「跨節點同 Rank（Same-rank）」通訊路徑，並將稠密與 MoE 傳輸合併為單一集合通訊操作（Collective Operation），大幅增大單次訊息體積、提升頻寬利用率並消除跨節點延遲抖動。
   • 跨節點記憶體均衡分片（Memory-balanced Sharding）：解決傳統 Muon 為維持大訊息而將優化器狀態集中在少數前段 GPU 節點導致的 OOM 與檢查點存取瓶頸，將優化器狀態均勻分散至各節點，同時維持高效通訊所需的大訊息尺寸。

3. 支援超大頭維度的 FlashMask-4 注意力核心：由於 HCA 層採用高達 512 維的注意力頭，傳統 FlashAttention 核心容易受限於晶片共享記憶體（Shared Memory）與張量記憶體（Tensor Memory）容量。百度基於 CuTe-DSL 為 NVIDIA SM90（Hopper） 與 SM100（Blackwell） 架構打造了 FlashMask-4，透過 2-CTA 鋪磚平行計算與 SM100 張量記憶體雙緩衝輪轉（Double-buffer Rotation），支援高達 qk_head_dim = 576 與 v_head_dim = 512（超越 FlashAttention-4 上限），並保留 $O(N)$ 欄位遮罩表示法以跳過全遮罩區塊，在 SM100 GPU 上實現前向最高加速 175%、反向最高加速 74%。

30 項基準測試完整評測：對決 DeepSeek-V4-Flash、Hy3-preview 與 MiMo-V2.5

根據 Hugging Face 官方模型卡 與 百度官方發布頁，官方採用完全統一的評測管線、提示詞、Few-shot 設定與相同的自由問答 LLM 裁判，將 ERNIE-5.5-Flash-Base（280B-A14B）與三款同量級開源基座模型——DeepSeek-V4-Flash-Base（284B-A13B）、騰訊混元 Hy3-preview-Base（295B-A21B）以及小米 MiMo-V2.5-Base（310B-A15B）——在涵蓋綜合考試、知識問答、STEM 數理、邏輯推理、多語系、程式碼與長上下文的 7 大領域共 30 項基準測試中進行了完整橫向對比：

評測結果的三大關鍵觀察

1. 在 30 項基座測試中拿下 24 項第一（對比 DeepSeek-V4-Flash-Base 則勝出 26 項）：根據 官方公布數據 與 MarkTechPost 分析，ERNIE-5.5-Flash-Base 在 30 項基準中有 24 項位居四款同級模型之冠。尤其在高難度學術考試 MMLU-Pro 上拿到 78.4 分，領先 DeepSeek-V4-Flash-Base（69.2 分）達 9.2 個百分點；在博士級科學推理 GPQA 亦取得 60.2 分（領先次高 DeepSeek 的 55.9 分達 4.3 個百分點）。

2. 程式碼生成與儲存庫級檢索優勢明顯：受惠於預訓練階段導入的軟體演化軌跡與 ECHO 自遞迴監督，模型在 HumanEval+（82.3% vs. DeepSeek 69.5%）、MBPP+（81.5% vs. DeepSeek 67.2%）與競賽級編程 LiveCodeBench（40.1% vs. Hy3-preview 33.5%）皆取得明顯領先；在長上下文程式碼檢索基準 RepoQA 更達到 91.7%，超越 DeepSeek-V4-Flash-Base（81.0%）逾 10 個百分點。

3. 128 倍壓縮注意力下仍維持高水準長上下文表現：儘管 43 層網路中有 37 層採用了 128 倍序列壓縮的 HCA 注意力，但憑藉 6 層全視野 MLA-DSA 層與針對性長文本預訓練語料，模型在 HELMET-RAG（71.5）、HELMET-ICL（85.9）、RepoQA（91.7）與 LongBench-v2（48.7）四項長上下文基準中均排名第一，僅在 HELMET-Rerank（56.2 vs. DeepSeek 60.0）與 InfiniteBench（46.5 vs. DeepSeek 48.0）略低於對照組。

本地部署與推論實戰指南（Transformers、SGLang、vLLM）

根據 Hugging Face 官方模型卡 與 百度官方快速開始指南，ERNIE-5.5-Flash-Base 已在 Hugging Face 與 ModelScope 同步釋出 FP8 權重（約 280 GB） 與 BF16 權重（約 560 GB）。由於此模型為未經對話微調的基座模型（Base Model），部署後應透過 /v1/completions 端點（而非 /v1/chat/completions）進行文本續寫呼叫，且模型預期每筆輸入開頭皆帶有 BOS Token，因此分詞時請務必維持 add_special_tokens=True。

1. 使用 Hugging Face Transformers 直接載入推論

適合用於微調腳本開發或單次前向驗證（以下以載入 baidu/ERNIE-5.5-Flash-Base-BF16 為例）：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "baidu/ERNIE-5.5-Flash-Base-BF16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

# 注意：模型需要輸入開頭包含 BOS token，請保持 add_special_tokens=True
model_inputs = tokenizer(
    ["The hybrid attention architecture of ERNIE 5.5 Flash"],
    add_special_tokens=True,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(**model_inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

2. 使用 SGLang 進行生產環境部署（支援 4 卡平行與 1M 上下文）

根據 Hugging Face 模型卡說明 與 SGLang Cookbook 指南，官方提供了預先建置好的專用 Docker 映像檔 lmsysorg/sglang:dev-ernie-55-flash，可透過 4 路張量平行（--tp 4）與注意力資料平行（--attn-dp-size 4）啟動服務：

# 1. 啟動官方預建置的 SGLang Docker 容器
docker run -d -it --name ernie55 \
  --gpus all \
  --network host \
  --ipc host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  lmsysorg/sglang:dev-ernie-55-flash

# 2. 在容器內啟動 SGLang 推論伺服器（支援最高 1,048,576 context-length）
sglang serve \
  --model-path baidu/ERNIE-5.5-Flash-Base \
  --tp 4 \
  --attn-dp-size 4 \
  --context-length 131072 \
  --max-running-requests 1024 \
  --host 0.0.0.0 \
  --port 30000

3. 使用 vLLM 搭配 vLLM-ERNIE 外掛部署

若採用 vLLM 推論引擎，根據 Hugging Face 模型卡 與 vLLM Recipes 配方頁，需安裝 vllm==0.32.0 並掛載百度官方開源的 vLLM-ERNIE 擴充套件，即可啟用 fp8 KV 快取、專家平行（Expert Parallel）與 humming MoE 後端：

# 1. 建立 Python 3.12 虛擬環境並安裝 vLLM 0.32.0 與 vLLM-ERNIE 外掛
uv venv --python 3.12 ernie55-venv
source ernie55-venv/bin/activate
uv pip install vllm==0.32.0
uv pip install git+https://github.com/baidu/vLLM-ERNIE.git

# 2. 啟動 vLLM 伺服器（長上下文推論可將 --max-model-len 調升至 1048576）
vllm serve baidu/ERNIE-5.5-Flash-Base \
  --kv-cache-dtype fp8 \
  --enable-expert-parallel \
  --data-parallel-size 4 \
  --max-model-len 131072 \
  --port 30000 \
  --moe-backend humming

4. 發送 Completions API 測試請求

無論使用 SGLang 或 vLLM 啟動服務，皆可透過標準 OpenAI 相容的 /v1/completions 端點驗證推論結果：

curl http://localhost:30000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "baidu/ERNIE-5.5-Flash-Base",
    "prompt": "Large language models are",
    "max_tokens": 256,
    "temperature": 0
  }'

授權條款注意事項與後續版本展望

在採用 ERNIE-5.5-Flash-Base 進行商業開發或學術研究前，建議留意以下兩點關鍵資訊：

• 授權條款（ERNIE 5.5 Flash Base Model License Agreement v1.0）：根據模型倉庫內的 官方 LICENSE 文件 與 外媒授權解析，該授權允許學術研究與自由修改分發；針對相關產品或服務**年營收低於或等於 5,000 萬美元（US$50 million）的企業可免費進行商業使用（超過該營收門檻需另行向百度申請商業授權），但授權地理範圍明確排除了歐盟（EU）、英國（UK）與南韓（South Korea）**境內的使用與分發。

• 後訓練版本（Post-trained ERNIE 5.5 Flash）即將推出：百度官方技術報告結語 明確預告，本次釋出的 Base 權重僅是系列的第一步，經過完整後訓練（支援對話、深度推理與工具代理能力）的正式版 ERNIE 5.5 Flash 將於後續發布。

常見問題解答（FAQ）

Q1：ERNIE-5.5-Flash-Base 可以直接用來做聊天機器人（Chat）嗎？

不行。根據 Hugging Face 官方模型卡，ERNIE-5.5-Flash-Base 是預訓練結束時的純基座檢查點，尚未經過指令微調（SFT）或強化學習（RLHF），因此不具備遵循對話格式或工具呼叫的行為策略。一般工程團隊應將其作為垂直領域繼續預訓練（Continual Pre-training）、指令微調或 RL 演算法研究的基底；若需要開箱即用的對話與代理模型，建議等待百度後續釋出的 Post-trained 版本，或自行基於此檢查點執行後訓練。

Q2：應該選擇下載 FP8 版本還是 BF16 版本？硬體記憶體需求為何？

根據 Shattered.io 硬體規格分析 與 官方模型卡：

• ERNIE-5.5-Flash-Base（FP8 Safetensors）：每個參數佔用 1 Byte，純權重體積約 280 GB（未計入 KV 快取與激活值），適合直接用於長上下文推論服務、投機解碼驗證與顯示記憶體受限的實驗環境（官方 SGLang 與 vLLM 範例預設採用 4 路平行配置）。

• ERNIE-5.5-Flash-Base-BF16（BF16 Safetensors）：每個參數佔用 2 Bytes，純權重體積約 560 GB，適合需要以更高數值精度作為起點的全參數微調、LoRA 微調或強化學習訓練工作流。

相關參考連結

• 百度 ERNIE 5.5 Flash Base 官方中文技術發布頁

• 百度 ERNIE 5.5 Flash Base 官方英文技術部落格

• Hugging Face 官方模型倉庫（FP8 權重）：baidu/ERNIE-5.5-Flash-Base

• Hugging Face 官方模型倉庫（BF16 權重）：baidu/ERNIE-5.5-Flash-Base-BF16

• ModelScope 魔搭社群模型倉庫（FP8）：baidu/ERNIE-5.5-Flash-Base

• ModelScope 魔搭社群模型倉庫（BF16）：baidu/ERNIE-5.5-Flash-Base-BF16

• ERNIE 5.5 Flash Base 模型授權合約 v1.0（LICENSE）

• 關聯技術論文 1（NeurIPS 2026）：Virtual Head Attention (arXiv:2610.17959) 與 PaddlePaddle/VHA GitHub 儲存庫

• 關聯技術論文 2：Multi-View MoE: Letting Every Router Shape Expert Computation (arXiv:2610.40577)

• 關聯技術論文 3：ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction (arXiv:2610.24766)

• vLLM 官方部署配方：baidu/ERNIE-5.5-Flash

• SGLang Cookbook 官方部署指南：ERNIE-5.5-Flash

• MarkTechPost 技術報導：Baidu Releases ERNIE 5.5 Flash Base: A 280B MoE Base Model With 14B Active Parameters

• Shattered.io 規格與硬體分析：ERNIE 5.5 Flash Base: 280B MoE, 14B Active

• The Decoder 報導：Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters