JetBrains 發布 Mellum 2.1 開源模型：專為 Coding Agent 打造的 12B MoE 輕量推理模型與本地 GGUF 部署指南
JetBrains 於 2026 年 10 月 8 日正式推出 Mellum 2.1 (Mellum2.1-12B-A2.5B-Thinking)，這是繼 2026 年 6 月開源 Mellum 2 之後的重大更新版本。這款模型採用 Apache 2.0 授權開源，總參數量為 12B，但透過專家混合（Mixture-of-Experts, MoE）架構，每個 Token 僅需啟用 2.5B 參數。
與上一代相比，Mellum 2.1 的底層模型架構完全沒有改變，所有的效能突破都來自後訓練（Post-training）階段的大規模強化學習（Reinforcement Learning, RL）。經過在數千個真實軟體工程環境、數百萬次沙盒（Sandbox）執行訓練後，Mellum 2.1 具備了自主探索程式碼庫（Codebase）、編輯檔案並自行執行測試驗證修改結果的 Agent 能力，同時官方也同步釋出了 Mellum2.1-12B-A2.5B-Thinking-GGUF 量化權重，讓開發者能直接透過 llama.cpp、Ollama 或 LM Studio 在單張消費級顯卡或 Mac 上私有化部署。
核心架構與規格：維持 2.5B 啟用參數的高效 MoE 設計
Mellum2.1-12B-A2.5B-Thinking 屬於具備思維鏈（Chain-of-Thought）能力的推理模型（Thinking Model），在輸出最終答案前會先於 <think> 標籤內進行邏輯推演。根據官方公布的技術規格，其核心架構設計如下：
- MoE 專家路由機制：模型共包含 28 層網路與 64 個專家（Experts），路由器（Router）在處理每個 Token 時僅會啟用其中 8 個專家，總參數 12B、實際啟用參數僅 2.5B。
- 混合滑動視窗注意力機制：採用分組查詢注意力（Grouped-Query Attention, GQA），配置 32 個 Query Heads 與 4 個 KV Heads。為了大幅降低長文本的記憶體消耗，28 層中有 21 層（每 4 層中的 3 層）採用 1,024 Tokens 的滑動視窗（Sliding Window），僅有 7 層使用全注意力（Full Attention）。
- 上下文長度與詞彙表：原生支援 131,072 Tokens（128K）上下文視窗，詞彙表大小為 98,304 Tokens，原始權重以 bfloat16（BF16）格式發布。
- 開源授權：採用商業友善的 Apache 2.0 授權條款。
受惠於 21 層滑動視窗設計，Mellum 2.1 在長上下文推論時的 KV Cache 記憶體佔用極低。在 llama.cpp 預設滑動視窗快取機制下，跑滿 131K 上下文僅需額外約 1.9 GB 的 VRAM（若設定為 32K 上下文則僅需約 0.5 GB），讓 12 GB VRAM 的消費級顯卡也能輕鬆負荷完整上下文。
為什麼 Mellum 2.1 進步這麼大？後訓練階段的三大改變
JetBrains 在官方技術部落格中坦言，先前的 Mellum 2 雖然推論速度快，但在真實專案儲存庫（Repository）中獨立作業的能力未達內部預期。因此，研發團隊將整個夏天的研發重心放在後訓練階段的強化學習：
- 擴大強化學習（RL）規模：將強化學習從過去簡短的最終微調步驟，轉變為後訓練的核心主軸，針對訓練方法與資料配比進行了大量實驗。
- 擴充並嚴格清洗訓練資料：新增涵蓋數學、演算法競賽程式設計、科學、工具呼叫（Tool Use）與軟體工程的 RL 任務，結合開源 RL 資料集與 JetBrains 自建任務。由於開源資料集常夾雜損壞的測試案例、無法驗證的答案，或是難度過低與完全無解的題目，團隊在進入訓練前對所有資料源進行了嚴格篩選。
- 在真實軟體工程環境中訓練 Agent 技能：JetBrains 在內部建置了可同時運作數千個 RL 環境的基礎設施，並在訓練過程中啟動了數百萬個沙盒實例。模型直接在真實的程式碼儲存庫中透過 Shell 與檔案編輯工具進行操作，並以「測試是否通過」作為強化學習的獎勵訊號（Verifiable Rewards）。
基準測試表現：SWE-bench Verified 從 2.0% 躍升至 47.0%
JetBrains 使用統一的評估流程（Thinking 模式），將 Mellum 2.1 與上一代 Mellum 2，以及兩款同級距的熱門開源模型 Qwen3.5-9B（9B 稠密模型）與 Gemma 4 E4B（8B 總參數、4.5B 有效參數）進行對比。其中 Agent 相關測試皆採用開源的 Pi v0.73.1 框架，配置 114K 上下文視窗與單輪最高 16K 輸出 Tokens。
四款模型的基準測試成績對比如下：
| 評測項目 / 規格 | Mellum 2.1 (12B MoE) | Mellum 2 (12B MoE) | Qwen3.5-9B (Dense) | Gemma 4 E4B |
|---|---|---|---|---|
| 總參數 / 啟用參數 | 12B / 2.5B | 12B / 2.5B | 9B / 9B | 8B / 4.5B |
| LiveCodeBench v6（程式設計） | 82.0 | 69.4 | 75.4 | 69.4 |
| HumanEval+（程式碼生成） | 91.5 | 90.9 | 89.6 | 89.1 |
| MBPP+（基礎程式設計） | 79.4 | 75.4 | 69.8 | 70.9 |
| SWE-bench Verified（Agent 修繕） | 47.0 | 2.0 | 50.0 | 23.0 |
| SWE-bench Pro（進階專案修繕） | 28.0 | 0.0 | 38.0 | 4.0 |
| Terminal-Bench 2.1（終端機操作） | 17.4 | 0.6 | 21.7 | 3.4 |
| BFCL v4（工具與函式呼叫） | 62.3 | 49.6 | 58.5 | 52.5 |
| AIME 25/26（高階數學推理） | 83.3 | 60.1 | 86.7 | 45.0 |
| GPQA Diamond（科學推理） | 64.6 | 51.0 | 77.8 | 53.1 |
| HarmBench（安全性，越低越好） | 8.5 | 21.5 | - | - |
從官方測試數據可以觀察出幾個關鍵現象：
- 獨立編程與工具呼叫領先同級：在 LiveCodeBench v6（82.0）、HumanEval+（91.5）、MBPP+（79.4）以及評估函式呼叫能力的 BFCL v4（62.3）中，Mellum 2.1 均超越 Qwen3.5-9B 與 Gemma 4 E4B，在 17 項公開測試中有 15 項擊敗前代 Mellum 2。
- 儲存庫級別的 Agent 能力大幅躍進：在檢驗真實 GitHub Issue 修復能力的 SWE-bench Verified 上，Mellum 2.1 從前代幾乎不可用的 2.0% 暴漲至 47.0%，SWE-bench Pro 也從 0.0% 提升至 28.0%。
- 與稠密模型的取捨：在複雜的跨檔案專案修復（SWE-bench Pro 28.0 vs 38.0）與深度學科知識（GPQA Diamond 64.6 vs 77.8）上，啟用全部 9B 參數的 Qwen3.5-9B 依然保有優勢。Mellum 2.1 的核心價值在於以 2.5B 的極小啟用參數量，換取接近 9B 稠密模型的編程水準與更高的推論吞吐量。
推論速度與應用場景定位
由於後訓練並未改動模型結構，Mellum 2.1 完整保留了前代的高速推論特性。根據 JetBrains 在單張 NVIDIA H200 GPU 上的測試結果：
- 高併發負載吞吞量：在高負載情境下，Mellum 2.1 是測試組中速度最快的模型，每秒輸出的 Token 數量幾乎達到 Qwen3.5-9B 的 2 倍。
- 單一請求加速（MTP）：針對單一請求場景，搭配多 Token 預測（Multi-Token Prediction, MTP）進行推測解碼（Speculative Decoding）時，生成速度可進一步提升約 1.6 倍。
因此，JetBrains 將 Mellum 2.1 的實務應用鎖定在三大場景：
- 多代理系統中的高速執行者（Sub-agent Worker）：由大型雲端模型或重型模型負責高層架構規劃，再交由本地端或自建伺服器上的 Mellum 2.1 負責高頻率的子任務，例如讀取檔案、定位測試失敗原因、撰寫修復草稿並執行測試檢查。
- 跨領域通用推理助手：除了寫程式外，也能逐步推演複雜數學與日常技術問題。
- 完全私有的本地與企業自建部署：程式碼與敏感資料不必離開內網或本機硬體，滿足企業資安與合規需求。
GGUF 量化版本選擇與本地部署實戰指南
針對本地端開發者，JetBrains 在 Hugging Face 上提供了官方 Mellum2.1-12B-A2.5B-Thinking-GGUF 儲存庫，共包含 5 種精度的單檔權重：
| GGUF 量化版本 | 檔案大小 | Top-Token 吻合度 (vs BF16) | 建議硬體配置 (VRAM / 統一記憶體) |
|---|---|---|---|
| MXFP4_MOE（最小體積） | 7.0 GB | 85.6% | 10 GB GPU（8 GB GPU 可搭配 --n-cpu-moe 卸載） |
| Q4_K_M（官方推薦首選） | 8.1 GB | 88.0% | 12 GB GPU（可跑滿 131K 上下文）、16 GB Mac |
| Q6_K（高精準度平衡） | 10.9 GB | 93.9% | 16 GB GPU、24 GB Mac |
| Q8_0（接近無損） | 12.9 GB | 96.1% | 16–24 GB GPU、32 GB Mac |
| BF16（原始參考權重） | 24.3 GB | 100% | 伺服器級 GPU（本地端一般無須使用） |
1. 使用 llama.cpp (llama-server) 部署
只要使用近期版本的 llama-server，透過單行指令即可自動從官方 GGUF 儲存庫下載推薦的 Q4_K_M 量化檔並啟動相容於 OpenAI API 的本地伺服器：
llama-server -hf JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF:Q4_K_M \
--ctx-size 131072 \
--temp 0.6 \
--top-p 0.95 \
--top-k 20 \
--port 8080
- 連接埠注意事項：llama.cpp 自 2026 年 10 月 9 日的 b11521 版本起將 llama-server 預設連接埠改為 9931。若你的編輯器工具預設連線至 http://localhost:8080/v1，請務必在啟動指令加上
--port 8080。 - VRAM 不足時的 CPU 卸載技巧：若顯卡記憶體僅有 8 GB，可加上
--n-cpu-moe N參數，將前 N 層的專家權重移至系統記憶體中執行。
2. 使用 Ollama 部署
目前可直接透過 Hugging Face 的 hf.co 前綴從官方 GGUF 儲存庫拉取模型並執行：
# 先調高預設上下文長度（建議至少 32768），避免思考過程與系統提示詞被截斷
OLLAMA_CONTEXT_LENGTH=32768 ollama serve
# 下載並執行推薦的 Q4_K_M 版本
ollama run hf.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF:Q4_K_M
重要設定提醒：Ollama 預設的上下文視窗僅有 4,096 Tokens。由於 Mellum 2.1 是 Thinking 模型，若未將
num_ctx或OLLAMA_CONTEXT_LENGTH調高至 32,768 以上，模型容易在思考階段耗盡額度而無法輸出程式碼。
3. 建議推論參數設定
- 日常對話與單次程式問答：建議設定
temperature = 0.6、top_p = 0.95、top_k = 20，並將最大輸出長度放寬至最高 81,920 Tokens，給予充分的推論空間。 - Agent 自動化工作流：JetBrains 在執行 SWE-bench 等基準測試時使用的是模型預設的
temperature = 1.0。若在接入工具時發現重複迴圈，可嘗試將溫度調回 1.0。