Mistral AI Leanstral 1.5 深度解析：MoE 架構、Lean 4 形式驗證與部署指南

Mistral AI Leanstral 1.5 深度解析：MoE 架構、Lean 4 形式驗證與部署指南

Mistral AI 釋出開源模型 Leanstral 1.5！本文深度解構其 119B MoE 稀疏激活架構，剖析 miniF2F 滿分與 PutnamBench 等博士級數學推理表現，並提供 vLLM 本地部署與 AI Agent 整合指南。立即掌握任務關鍵型系統的形式驗證新利器！

1. 前言：形式驗證的新紀元

隨著 Mistral AI 釋出 Leanstral 1.5，開源社群在形式化證明（Formal Verification）與自動定理證明（ATP）領域正式進入了高產出的全新時代。作為 Mistral Small 4 家族的專業化分支，該模型並非通用型大語言模型（LLM），而是針對 Lean 4 證明助手與程式碼語義分析高度優化的「程式碼代理模型」（Code Agent Model）。

• 開源社群的戰略價值：Leanstral 1.5 採用 Apache-2.0 授權，徹底打破了過去高品質數學推理能力被閉源模型（如 OpenAI o1 系列）壟斷的局面。對於追求軟體供應鏈安全與高可靠系統設計的開發者而言，這是一次重量級的技術釋放。

2. 模型架構深度解析：高效 MoE 與稀疏激活機制

從系統架構師的角度來看，Leanstral 1.5 的核心優勢在於其精密的混合專家模型（MoE, Mixture of Experts）設計。透過極高的活躍參數稀疏性（Active Parameter Sparsity），它在保持強大推理能力的同時，顯著降低了推理過程中的計算負載與記憶體頻寬壓力。

這種 4-of-128 的配置讓模型在處理長序列推理時，能更精準地調用特定專業領域的專家節點，進而提升「邏輯收斂性」，大幅減少在複雜證明樹搜索中的發散問題。

3. 卓越的數學性能評估：邁向博士級自動證明

在自動化定理證明的基準測試中，Leanstral 1.5 展現了足以媲美人類專家的推理邏輯，並在多個權威數據集刷新了紀錄：

• miniF2F 測試：取得 滿分 (100%) 成績，展現出對基礎與中階競賽數學問題的絕對控制力。
• PutnamBench 挑戰：在 672 個普特南數學競賽（Putnam Competition）等級的難題中，成功解決了 587 個。這意味著該模型在處理高等微積分、線性代數及組合數學等 PhD 級別推理任務時，已具備極高的成功率。
• 前沿抽象數學性能 (FATE)：在針對研究所及博士等級的抽象代數基準測試中，創下了全新的最先進（SOTA）紀錄——於 FATE-H 達到 87%、在 FATE-X 達到 34% 的成功率。
• 複雜數學對象表達：模型能熟練處理高度抽象的現代數學概念，例如代數幾何中的 Perfectoid Spaces（完美體空間），證明其內部的知識圖譜已涵蓋當前數學研究的前沿領域。

4. 形式驗證與程式碼除錯：實戰性能分析

Leanstral 1.5 的實戰價值在於其對形式化規範映射（Formal Specification Mapping）的深刻理解，特別是在軟體安全審查與結構驗證中。

• AVL 樹時間複雜度驗證：透過消耗高達 270 萬個 token 的深層運算與 22 次上下文壓縮，模型成功完成了 AVL 樹操作複雜度的嚴謹校驗。這類任務涉及對結構不變量（Structural Invariants）與遞迴關係（Recurrence Relations）的嚴密推導，確立了嚴格的 $O(\log n)$ 數學證明，展現了模型在長路徑邏輯證明中的韌性。
• 隱藏漏洞偵測：在針對 57 個開源儲存庫的自動化審查中，Leanstral 1.5 成功抓出了 11 個真實漏洞。其中包括 5 個傳統靜態與動態測試工具（如傳統模糊測試）皆無法偵測、且從未在 GitHub 上被回報過的隱藏邊界錯誤（Corner Cases），例如 datrs/varinteger 函式庫中的 zigzag 解碼溢位漏洞。
• 多語言規範支持：除了 Lean 4，該模型對於描述 Rust 片段屬性（Properties of Rust fragments） 等系統級程式語言的安全性規範，亦具備極強的表達與驗證能力。

5. 技術演進與策略性推論優化

Leanstral 1.5 是基於前代 Leanstral-2603 模型迭代而來的最新成果。與傳統多模態模型（如 SeFi-Image）的通用訓練不同，Leanstral 的技術核心在於針對 Lean 4 策略狀態（Tactic State） 的深度適應，其強大性能歸功於精密的三階段訓練架構：

1. 中程訓練 (Mid-training)：打下扎實的數學與邏輯符號基礎。
2. 監督式微調 (Supervised Fine-Tuning, SFT)：強化對 Lean 4 語法與證明的結構化輸出。
3. 基於 CISPO 的強化學習 (Reinforcement Learning)：

• 多輪環境：模型根據 Lean 編譯器的反饋不斷修正證明，直至編譯通過。
• 程式碼代理環境：模擬真實開發者在檔案系統中操作、執行 bash 指令並即時檢查錯誤與型別資訊，從而獲得解決長期任務的能力。

建議的推論設置：

• Temperature：建議設置為 1.0。在形式驗證中，適度的隨機性有助於跳出局部最優解，探索更多潛在的證明分支。
• Reasoning Effort：處理數學證明時務必設為 "high"。這會開啟模型的內部思考路徑，顯著降低在複雜證明樹中的分支發散（Branching Divergence）。

6. 開發者指南：部署與 AI Agent 整合

為了獲得最佳的自動化開發體驗，強烈建議將 Leanstral 1.5 與 lean-lsp-mcp 整合，這是 AI 代理與 Lean 編譯器交互的工業標準介面。

1. 安裝與初始化 Mistral Vibe CLI

在環境中執行以下指令進行初始化：

leanstall

安裝完成後，輸入 exit 退出配置環境。

2. 啟動與運行 AI Agent

使用以下指令啟動專屬的形式驗證代理：

vibe --agent lean

⚠️ 注意：若需自動化處理大型專案（長時工作流），可附加 --yolo 參數開啟自動批准模式，但此模式下代理會自動執行決策，需謹慎監控。

3. 本地與伺服器端部署 (vLLM)

• 環境需求：vLLM >= 0.24.0，安裝後系統會自動獲取相依套件 mistral_common >= 1.11.5。
• 本地代理配置：修改 ~/.vibe/agents/lean.toml 檔案，務必將 <your-host-url> 替換為實際的本地或遠端伺服器位址，以進行低延遲的推理調用。

7. 開源授權與官方資源

Leanstral 1.5 採用的 Apache-2.0 授權 確保了商業應用的法律安全性，開發者可自由進行模型蒸餾、二次微調或大規模商業分發。

• Hugging Face 模型庫 (119B-A6.5B)：https://huggingface.co/mistralai/Leanstral-1.5-119B-A6B
• Mistral AI 官方文件：https://docs.mistral.ai/
• 前代模型對比 (2603 版)：Leanstral-2603

結語

Leanstral 1.5 的發布，代表了 AI Agent 從單純的「程式碼生成」跨越到了「程式碼正確性證明」的全新維度。對於致力於高安全性、任務關鍵型系統開發的架構師與工程師而言，掌握此類結合 MoE 高效架構與 Lean 4 形式邏輯的模型，將是未來定義軟體品質的核心技能。

問與答 (Q&A)

Q1：Leanstral 1.5 是什麼？它的模型架構與開源授權有何特別之處？

A：Leanstral 1.5 是 Mistral AI 推出的開源程式代理模型，專為 Lean 4 形式驗證語言所設計。它採用了對商業極其友好的 Apache-2.0 授權。在架構上，它是一款混合專家模型（MoE），總參數高達 1190 億（119B），但透過 4-of-128 稀疏激活機制，每個 Token 生成時的活躍參數僅有 65 億（6.5B）。這種設計讓它具備了極高的運算效益，並原生支援高達 256k tokens 的上下文長度與多模態輸入。

Q2：Leanstral 1.5 在數學證明的效能評估上表現如何？

A：它的表現帶來了跨世代的升級。Leanstral 1.5 在涵蓋各種難度的 miniF2F 測試中達到了滿分（100%），並且成功解決了 672 個 PutnamBench 數學難題中的 587 個。此外，在針對研究所及博士等級的抽象代數基準測試中，它也創下了全新的最先進（SOTA）紀錄：在 FATE-H 達到 87%、在 FATE-X 達到 34% 的成功率，展現出博士級的自動證明實力。

Q3：Leanstral 1.5 是如何被訓練出來的？它的「三階段訓練」是什麼？

A：Leanstral 1.5 的成功歸功於其獨特的三階段訓練工序：中程訓練（mid-training）、監督式微調（SFT），以及利用 CISPO 進行的強化學習（RL）。 在強化學習階段，模型會在兩個主要環境中磨練：一個是「多輪環境」，模型會根據 Lean 編譯器的回饋不斷修正證明直到編譯成功；另一個是「程式碼代理環境」，模型會像真實開發者一樣在檔案系統中操作、執行 bash 指令並即時檢查錯誤與型別資訊，這讓它具備了解決長期、複雜任務的能力。

Q4：在真實世界的程式碼驗證中，Leanstral 1.5 實際解決了哪些複雜問題？

A：在實用價值上，Leanstral 1.5 展現了極高的除錯與形式化證明能力。以 AVL 樹的時間複雜度為例，它運用了高達 270 萬個 token 的運算與 22 次上下文壓縮，成功確立了嚴格的 $O(\log n)$ 數學證明。 在自動找漏洞（Bug Hunting）方面，測試 57 個開源儲存庫時，它共找出了 11 個真實漏洞，其中包含 5 個從未在 GitHub 上被回報過、連傳統模糊測試與靜態分析都會漏掉的隱藏邊界錯誤（如 datrs/varinteger 函式庫中的 zigzag 解碼溢位漏洞），證明了形式驗證已能實際落地於日常軟體工程中。