Thinking Machines Lab 正式開源「Inkling 2 Small」:594B 參數多模態 MoE 模型採 Apache 2.0 授權釋出
Thinking Machines Lab 於 2026 年 11 月 13 日(台灣時間凌晨 4:50)透過 官方 X 貼文 正式宣布,旗下第二代主力模型 Inkling 2 Small 的完整權重已上架至 Hugging Face,並採用寬鬆的 Apache 2.0 開源授權條款釋出,開放開發者與企業自由下載、部署與微調。
在此之前,Thinking Machines Lab 已於 11 月 5 日透過 官方發布公告 率先在自家 Tinker 平台與 Tinker Playground 上線測試,並依循其安全開源流程完成外部安全測試與紅隊演練(red-teaming)後,如期履行開源承諾。
核心架構與技術亮點:594B 總參數、17B 啟動與原生 NVFP4 訓練
雖然名稱帶有「Small」,但 Inkling 2 Small 在架構設計上是一款專為長程代理人任務(long-horizon agentic work)打造的超大型稀疏混合專家模型(Sparse MoE)(社群在 X 貼文下方也打趣「我們對 Small 的定義似乎不太一樣」)。根據 Hugging Face 模型卡 與 vLLM 官方部署文件,其關鍵規格如下:
| 規格項目 | 詳細參數說明 |
|---|---|
| 模型架構 | 48 層 Decoder-only Transformer(Sparse MoE) |
| 參數量 | 總參數 594B,每次前向傳播啟動 17B(384 個專家路由選 8,無共享專家) |
| 注意力機制 | 5:1 混合局部滑動視窗(40 層)與全域注意力(8 層),導入 Block Attention Residuals 與相對偏置注意力 |
| 多模態能力 | 原生支援 文字(UTF-8)與影像輸入(23 層 ViT 編碼器,建議影像邊長 40px–4096px),輸出純文字;不支援音訊 |
| 上下文視窗 | 最高支援 1M(100 萬)Tokens |
| 訓練與量化精度 | 全程採用原生 4-bit(NVFP4)前向傳播訓練;同步提供 MXFP8 版本 |
| 推測解碼 | 權重內建 DSpark 推測解碼頭(每步最高 7 tokens) |
| 開源授權 | Apache 2.0 |
值得一提的是,Thinking Machines Lab 在 End-to-End 4-Bit Training 技術文章 中指出,Inkling 2 Small 是目前已知規模最大、全程以原生 4-bit(NVFP4)前向傳播完成預訓練、中期訓練與後訓練的模型。此外,模型支援可變推理強度(variable effort),預設會啟用推理鏈(CoT),開發者亦可依需求關閉以換取更低延遲與推論成本。
硬體需求與版本選擇建議
官方在 模型卡 中明確建議所有應用場景優先選用 NVFP4 檢查點。雖然同時釋出了 Inkling-2-Small-MXFP8,但兩者在評測表現上僅有 1–2 個百分點的極微幅差距,實務上不具顯著差異。
- NVFP4 主力版本:需至少 500GB 總和 VRAM 的 GPU 叢集(例如 2× NVIDIA B300 或 4× NVIDIA H200)。
- MXFP8 替代版本:需至少 800GB 總和 VRAM 的 GPU 叢集(例如 4× NVIDIA B300 或 8× NVIDIA H200)。
基準評測表現:視覺感知、知識工作與金融分析表現突出
根據 Hugging Face 模型卡 公布的評估資料與 Artificial Analysis 評測頁面,Inkling 2 Small 在 AA Index (v5.0) 取得 30.6(官方部落格四捨五入為 31),較前代 Inkling 模型大幅躍升,並在 Vals Index (v2.2) 獲得 56.1%。
在與同級開源「Flash」模型(如 DeepSeek-V4.1-Flash-1017、GLM-5.3-Flash、MiMo V2.6 Flash、MiniMax-M3.1-Flash)的對比中,Inkling 2 Small 展現出鮮明的強項分布:
1. 搜尋、工具呼叫與企業知識工作
- BrowseComp(搭配 compaction):90.2%
- DeepSearchQA(搭配 compaction):90.9%
- MCP Atlas:85.4%(Full)/ 85.0%(Public)
- EnterpriseBench-CoreCraft:71.8%(領先同級開源模型)
- JobBench:70.5%
- AA-Briefcase v1.1:ELO 1527
2. 金融與量化分析
- Excel Modeling Benchmark v1.1:69.5%
- Finance Agent v2.1:67.5%
- Diligence Bench:58.1%
- AA-AnalystAgent:51.2%
3. 視覺感知與高難度推理
- OmniDocBench v1.6:94.6%
- ScreenSpot Pro:83.8%(搭配 Python 達 92.0%)
- MMMU Pro:81.6%
- ARC-AGI-1 / ARC-AGI-2:96.5% / 81.7%
- HLE-Diamond:28.7%
4. 程式開發與事實性
- SWEBench Pro v2 (Hard):86.3%
- Vibe Code Bench v1.1:81.6%
- DeepSWE v1.1:72.1%
- AA-Omniscience v1.1 無幻覺率:73.3%(顯著降低幻覺產生)
整體而言,Inkling 2 Small 在多模態視覺理解、文件解析、金融試算與工具呼叫上具備領先優勢;而在部分純程式基準測試(例如 DeepSWE v1.1 的 72.1% 對比 DeepSeek-V4.1-Flash 的 77.0%)則略遜於部分專精程式的開源對手。此外,官方也坦承該模型不支援音訊、輸出有時偏冗長,且在純日常閒聊的潤飾度上較弱,更適合部署於嚴肅的代理人與工作流場景。
生態系 Day-0 支援:推論、微調與雲端 API
隨著 Apache 2.0 權重釋出,各大開源推論框架與雲端平台已同步提供 Day-0 支援:
- 本地推論框架:支援 SGLang、vLLM(官方 Recipe)、TokenSpeed(技術部落格)、Unsloth(GGUF 量化版),並已上架 Ollama 模型庫 與 Docker Model Runner。
- 微調與後訓練:除官方 Tinker 平台(需搭配
tml-renderers)外,亦支援 Miles、SkyRL 與 Snowflake Cortex Training(Snowflake 官方公告)。 - 託管 API 服務:可透過 NVIDIA、Fireworks、Together、Baseten、Nebius、Modal、Cloudflare Workers AI 以及 OpenRouter 呼叫使用。
相關連結
- Hugging Face 模型頁面(NVFP4 主版本):thinkingmachines/Inkling-2-Small
- Hugging Face 模型頁面(MXFP8 版本):thinkingmachines/Inkling-2-Small-MXFP8
- Thinking Machines 官方 X 開源公告:@thinkymachines 貼文
- 官方發布部落格:Introducing Inkling 2 Small
- 官方模型卡(Model Card):Inkling 2 Small Model Card
- 4-bit 訓練技術文章:End-to-End 4-Bit Training
- Tinker 更新日誌:Tinker Documentation Changelog
- vLLM 部署指南:vLLM Recipes - Inkling-2-Small
- Ollama 模型頁面:ollama.com/library/inkling-2-small
- Unsloth GGUF 量化版本:unsloth/Inkling-2-Small-GGUF
- Snowflake Cortex Training 公告:Inkling 2 Small Now Available in Snowflake Cortex Training
- TokenSpeed Day-0 部署實測:TML Inkling 2 Small at Day 0
- 第三方評測與 API:Artificial Analysis | OpenRouter | Cloudflare Workers AI