跳至主要內容

工具與應用

Thinking Machines Lab 正式開源「Inkling 2 Small」:594B 參數多模態 MoE 模型採 Apache 2.0 授權釋出

Thinking Machines Lab 以 Apache 2.0 授權開源 594B 總參數、17B 啟動的稀疏 MoE 模型 Inkling 2 Small,全程採原生 NVFP4 4-bit 訓練,支援 1M 上下文與圖文多模態。

Thinking Machines Lab 正式開源「Inkling 2 Small」:594B 參數多模態 MoE 模型採 Apache 2.0 授權釋出

Thinking Machines Lab 於 2026 年 11 月 13 日(台灣時間凌晨 4:50)透過 官方 X 貼文 正式宣布,旗下第二代主力模型 Inkling 2 Small 的完整權重已上架至 Hugging Face,並採用寬鬆的 Apache 2.0 開源授權條款釋出,開放開發者與企業自由下載、部署與微調。

在此之前,Thinking Machines Lab 已於 11 月 5 日透過 官方發布公告 率先在自家 Tinker 平台與 Tinker Playground 上線測試,並依循其安全開源流程完成外部安全測試與紅隊演練(red-teaming)後,如期履行開源承諾。


核心架構與技術亮點:594B 總參數、17B 啟動與原生 NVFP4 訓練

雖然名稱帶有「Small」,但 Inkling 2 Small 在架構設計上是一款專為長程代理人任務(long-horizon agentic work)打造的超大型稀疏混合專家模型(Sparse MoE)(社群在 X 貼文下方也打趣「我們對 Small 的定義似乎不太一樣」)。根據 Hugging Face 模型卡 與 vLLM 官方部署文件,其關鍵規格如下:

規格項目詳細參數說明
模型架構48 層 Decoder-only Transformer(Sparse MoE)
參數量總參數 594B,每次前向傳播啟動 17B(384 個專家路由選 8,無共享專家)
注意力機制5:1 混合局部滑動視窗(40 層)與全域注意力(8 層),導入 Block Attention Residuals 與相對偏置注意力
多模態能力原生支援 文字(UTF-8)與影像輸入(23 層 ViT 編碼器,建議影像邊長 40px–4096px),輸出純文字;不支援音訊
上下文視窗最高支援 1M(100 萬)Tokens
訓練與量化精度全程採用原生 4-bit(NVFP4)前向傳播訓練;同步提供 MXFP8 版本
推測解碼權重內建 DSpark 推測解碼頭(每步最高 7 tokens)
開源授權Apache 2.0

值得一提的是,Thinking Machines Lab 在 End-to-End 4-Bit Training 技術文章 中指出,Inkling 2 Small 是目前已知規模最大、全程以原生 4-bit(NVFP4)前向傳播完成預訓練、中期訓練與後訓練的模型。此外,模型支援可變推理強度(variable effort),預設會啟用推理鏈(CoT),開發者亦可依需求關閉以換取更低延遲與推論成本。


硬體需求與版本選擇建議

官方在 模型卡 中明確建議所有應用場景優先選用 NVFP4 檢查點。雖然同時釋出了 Inkling-2-Small-MXFP8,但兩者在評測表現上僅有 1–2 個百分點的極微幅差距,實務上不具顯著差異。

  • NVFP4 主力版本:需至少 500GB 總和 VRAM 的 GPU 叢集(例如 2× NVIDIA B300 或 4× NVIDIA H200)。
  • MXFP8 替代版本:需至少 800GB 總和 VRAM 的 GPU 叢集(例如 4× NVIDIA B300 或 8× NVIDIA H200)。
部署版本 GPU 記憶體需求(總和 VRAM)原生 4-bit NVFP4 主力版本需 500 GB 總和 VRAM,MXFP8 版本則需 800 GB
最低總和 VRAM 需求(越低越省資源)
NVFP4 主力版本500GB MXFP8 替代版本800GB
兩者在評測表現上僅有 1–2 個百分點差距,官方建議優先選用 NVFP4。
資料來源:Hugging Face 模型卡

基準評測表現:視覺感知、知識工作與金融分析表現突出

根據 Hugging Face 模型卡 公布的評估資料與 Artificial Analysis 評測頁面,Inkling 2 Small 在 AA Index (v5.0) 取得 30.6(官方部落格四捨五入為 31),較前代 Inkling 模型大幅躍升,並在 Vals Index (v2.2) 獲得 56.1%。

在與同級開源「Flash」模型(如 DeepSeek-V4.1-Flash-1017、GLM-5.3-Flash、MiMo V2.6 Flash、MiniMax-M3.1-Flash)的對比中,Inkling 2 Small 展現出鮮明的強項分布:

Inkling 2 Small 多模態與代理人基準表現在文件解析、ARC-AGI-1 推理與搜尋代理人任務表現突出
基準測試分數(0–100%)
ARC-AGI-196.5% OmniDocBench v1.694.6% DeepSearchQA90.9% BrowseComp90.2% SWEBench Pro v2 (Hard)86.3% MCP Atlas (Full)85.4%
資料來源:Hugging Face 模型卡

1. 搜尋、工具呼叫與企業知識工作

  • BrowseComp(搭配 compaction):90.2%
  • DeepSearchQA(搭配 compaction):90.9%
  • MCP Atlas:85.4%(Full)/ 85.0%(Public)
  • EnterpriseBench-CoreCraft:71.8%(領先同級開源模型)
  • JobBench:70.5%
  • AA-Briefcase v1.1:ELO 1527

2. 金融與量化分析

  • Excel Modeling Benchmark v1.1:69.5%
  • Finance Agent v2.1:67.5%
  • Diligence Bench:58.1%
  • AA-AnalystAgent:51.2%

3. 視覺感知與高難度推理

  • OmniDocBench v1.6:94.6%
  • ScreenSpot Pro:83.8%(搭配 Python 達 92.0%)
  • MMMU Pro:81.6%
  • ARC-AGI-1 / ARC-AGI-2:96.5% / 81.7%
  • HLE-Diamond:28.7%

4. 程式開發與事實性

  • SWEBench Pro v2 (Hard):86.3%
  • Vibe Code Bench v1.1:81.6%
  • DeepSWE v1.1:72.1%
  • AA-Omniscience v1.1 無幻覺率:73.3%(顯著降低幻覺產生)

整體而言,Inkling 2 Small 在多模態視覺理解、文件解析、金融試算與工具呼叫上具備領先優勢;而在部分純程式基準測試(例如 DeepSWE v1.1 的 72.1% 對比 DeepSeek-V4.1-Flash 的 77.0%)則略遜於部分專精程式的開源對手。此外,官方也坦承該模型不支援音訊、輸出有時偏冗長,且在純日常閒聊的潤飾度上較弱,更適合部署於嚴肅的代理人與工作流場景。


生態系 Day-0 支援:推論、微調與雲端 API

隨著 Apache 2.0 權重釋出,各大開源推論框架與雲端平台已同步提供 Day-0 支援:


相關連結

謝謝你,讀到這裡。

保持好奇,明天繼續探索。

© 2026 Communeify. All rights reserved.