Thinking Machines Inkling 是什麼？975B 開源權重、多模態架構與技術解析

Thinking Machines Lab 推出 Inkling 模型：975B 開源權重與多模態技術解析

Thinking Machines Lab 終於拿出他們的第一個作品。由前 OpenAI CTO Mira Murati 領軍的這家新創，在 2026 年 7 月 15 日發表了從零訓練的多模態模型 Inkling。這次他們採用 Apache-2.0 授權，公開了 975B 參數的物理權重。在目前以商業閉源模型占據高階應用市場的情況下，公開如此大規模的模型權重，對研究社群與企業部署仍具有相當高的價值。

有趣的是，他們在 Thinking Machines 官方發布公告 中很坦白：Inkling 並不是目前市面上最強的模型。它的定位更像是一個高平衡性、方便進行微調與客製化的底座。

975B 參數與混合專家（MoE）設計

Inkling 有著 66 層的解碼器架構，總參數達到 975B。不過因為使用了混合專家（MoE）架構，每次推論實際只會激活其中 41B 參數，這讓運算成本不至於高得太離譜。

具體來說，它的路由機制會從 256 個專家模組中，挑選出 6 個最相關的專家，再搭配 2 個常駐的共用專家來處理任務。路由部分採用了基於 Sigmoid 的路由器和無輔助損失負載平衡偏置（auxiliary-loss-free load balancing bias），主要是為了解決 MoE 常見的專家負載不均問題。注意力機制部分，則是把局部注意力（local attention）與全域注意力以 5:1 的比例交替排列，配合相對位置嵌入來處理長文本。

採用無外部編碼器（encoder-free）的原生多模態架構

比起依賴外部編碼器的拼接式多模態，Inkling 採用了無外部編碼器（encoder-free）的原生多模態架構。它在 45 兆（45T）包含文字、圖像、音訊與影片的 Token 上進行預訓練。

在視覺處理上，它利用四層 hMLP 結構將圖像轉化為 40x40 像素的補丁（patch）編碼；音訊方面則用 dMel 頻譜圖技術，將 16kHz 的聲音訊號離散化為 Token。因為所有的輸入都在同一個潛在空間（latent space）中聯合處理，加上 100 萬（1M）Token 的超長上下文視窗，Inkling 在理解多模態上下文時表現得相當流暢。

電報式思考鏈與可控思考配額

官方技術報告指出，在超過 3000 萬次（30M rollouts）的強化學習（RL）訓練過程中，研究團隊發現了一個好玩的現象：Inkling 的思考鏈（CoT）會自我演化。一開始，它會用「We need to understand…」這類完整語法來整理思路；但隨著訓練進行，它自己去掉了不必要的冠詞與連接詞，縮寫成電報式的「We need determine」。這種做法不影響輸出結果，卻省下了不少 token。

圖片來源: https://thinkingmachines.ai/news/introducing-inkling/

圖片來源: https://thinkingmachines.ai/news/introducing-inkling/

搭配這個特性，Inkling 提供了一個「可控思考配額（controllable thinking effort）」的參數，範圍在 0.2 到 0.99 之間。開發者可以手動調節模型的「思考程度」來控制成本與精準度。例如根據官方展示的 Benchmark，在 Terminal Bench 2.1 測試中達到與 Nemotron 3 Ultra 相當的編碼表現時，Inkling 只花費了對方大約三分之一的 token 量。如果對這種思考鏈演化感興趣，可以看他們的 Inkling 模型卡。

圖片來源: https://thinkingmachines.ai/news/introducing-inkling/

硬體部署與 Tinker 微調平台

把一個 975B 的模型跑起來可不是件輕鬆的事。如果是完整的 BF16 格式，你需要大約 2TB 的顯存，基本上得動用 8 張 NVIDIA B300 或 16 張 H200。不過在 Blackwell 架構上，可以使用優化過的 NVFP4 格式，將顯存需求降到 600GB。

如果硬體資源有限，他們也提供了一個小一號的「Inkling-Small」預覽版。總參數 276B，每次只激活 12B 參數，運行門檻低很多，很適合邊緣部署或概念驗證（PoC）。另外，配合他們的 Tinker 客製化微調平台，開源版本提供了 64K 與 256K 兩種上下文長度。現在，開發者已經可以到 Hugging Face 平台上的 Inkling 頁面 下載這些權重，並搭配 tml-renderers 套件來執行推理。

認識論與安全防禦

安全防護上，Inkling 在認識論（epistemology）評估上表現不錯，簡單來說就是它知道自己的知識盲區。當被問到不確定的領域時，它傾向於給出保守、有保留的猜測，而不是自信滿滿地胡說八道。

另外，模型在防堵惡意請求的同時，也盡可能避免過度防禦。在 FORTRESS 安全評估中，它能準確拒絕武器或暴力等有害指令，但對那些「看似敏感其實無害」的灰色問題，誤判率相當低。而根據官方公布的模型卡資料，在 StrongREJECT 對於有害請求的攔截測試中，它的得分是 98.6%。

Inkling 也許不是最頂尖的跑分怪物，但憑著開源權重、原生多模態、以及電報式的思考效率，對希望自行部署、微調模型，或降低對閉源 API 依賴的開發者而言，是目前非常值得關注的新選擇。

問與答 (Q&A)

Q1：既然官方坦承 Inkling 不是目前市面上最強的跑分模型，那為什麼開發者還要選擇它？ A： 官方將 Inkling 定位為一個「廣泛且高度平衡的基礎模型 (broad, balanced foundation model)」，它刻意不為單一基準測試進行狹隘的最佳化。它的最大價值在於結合了「原生多模態能力」、「高效率的思考鏈」，以及對開發者友善的 Apache 2.0 開源授權。這讓它成為企業針對特定領域（如自動化代理、客服系統或程式碼輔助）進行客製化微調（Fine-tuning）的絕佳起點，而不用被困在閉源廠商的黑盒子裡。

Q2：975B 參數的體積非常龐大，一般企業有辦法負擔它的硬體部署成本嗎？ A： 如果使用完整的 BF16 權重，確實需要高達 2TB 的顯存（相當於 8 張 NVIDIA B300 或 16 張 H200 叢集）。但官方提供了極具彈性的替代方案：若是部署在最新的 Blackwell 架構上，可以使用 NVFP4 量化版本，將顯存需求大幅壓縮至 600GB。對於運算資源有限的團隊，也可以選擇即將釋出的「Inkling-Small」（276B 參數，僅 12B 激活），它在許多基準測試上都能達到接近旗艦版的效能，是邊緣部署與概念驗證（PoC）的高性價比選擇。

Q3：文章提到的「無外部編碼器 (encoder-free)」架構，在處理圖片和音訊時有什麼實際好處？ A： 過去的多模態模型通常需要外掛龐大的獨立視覺或語音編碼器來「翻譯」輸入內容。Inkling 的做法是將音訊（轉化為 dMel 頻譜圖）與圖片（轉化為 40x40 像素的 hMLP 補丁），透過輕量級嵌入層，直接與文字 Token 一起丟進同一個潛在空間由解碼器聯合處理。這種設計大幅降低了跨模態資訊傳遞的延遲，也成為官方未來打造「支援即時語音與視覺協作的互動模型」的核心基石。

Q4：官方強調的「認識論 (Epistemics)」在實際商業應用中有什麼幫助？ A： 「認識論」代表模型具備極佳的「自我認知與校準度 (calibration)」。Inkling 在訓練時加入了「棄權獎勵 (abstention-aware rewards)」，這讓它在面對缺乏資訊或不確定的問題時，會誠實地回答「我不知道」或給出保守的猜測，而不是為了迎合使用者而自信地給出錯誤資訊（幻覺）。這對於金融預測、科學研究或法律報表分析等「需要高度信任與嚴謹度」的企業級 RAG（檢索增強生成）應用來說，是非常關鍵的安全防線。