Nanbeige4.2-3B：適合本地端部署的 3B 輕量級 AI 代理模型

Nanbeige4.2-3B：適合本地端部署的 3B 輕量級 AI 代理模型

要在筆記型電腦這種資源受限的設備上跑 AI 代理（Agent），過去往往得在模型大小與實際執行能力之間做妥協。最近以 Apache-2.0 授權開源的 Nanbeige4.2-3B，給出了一個蠻有意思的解法：非嵌入參數只有 3B，卻能在本地端把推理與工作流處理得有模有樣。

架構設計：重複利用 Transformer 層

Nanbeige4.2-3B 能控制體積的主因，在於它採用了「迴圈 Transformer（Looped Transformer）」架構。簡單來說，它透過重複調用相同的 Transformer 層來提升模型容量，而不是盲目疊加參數。

另外，配套的 modeling_nanbeige.py 中也放進了幾項結構優化，包括 LoopSplit、帶有深度注意力的 mHC，以及拼接 n-gram 嵌入。這些設計目前已經預先整合進去，主要是在為預計今年發布的 Nanbeige4.5 做準備。

基準測試表現

單看參數量，3B 在當前環境下算相當小，但它的實際數據有點出乎意料。在工具調用、辦公代理（Office Agent）和程式碼代理等綜合測試中，Nanbeige4.2-3B 的分數勝過了規模更大的 Qwen3.5-9B 與 Gemma4-12B。而在數學與科學推理等項目上，它也延續了前代（4.1）的表現，維持在同尺寸模型的前段班。

** 圖片來源: https://huggingface.co/Nanbeige/Nanbeige4.2-3B**

這大概得歸功於它的訓練流程。團隊在監督式微調（SFT）時混入了真實環境數據與大量合成情境，並在軌跡和單輪對話雙重驗證資料品質。到了強化學習（RL）階段，則同時採用結果獎勵與過程獎勵，讓小模型的訓練過程更穩定。

本地部署與個人助理應用

因為尺寸夠小，這款模型很適合直接部署在個人電腦上。如果搭配像 OpenClaw 這類針對個人工作流設計的 Agent 框架，拿來處理日常雜務、文件整理或多步驟的研究檢索，反應速度相當乾淨俐落。

部署門檻也不高。不論是用 vLLM、SGLang、llama.cpp 還是 Ollama，基本上都能順利跑起來，不需要額外準備昂貴的高規伺服器。

對話模板與參數設置

模型的分詞器提供了針對推理與工具調用的對話模板，主要由幾個關鍵參數控制：

• enable_thinking：控制是否生成思考過程，預設為開啟（True）。如果不希望模型輸出思考步驟，改為 False 即可。
• preserve_thinking：決定多輪對話中是否保留上一輪的思考內容。一般聊天答詢建議設為 False，但若是需要多步驟工具呼叫或寫程式的連續任務，設為 True 能維持較好的連貫性。
• tools 與 tool_call_format：支援工具調用，官方建議格式設為 xml 以取得最佳表現，但也支援 json。

在實際推理參數上，官方建議 Agent 及工具調用情境可將 Temperature 設為 1.0；若是一般的推理與聊天，調至 0.6 即可。

問與答 (Q&A)

Q1: Nanbeige4.2-3B 為什麼能在參數量只有 3B 的情況下，展現出越級的效能？ A1: 它的核心秘密在於創新的**「迴圈 Transformer（Looped Transformer）」架構**。這項設計打破了傳統盲目疊加參數的作法，而是透過重複調用相同的 Transformer 神經網路層，在不增加額外參數負擔的情況下，大幅擴充了模型的思考深度與運算容量。此外，極度嚴謹的訓練流程（如 SFT 階段混入大量真實環境與合成情境，以及 RL 階段結合結果與過程獎勵）也確保了其訓練的穩定性與高品質推理能力。

Q2: 這款模型適合應用在什麼場景？部署的硬體門檻高嗎？ A2: Nanbeige4.2-3B 簡直是**「本地端個人 AI 助理」**的完美首選。因為尺寸極其輕巧，部署門檻非常低，一般的筆記型電腦不需要額外添購昂貴的高階伺服器，只要透過主流的部署工具（如 vLLM、SGLang、llama.cpp 或是 Ollama）就能順暢運行。如果再搭配像是 OpenClaw 這類針對個人工作流設計的 Agent 框架，它能極為俐落、快速地幫您處理日常雜務、文件整理甚至是多步驟的研究檢索。

Q3: 在實際使用與部署時，有哪些關鍵的對話模板與參數設定技巧？ A3: 為了讓模型在「一般聊天」與「代理任務」中都能發揮最佳表現，官方分詞器提供了幾個極具彈性的設定參數：

• enable_thinking（思考模式）： 預設為開啟（True），讓模型生成思考過程；若不需要可改為 False。
• preserve_thinking（保留思考）： 決定是否在多輪對話中保留上一輪的思考內容。一般問答建議關閉（False）；若是執行多步驟工具呼叫或程式設計任務，建議開啟（True）以維持上下文的連貫性。
• tool_call_format（工具呼叫格式）： 官方強烈建議設為 xml 以取得最佳表現。
• 推理溫度 (Temperature)： 建議在執行 Agent 及工具調用任務時設為 1.0；若是一般邏輯推理與聊天，調降至 0.6 即可。