NVIDIA Nemotron 3.5 Bolt 深度解析與本地部署全指南：從 4GB 輕量級 E4B 到 74B 多模態混合推理模型

隨著邊緣運算與本地端 AI 代理（Local AI Agents）需求快速攀升，開發者越來越需要在有限的硬體資源（如消費級 RTX 顯示卡、筆記型電腦或嵌入式 Jetson 設備）上，運行具備低延遲、高指令遵循能力與多輪工具呼叫（Multi-turn Tool Calling）的模型。NVIDIA 推出的 Nemotron 3.5 Bolt 系列（包含極致輕量的 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 與高效能多模態模型 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB），正是為了在「每 GB 記憶體智慧密度（Intelligence per GB）」與「首 Token 延遲（TTFT）」之間取得最佳平衡而打造。

本篇文章結合 Hugging Face 官方模型卡、NVIDIA Nemotron 研究部落格 以及 Unsloth 本地運行指南，全面解析 Nemotron 3.5 Bolt 的架構設計、訓練方法、基準測試表現、真實硬體記憶體需求，以及透過 Unsloth、llama.cpp、vLLM 與 Ollama 進行本地部署的完整實戰流程。

一、Nemotron 3.5 Bolt 系列核心定位與雙模型總覽

在 Unsloth 本地運行指南 與 NVIDIA 官方發佈中，Nemotron 3.5 Bolt 系列主要針對本地端代理與即時互動場景提供兩個不同量級的開源模型：

1. NVIDIA-Nemotron-3.5-Bolt-E4B-4GB（輕量語音與邊緣代理首選）：基於 Google 的 Gemma-4-E4B-it 架構進一步後訓練（Post-trained）的小型語言模型（SLM）。總參數為 8B，每次推論僅激活 4B 有效參數（Effective 4B，即 E4B 的命名由來）。專為本地語音助手、互動式遊戲角色（NPC）與嵌入式/機器人介面設計，在 Q4_K_M 量化下僅需約 4GB VRAM 即可流暢運行。

2. NVIDIA-Nemotron-3.5-Bolt-74B-A9B（24GB 級別多模態全能代理）：由 120B 參數的母模型 Nemotron 3.5 Super VL 經模型壓縮與強化訓練而來的混合專家模型（MoE），結合 Mamba-2/Transformer 骨幹與 C-RADIO 視覺編碼器。具備 74B 總參數與 9B 激活參數（A9B），支援文字、圖片與影片輸入、工具呼叫以及高達 128K 的上下文視窗。透過原生 2-bit 量化感知蒸餾（IQ2_XXS），可壓縮至 24GB 記憶體環境中與其他應用程式並行運作。

二、深入剖析 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 技術亮點

根據 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 官方模型卡 與 NVIDIA Nemotron 技術報告，開發團隊在將模型部署於即時互動場景時，發現傳統大型語言模型常受限於記憶體佔用、首字延遲與硬體成本，而一般針對程式碼優化的小模型又往往缺乏自然對話與多輪狀態追蹤能力。為此，Bolt E4B 針對以下五大核心特性進行了深度強化：

1. 多輪工具呼叫與非同步執行（Multi-Turn & Asynchronous Tool Use）

• 多輪 API 互動：模型能在多輪自然對話中自主判斷何時需要呼叫外部工具、何時向使用者追問釐清，或何時直接回答。

• 非同步工具呼叫（Asynchronous Tool Calling）：針對耗時較長的背景任務，Bolt E4B 支援在發出 tool_calls 後，立即接收一筆狀態為 "pending" 的 tool 回應訊息，讓模型能先繼續與使用者自然交談；待背景任務完成後，再透過帶有 TOOL UPDATE: 前綴的使用者訊息注入最終結果。

2. 專屬對話模式（Conversational Mode）

• 語音就緒（Speech-Ready）輸出：透過在 Chat Template 中設定 conversational_mode=True，模型會自動減少繁複的 Markdown 排版符號並給出簡潔扼要的回覆，非常適合串接語音辨識（STT）與語音合成（TTS）管線，打造低延遲的本地語音助手或車載語音系統。

• 靈活混搭：對話模式可與「推理開啟/關閉」以及「工具呼叫」功能自由組合使用。

3. 可配置推理與執行期思考預算（Configurable Reasoning & Runtime Thinking Budget）

• 動態切換思考模式：開發者可透過 enable_thinking=True（預設開啟）處理複雜邏輯與多步工具規劃，或設定 enable_thinking=False 直接輸出答案以換取最低延遲。

• 思考 Token 預算上限：在 llama-server 中支援透過 --reasoning-budget 參數限制內部思考鏈（Reasoning Trace）的最大 Token 數量，確保在嚴格的延遲上限內完成推論並保留足夠的 Token 預算給最終答案。

4. GRPO 強化學習與精準長度控制（Training & Quantization Methodology）

• 多環境強化學習：NVIDIA 使用 NeMo-RL 與 NeMo-Gym 框架，透過群體相對策略優化（GRPO，結合可驗證獎勵 RLVR 與人類回饋 RLHF），在指令遵循、多步工具呼叫、多輪對話與結構化輸出等多個環境中進行非同步強化學習。

• 2:1 混合訓練與減冗長懲罰：為兼顧非推理模式的準確度，訓練批次維持 2:1 的非推理與推理樣本比例；同時在 GenRM 環境中提高群體相對長度懲罰（Length Penalties），使 Bolt E4B 的輸出 Token 數量比同級模型減少高達 80%，大幅降低解碼耗時。

• 重要性矩陣校準量化（imatrix Calibration）：後訓練完成後，官方從同一訓練步數抽取約 100 萬個 RL Rollout Tokens 作為校準集，利用 llama.cpp 的重要性矩陣（imatrix）將 BF16 全精度權重 量化為 Q4_K_M GGUF 格式，在壓低記憶體佔用的同時完整保留模型精度。

5. DFlash 平行推測解碼（Parallel Speculative Decoding）

• 官方同步釋出伴隨草稿模型 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash。DFlash 可在單次前向傳播中平行提出多個候選草稿 Token，交由主模型平行驗證，在不改變主模型輸出分佈的前提下，相比 Gemma-4-E4B 原生的 MTP 草稿模型提升最高達 21% 的生成吞吐量。

三、基準測試與真實硬體效能表現

根據 NVIDIA 官方基準測試報告 與 Hugging Face 模型卡資料，Nemotron 3.5 Bolt E4B 相比前代 Nemotron-3 Nano-4B 在對話代理相關基準上提升了約 40% 的平均品質，並領先同量級對手約 10%。

1. 同量級 4B 模型量化後（Q4_K_M）關鍵基準對比

以下整理自 Hugging Face 模型卡 在 NeMo Gym 統一測試框架下的 Q4_K_M 量化版本實測分數：

從上表可見，Nemotron-3.5-Bolt-E4B-4GB 在指令層級優先級（IHEval 82.40 vs. Gemma 4 的 66.61）、精確指令遵循（IFBench 從 Gemma 4 的 42.67 躍升至 64.00）、**角色扮演一致性（RoleBench 71.21）以及工具與檢索事實接地性（RelyToolBench 69.29、RAGTruth 77.88）**上展現出顯著優勢；而若應用場景偏重超長上下文檢索（如 RULER 64K），則可搭配比較 Qwen3.5-4B。

2. 真實硬體推論速度與 VRAM 消耗（RTX 與 Jetson 實測）

為什麼模型名稱叫「4GB」，但 Unsloth 指南 中顯示 Q4_K_M GGUF 檔案下載大小為 6.18 GB？Unsloth 官方文件 特別說明：「4GB」指的是執行時的顯示卡記憶體（VRAM）佔用約為 4 GB，而非系統總 RAM 或硬碟下載檔案大小（部分嵌入層或未卸載權重會由系統 RAM 分擔）。

以下為 NVIDIA 研究報告 在 Batch Size = 1、使用 llama.cpp (CUDA) 測試 Q4_K_M 模型的真實硬體表現：

這意味著即使在僅有 8GB 記憶體的邊緣開發板（如 Jetson Orin Nano 8GB）上，Bolt E4B 依然能留出超過 3GB 的記憶體空間給視覺模型（如 NVIDIA 展示在 Reachy Mini 機器人上同時運行 Cosmos 3 Edge 視覺模型與 Bolt E4B 語音/工具控制）或語音辨識管線。

四、實戰教學：如何使用 Unsloth 與主流工具在本地端部署

根據 Unsloth 本地運行指南 與 Hugging Face 部署指南，你可以依照自己的硬體環境與使用習慣，選擇以下任一方式快速啟動模型。

方式一：使用 Unsloth Desktop 與 Unsloth CLI（最簡單跨平台方案）

Unsloth 支援在 macOS、Windows 與 Linux 上直接透過圖形介面或命令列運行 Bolt-E4B-4GB 與 Bolt-74B-A9B，並會自動配置最佳推論與採樣參數（E4B 官方建議 temperature=1.0、top_p=0.95）：

1. 安裝 Unsloth：

   # macOS / Linux / WSL 一鍵安裝腳本
   curl -fsSL https://unsloth.ai/install.sh | sh
   
   # 或透過 Homebrew 安裝 Unsloth Desktop (macOS)
   brew install --cask unsloth
   
   # Windows PowerShell 安裝
   irm https://unsloth.ai/install.ps1 | iex
   # 或使用 Winget 安裝桌面版
   winget install --id UnslothAI.Unsloth -e
   

2. 透過 Unsloth Desktop 圖形介面運行：打開 Unsloth Chat 或 Model Hub，搜尋 Nemotron 3.5 Bolt，選擇所需的模型版本（如 E4B Q4_K_M 或 74B-A9B IQ2_XXS）下載即可開始對話；若使用 74B-A9B，還可直接附加 PNG/JPEG 圖片進行視覺問答。

3. 使用 unsloth run 啟動本地 API 伺服器：

   unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS \
     --ctx-size 4096 --parallel 1 --alias nemotron-bolt \
     --host 127.0.0.1 --port 8001
   

方式二：使用 llama.cpp 與 Docker 部署 Bolt-E4B（含 DFlash 推測解碼加速）

若想在本地或伺服器上發揮 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 的最高效能，可直接使用 llama.cpp CLI 或官方推薦的 CUDA Docker 容器：

1. 最速 CLI 啟動（自動從 Hugging Face 拉取）：

   # 啟動內建 Web UI 的 OpenAI 相容伺服器
   llama serve -hf nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB:Q4_K_M
   
   # 或直接在終端機進行對話
   llama cli -hf nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB:Q4_K_M
   

2. 進階部署：下載主模型與 DFlash Drafter 並透過 Docker 啟動：

   export MODEL_REPO=nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB
   export MODEL_FILE=Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf
   export DRAFTER_REPO=nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash
   export DRAFTER_FILE=Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf
   export MODEL_DIR="$PWD/bolt-models"
   
   hf download "$MODEL_REPO" "$MODEL_FILE" --local-dir "$MODEL_DIR"
   hf download "$DRAFTER_REPO" "$DRAFTER_FILE" --local-dir "$MODEL_DIR"
   
   # 啟用 DFlash 推測解碼與 64K 上下文啟動 llama.cpp 伺服器
   docker run --rm --gpus all \
     -p 8000:8000 \
     -v "$MODEL_DIR:/models:ro" \
     ghcr.io/ggml-org/llama.cpp:server-cuda13-b11459 \
     -m "/models/$MODEL_FILE" \
     --spec-draft-model "/models/$DRAFTER_FILE" \
     --spec-type draft-dflash \
     --spec-draft-n-max 7 \
     --spec-draft-ngl 999 \
     --alias nemotron-bolt \
     --host 0.0.0.0 \
     --port 8000 \
     -c 65536 \
     -ngl 999 \
     --jinja
   

   若需限制推理 Token 預算以確保低延遲，可在啟動參數中加入 --reasoning on --reasoning-budget 300。

方式三：使用 llama.cpp 運行 74B-A9B 多模態（文字、圖片與影片）推論

根據 Unsloth 本地運行指南，若要使用 unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 處理圖片與影片（需先安裝 ffmpeg 與 ffprobe）：

# 1. 下載 74B-A9B IQ2_XXS 權重與視覺投影器 (mmproj)
hf download unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF \
  --local-dir models/nemotron-bolt \
  --include "*IQ2_XXS*.gguf" "*mmproj*.gguf"

MODEL_FILE="models/nemotron-bolt/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-IQ2_XXS.gguf"
MMPROJ_FILE="models/nemotron-bolt/mmproj-BF16.gguf"

# 2. 執行圖片理解與文字擷取
./llama.cpp/llama-mtmd-cli \
  --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \
  --ctx-size 4096 \
  --image /path/to/picture.jpg \
  --prompt "Describe this image and extract any visible text."

若要分析影片（支援最長 2 分鐘的 MP4 影片，1080p 最高 1 FPS / 128 幀，或 720p 最高 2 FPS / 256 幀），可在啟動 llama-mtmd-cli 互動模式後輸入：

/video /path/to/video.mp4
Summarize the video and describe the key events.

方式四：使用 Ollama、vLLM 或 SGLang 快速啟動

• Ollama 一行指令啟動：

  ollama run hf.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB:Q4_K_M
  

• vLLM 部署（含自動工具呼叫與 Gemma 4 推理解析器）：

  vllm serve "nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB" \
    --enable-auto-tool-choice \
    --tool-call-parser gemma4 \
    --reasoning-parser gemma4
  

五、OpenAI 相容 API 進階調用範例（推理控制、對話模式與工具呼叫）

當本地伺服器啟動於 http://localhost:8000/v1 後，可透過標準 OpenAI Python SDK 靈活控制 enable_thinking 與 conversational_mode：

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
MODEL = "nemotron-bolt"

# 1. 啟用對話模式 (Conversational Mode) 並關閉深度思考，適合低延遲語音互動
response = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "請用一句話介紹台灣新竹的特色。"}],
    max_tokens=16000,
    temperature=1.0,
    top_p=0.95,
    extra_body={
        "skip_special_tokens": False,
        "chat_template_kwargs": {
            "enable_thinking": False,
            "conversational_mode": True,
        },
    },
)
print(response.choices[0].message.content)

# 2. 結合開啟思考模式 (Reasoning On) 與函數工具呼叫 (Tool Calling)
tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "查詢指定城市的即時天氣資訊",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

tool_response = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "現在聖塔克拉拉的天氣如何？"}],
    tools=tools,
    max_tokens=16000,
    temperature=1.0,
    top_p=0.95,
    extra_body={
        "skip_special_tokens": False,
        "chat_template_kwargs": {"enable_thinking": True},
    },
)
print(tool_response.choices[0].message.tool_calls)

六、相關連結與官方資源總整理

為方便開發者深入查閱與下載模型權重，以下整理本文所涵蓋的核心官方頁面與工具資源：

• 核心文件與技術報告：

  • NVIDIA-Nemotron-3.5-Bolt-E4B-4GB Hugging Face 官方模型卡：包含完整 Q4_K_M 權重、基準測試表、非同步工具呼叫規範與部署指令。

  • Unsloth：NVIDIA Nemotron 3.5 Bolt 本地運行指南 (英文版) / Unsloth 本地運行指南 (中文版)：詳列 E4B 與 74B-A9B 的硬體記憶體需求、Unsloth Desktop 安裝與 llama.cpp 多模態影片/圖片推論教學。

  • NVIDIA Nemotron 3.5 Bolt E4B 4GB 官方研究部落格與技術報告：深入解析 GRPO 強化學習配方、RTX/Jetson 實測延遲資料與機器人/遊戲 NPC 應用案例。

  • NVIDIA 官方部落格：Nemotron 3.5 Super VL 與 Bolt 系列發表：介紹 Nemotron 3.5 家族整體定位。

• 模型權重與衍生版本下載：

  • nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash (Hugging Face)：專為 Bolt E4B GGUF 設計的 DFlash 平行推測解碼草稿模型。

  • nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16 (Hugging Face)：Bolt E4B 的 BF16 全精度權重版本，適合進一步微調與後訓練。

  • unsloth/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF (Hugging Face)：Unsloth 提供的 Bolt E4B GGUF 模型庫。

  • unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF (Hugging Face)：Unsloth 提供的 74B-A9B 多模態 GGUF 量化模型庫（含 IQ2_XXS 與視覺投影器 mmproj）。

  • nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB (Hugging Face)：NVIDIA 官方 74B-A9B 24GB 量化版本。

  • Ollama：nemotron-3.5-bolt 模型庫 與 Jetson AI Lab：Nemotron 3.5 Bolt E4B 4GB 專頁。