開源多模態決策模型 Decision 3.0：架構規格、推論延遲與應用場景解析
vLLM Semantic Router 團隊推出開源多模態決策模型家族 Decision 3.0，涵蓋 0.6B 至 27B 共六種參數規格。本文整理其以機率分佈為核心的分類架構、對文字、圖片與影片的判讀能力，以及在基準測試和推論延遲上的官方實測數據。
在現行的大型語言模型應用架構中，許多系統環節並不需要模型產出長篇文字，而是需要快速、精準的分類與路由判斷。例如在多模型協作系統中，系統必須先判斷使用者的提問屬於程式碼、數學推導還是日常對話，再將請求派發至合適的後端模型。過去這類工作常仰賴生成式模型輸出特定標籤，或是使用小型特製分類器。然而生成式模型延遲較高，小型分類器又往往缺乏足夠的上下文理解與跨模態能力。
為了解決這類決策需求，vLLM Semantic Router 開發團隊在 Hugging Face 上的 Decision 3.0 系列集合頁面 開源了 Decision 3.0（代號 d3）模型家族，並在 Reddit 的 LocalLLaMA 社群討論串 公布相關架構與評測成果。該系列以 Apache-2.0 授權釋出，主打無文字生成的單次前向傳遞決策機制，並將多模態輸入延伸至圖片與影片。
Decision 3.0 的核心運作機制：放棄文字生成，直接回傳結構化機率
傳統生成式模型在處理分類問題時，通常需要透過自回歸解碼迴圈逐步生成 Token，再由應用端解析字串。這個過程不僅消耗運算資源，還可能因為格式解析失敗或幻覺而增加系統的不穩定性。
Decision 3.0 採取不同的設計取向。模型不包含文字解碼迴圈，而是專門負責計算特定選項的機率分佈。當應用端輸入一段狀態（可為純文字或 JSON，並可附帶圖片與影片）以及一組具名問題時，模型會直接回傳每種選項的數值機率。
開發團隊在架構中定義了三種核心問題類型：
- Choice（選項分類）：從給定的多個類別中挑選最符合的項目，模型會列出每個類別的獨立機率。
- Yes/No 或 Noul（二元判定）：針對特定條件進行肯定或否定的判斷，例如檢查輸入是否需要多步驟推理。
- Score（尺度評分）：在連續或離散的數值區間內給出評估分數。
值得注意的是，Decision 3.0 支援在單次呼叫中同時解答多個問題。模型會針對同一個輸入狀態，為每個問題執行各自的前向傳遞，並集中回傳所有問題的機率分佈。這項特性讓開發者能在單一 API 呼叫內完成多維度的內容檢驗，降低網路往返延遲。
從 0.6B 到 27B：Decision 3.0 的模型家族與基底架構
Decision 3.0 家族依據不同算力環境與延遲要求，共推出了六個尺寸規格。所有模型均以 Qwen 系列作為骨幹網路進行構建，參數總量已將視覺編碼器計入：
- d3（26.09B）：以 Qwen3.8-27B 為基礎，內含 0.46B 視覺編碼器，屬於該家族體積最大且準確度最高的旗艦版本。
- d3-flash（8.39B）：以 Qwen3.5-9B 為基礎，配置 0.46B 視覺編碼器。官方評測指出其綜合表現超越前一代 27B 規格的 Decision 2.0。
- d3-mini（4.54B）：以 Qwen3.5-4B 為基礎，內含 0.33B 視覺編碼器，適合中階顯卡配置。
- d3-nano（2.21B）：以 Qwen3.5-2B 為基礎，內含 0.33B 視覺編碼器，可在 8 GB 記憶體的環境順暢執行。
- d3-lite（0.85B）：以 Qwen3.5-0.8B 為基礎，配置 0.10B 視覺編碼器。
- d3-edge（0.59B）：同樣以 Qwen3.5-0.8B 為基礎進行精簡，配置 0.10B 視覺編碼器，專為邊緣運算裝置設計。
全系列權重均以 BF16 格式釋出，開發者可透過 Transformers 套件直接載入（需設定 trust_remote_code=True），亦可搭配 vLLM Semantic Router 的 Engine 模式以 System One API 形式本機啟動。
影像與短影片的多模態判讀能力
除了文字與 JSON 之外，Decision 3.0 全系列（除 edge 邊緣版本主要專注極致輕量化外）均內建多模態能力，支援將靜態圖片與動態短影片直接作為決策判斷的輸入依據。
在圖片支援部分，單次請求可輸入多張圖片，支援格式涵蓋 PNG、JPEG 與 WebP。影像解析度上限最高為 1.6 MP（百萬像素）。當輸入包含圖片時，請求中的所有問題都會同步共享該視覺資訊。
影片處理方面，模型支援 MP4、WebM、MOV 與 MKV 等常見格式。其運作方式是以每秒 2 幀（2 fps）進行取樣，整段影片上限為 32 幀，每幀最高取樣解析度為 0.2 MP。根據開發團隊說明，該模型在預訓練階段並未接觸過影片資料集，影片理解屬於 Zero-shot 泛化能力。在包含 19,140 道題目的 Perception Test 影片多選問答驗證集上，27B 的 d3 模型獲得 77.4 分，4B 的 d3-mini 獲得 70.3 分，2B 的 d3-nano 則獲得 63.5 分。
基準測試成績與推論延遲數據
在決策模型的標準評測中，Decision 3.0 主要以 Jev Decision Index 作為參考指標。根據開發團隊發布的測試數據，27B 的 d3 模型在 Jev Decision Index 0.3 公開測試集（共計 140,178 筆請求）中獲得 65.45 分，在文字指標取得 64.7 分，視覺指標取得 71.6 分。這項成績較前一代 Decision 2.0 的 27B 模型（56.97 分）提升了 8.5 分。
除了最高規格的模型之外，輕量級版本的相對表現亦受到關注。數據顯示 9B 的 d3-flash 在各項綜合測試中的表現已經超越前一代的 27B 模型。
在推論效率方面，官方以單張 AMD Instinct MI325X 加速卡進行了單請求的中位數延遲量測：
- 27B（d3）：純文字請求中位數延遲約為 55 ms，附加單張圖片為 273 ms，附加 10 秒影片為 553 ms。
- 9B（d3-flash）：純文字請求中位數延遲約為 19.1 ms，圖片請求為 149.4 ms，10 秒影片請求為 407.6 ms。
- 2B（d3-nano）：純文字請求中位數延遲約為 12.9 ms，圖片請求為 73.8 ms，10 秒影片請求為 344.9 ms。
這些數據顯示出多模態編碼運算帶來的延遲成本。純文字判讀能在十幾至數十毫秒內完成，但加入高解析度圖片或數十幀影片後，視覺特徵提取的時間佔比會顯著提高。
實際應用情境與架構限制
Decision 3.0 的設計目標是成為大型 AI 系統中的第一道把關模組，常見的整合場景包含：
第一是動態語意路由。當使用者發出請求時，系統可以先透過 2B 或 9B 的決策模型在 20 ms 內判斷任務屬性，將數學題目派送至專精推理的模型，將簡單提問派送至小型模型，節省大型模型呼叫成本。
第二是安全防護與即時審查。傳統長文審查需要等待完整生成，而決策模型可以在輸入端或多模態輸入進入前，快速計算該請求違反安全準則的機率。
第三是多模態內容快篩。對於大量圖文或短影音內容，系統能以結構化問答一次檢查多項條件，例如圖像中是否包含特定物件、色彩品質評分等。
然而使用者在評估採用時也需考量其架構限制。由於 Decision 3.0 完全關閉了文字生成機制，它無法用於提供解釋、生成摘要或進行開放式問答。如果業務邏輯需要模型說明為什麼做出該項選擇，系統仍需額外串接具備生成能力的 LLM。此外，影片解析受到每段最多 32 幀與每秒 2 幀的硬性限制，對於長時間錄像或需要極高時間連續性的動作分析，取樣粒度可能不足。
常見問題
Decision 3.0 與一般輕量級 LLM 有何不同？
一般小型 LLM（例如 2B 或 4B 的 Instruct 模型）本質上仍依賴自回歸解碼輸出字元，需要依靠 Prompt 約束才能輸出 JSON 或單一字詞，容易產生格式解析錯誤與不可控延遲。Decision 3.0 直接對預設類別進行機率預測，輸出為嚴格的數值機率分佈，且單次前向傳遞即可完成評估。
本地部署 Decision 3.0 需要什麼硬體條件？
模型提供了多種參數級別。0.6B 與 0.8B 等輕量版本可在邊緣裝置或一般 CPU 上運行。2B 與 4B 版本可在具備 8 GB 至 12 GB 顯示記憶體的消費級 GPU 或 Apple Silicon 設備執行。旗艦級 27B 模型在 BF16 精度下則需要約 60 GB 以上的顯示記憶體，或使用量化版本執行。
可以在標準 vLLM 環境中使用 Decision 3.0 嗎？
目前 Decision 3.0 整合於 vLLM Semantic Router 的 Engine 模式開發分支中，支援自動偵測 CPU、CUDA 與 ROCm 後端。若使用原生 Transformers，只要設定 trust_remote_code=True 即可載入模型與權重。
結語
Decision 3.0 的釋出展示了開源社群在非生成式任務上的探索路徑。透過將 Qwen 基底模型轉換為專門計算多模態機率分佈的決策模型，開發團隊在保持較低運算延遲的同時，為語意路由、內容分類與多模態過濾提供了標準化的模型選擇。隨著相關權重與推論工具陸續釋出，這類特化決策模型在現代複合式 AI 系統中的實際效用也將接受更多實務架構的檢驗。