Cloudflare 推出多模態決策模型 Clef-omni：支援音訊與影像輸入，同步調降 Clef-flash 費用與提升推論速度
Cloudflare 發表支援音訊、影片、圖片與文字輸入的多模態決策模型 Clef-omni，以 Qwen3-Omni 為基礎架構，省略自由文字生成步驟，直接對指定題目計算選項機率。同時，官方宣布將託管版 Clef-flash 的輸入費用調降至每百萬 Token 0.038 美元，並透過 SGLang 伺服架構最佳化，使標準 Clef 模型的推論速度提升達 1.7 至 2 倍。
在自動化工作流程中，傳統決策管線往往需要串聯語音轉文字、影像辨識等多個專門模型，或是依賴大型語言模型輸出 JSON 格式。這類做法常面臨較高的運算延遲與輸出解析失敗風險。針對此類需求，Cloudflare 擴展了先前的開源決策模型系列，在 Cloudflare 官方部落格 正式推出具備跨模態理解能力的 Clef-omni，並針對現有模型提供更低的計費與更快的處理速度。
Clef-omni 架構解析：跳過文字生成的決策流程
多數多模態語言模型在處理分類或決策任務時，通常必須經過自回歸解碼產生文字標籤，再由程式進行正規表達式或 JSON 解析。Clef-omni 採取了不同的運作方式，將重心放在單次推論評分上。
以 Qwen3-Omni 為核心的混合專家基礎
根據官方技術說明，Clef-omni 採用開源模型 Qwen3-Omni-30B-A3B-Instruct 的混合專家（MoE）架構作為主幹。研發團隊保留了原模型的文字、影像與音訊編碼主幹，但捨棄了文字轉語音（TTS）相關元件。
由於模型定位為專用決策模型而非生成式語言模型，系統在接收多模態資料後，不進行檔案轉錄或圖片標註，而是直接執行預填（prefill）階段。音訊與影像資料會映射至同一序列中進行聯合處理，大幅降低預處理負擔。
雙階段注意力機制與聯合架構頭
Clef-omni 藉由微調低秩適應模組（LoRA），並結合標籤平滑交叉熵損失與布萊爾分數（Brier score）校準進行後訓練。
在推論機制上，模型採用兩階段注意力路由。每個題目選項會先從輸入的文字、畫面或音訊串流中擷取證據特徵，接著透過聯合架構頭（Joint schema head）讓各欄位向量跨全上下文進行注意力計算，直接輸出每個選項的對數機率（Logits）。
透過 Softmax 運算後，系統能直接回傳機率數值。這種設計配合內建的詞彙語法限制，確保輸出結果嚴格符合既定綱要，避免格式錯誤。
支援格式與題型規範
Clef-omni 相容於 Jev 與 SystemOne API 規範，且程式碼已透過 Apache-2.0 授權於 Hugging Face 模型庫 開源。
輸入資料支援以下類型：
- 文字與結構化資料：自然語言字串或 JSON 物件
- 靜態影像：支援 PNG、JPEG 等格式（本機環境需搭配 Pillow）
- 音訊檔案：支援 WAV 與 MP3，支援 16 kHz 單聲道取樣陣列
- 影片檔案：支援 MP4 與 WebM，預設以每秒 2 幀取樣，支援影音同步音軌（需搭配 av 函式庫）
在問題定義方面，模型提供三種判定型態：
- noul：二元判斷（True 或 False）
- choice：具備名稱與定義的多選一題型
- score：具備順序等級的評分題型
效能基準與延遲數據
在官方公布的測試中，Clef-omni 在多個分類與函式呼叫基準測試上維持穩定水準。
在 BFCL 基準測試中，Clef-omni 的完全比對準確率達到 98.2%，接近標準版 Clef 的 98.47% 與 Clef-flash 的 98.76%。在 API-Bank 測試中準確率為 92.7%，在 BANKING77 意圖分類的 Macro-F1 達到 94.8%，在 CLINC150+OOS 的 Macro-F1 則為 97.7%。
在業務流程模擬評估（Typesafe Evals）中，Clef-omni 於發票處理的主要動作準確率達到 82.0%，客戶服務精確動作準確率為 71.6%，資安事件分類準確率為 61.7%。
推論延遲方面，官方測試指出，純文字決策中位數延遲約 130 毫秒，圖片輸入約 150 毫秒，短音訊片段約數百毫秒。即使輸入長達 21 秒且包含聲音的完整影片，單次 API 呼叫評分時間約 1.5 秒。
Clef 系列更新：Clef-flash 調降價格與 Clef 速度翻倍
除了發布新模型外，Cloudflare 亦針對先前提出的 Clef 與 Clef-flash 進行了託管服務優化。
Clef-flash 價格降至每百萬 Token 0.038 美元
為了讓決策模型更適合大規模代理人工作流程，Cloudflare 調整了 Workers AI 上的定價結構：
- Clef-flash：輸入費用由原先每百萬 Token 0.09 美元調降至 0.038 美元
- Clef-omni：推出價格為每百萬 Token 0.15 美元
- Clef：維持每百萬 Token 0.24 美元
在調降 Clef-flash 價格的同時，官方將雲端託管版的上下文視窗由原先宣傳的 64k 調整為 24k。Cloudflare 分析內部使用數據發現，僅有 0.24% 的請求超過 24k Token，因此做出此項調整以降低服務成本。若使用者有長文本需求，可改用支援 64k 的標準版 Clef，或是自行託管開源版 Clef-flash（模型權重本身支援 256k）。
導入 SGLang 伺服引擎
在標準版 Clef 方面，官方未修改底層模型權重，而是改進伺服架構，將後端切換至 SGLang 引擎（相關程式碼已貢獻至 SGLang 專案 PR #42721，收錄於 0.5.22 版本）。
官方測試顯示推論延遲顯著下降：
- 800 Token 負載：中位數延遲由 262 毫秒降至 152 毫秒（速度提升約 1.7 倍）
- 3,400 Token 負載：中位數延遲由 616 毫秒降至 305 毫秒（速度提升約 2.0 倍）
- 16,000 Token 負載：中位數延遲由 2,721 毫秒降至 1,635 毫秒（速度提升約 1.7 倍）
使用者若選擇自行架設伺服器，亦可直接使用官方釋出的 SGLang 指令進行部署。
實際應用案例
Cloudflare 分享了多個已在內部生產環境採用的實際案例：
- 說明文件維護：官方公開的 GitHub 文件儲存庫使用 Clef 即時辨識並關閉垃圾議題（Spam Issues）。
- 內容管理審核：EmDash 內容管理系統利用該模型檢查外掛程式庫，防範釣魚惡意模組。
- 資料外洩防護（DLP）：資安團隊藉此掃描資料內容，偵測政府身分證件等個人識別資訊（PII）。
- 威脅情報分析：用於分析與辨識潛在的惡意網域名稱。
這些案例顯示，將多領域分類邏輯收斂至單一專用模型，可減少為特定領域重新收集語料並訓練微型分類器的人力需求。
常見問題
Clef-omni 與一般多模態大型語言模型有何不同？
一般多模態語言模型主要依賴自由文字生成，再透過字串處理獲取結構化輸出，運算時間長且可能產生格式偏差。Clef-omni 是專門的決策模型，完全不生成自由文字，而是針對使用者定義的題目直接計算各選項機率，兼顧處理速度與輸出格式穩定性。
自行託管 Clef-omni 需要什麼硬體規格？
根據 Hugging Face 模型說明，Clef-omni 在 bfloat16 精度下，主幹模型約需要 64 GB 的 GPU 記憶體。官方測試環境採用單張 NVIDIA H200 顯示卡，軟體環境需搭配 PyTorch 2.11 與 Transformers 5.10.2。
如何在現有系統中呼叫 Clef-omni？
Clef-omni 支援 Workers AI 與 AI Gateway，並相容 Jev API 規範。開發者可以使用官方提供的標準 API 格式，透過 HTTP POST 傳送含有狀態描述、媒體檔案（Base64 格式）及問題綱要的 JSON 請求，即可取得相應選項的機率分佈。
結語
Clef-omni 的推出擴充了決策模型的輸入能力，使影音與圖片資料無須拆解轉錄即可直接參與判斷流程。搭配 Clef-flash 的價格調降與 SGLang 帶來的推論加速，開發者在規劃自動化審核或多模態分析系統時，能根據上下文長度與預算彈性選擇適當方案。目前相關模型權重與部署指令已完整公開，使用者可直接於雲端平台或本機環境進行整合測試。