Agnes-3.0-Flash Preview：為高效能運算打造的多模態模型新選擇
追求高階 AI 推理與多模態能力時，開發者常面臨頂級模型硬體門檻極高或完全封閉的困境。Agnes AI 發布了 Agnes-3.0-Flash Preview 開放權重多模態預覽模型，採用 Apache-2.0 開源授權，旨在讓開發者能在自有硬體上運行具備旗艦級推理、程式編碼與長上下文處理能力的模型。
該開放權重模型擁有 33B（330 億）參數與原生 262,144 tokens（262K） 上下文視窗，同時支援文字、圖像與影片的多模態輸入理解。
混合注意力機制與架構特點
Agnes-3.0-Flash Preview 採用了高效的混合注意力解碼器（Hybrid-attention Decoder）：
- 72 層解碼器結構：由 54 層門控增量規則（Gated Delta Rule 遞迴層）與 18 層全域注意力（Global Attention）交替組成（比例為 3 : 1）。
- 降低 KV Cache 壓力：每 4 層中僅有 1 層需要維護會隨上下文長度增長的 KV Cache，其餘 3 層為狀態尺寸獨立於序列長度的遞迴層，能顯著降低長文本處理時的顯存需求。
- 視覺處理：內建 27 層 Vision Tower（隱藏層 1152、Patch 大小 16、2×2 空間合併），投影映射至 5120 主維度。
核心功能與推論控制
- 多模態理解：搭配內建的
AutoProcessor，可直接輸入圖像（Image）與影片（Video）進行理解與分析。 - 思考強度控制（Reasoning Effort）：Chat Template 支援可調式的思考強度，可傳遞
reasoning_effort="high"（預設，適合複雜推理）、medium、low，或設定enable_thinking=False直接關閉思維鏈以降低延遲。 - 原生工具調用（Tool Calling）：原生支援 Function Calling，模型會輸出
<tool_call>標籤格式，便於掛載外部 API 或資料庫操作。
官方 Benchmark 評測（Preview 開放權重版本）
官方模型卡公布了 Preview 開放權重 checkpoints 的評測結果：
- IFBench（指令遵循）：74.20
- SciCode（科學程式碼）：38.08
- GPQA Diamond（高難度問答）：85.05
- AA-LCR（長上下文推理）：68.33
- AA-Omniscience Accuracy：23.00
硬體需求與部署建議
為確保順暢運作，官方提供以下硬體與環境建議：
- 環境依賴：需安裝
transformers >= 5.12、torch、torchvision與accelerate。載入模型與 Processor 時需設定trust_remote_code=True。 - 推薦 GPU 配置：1 × NVIDIA H200 (141GB) 或 NVIDIA H100 (80GB)（bf16 精度，磁碟權重約 66 GB，主機記憶體建議 128 GB 以上）。
- 張量平行（Tensor Parallelism）：支援
--tp 1；在極長上下文或高併發時建議啟用--tp 2。 - 服務化框架：支援 vLLM（
vllm serve "Agnes-AI/Agnes-3.0-Flash"）、SGLang（提供serve.sh腳本與 Docker 映像檔，提供 OpenAI 相容 API），以及 Docker Model Runner。 - 建議生成參數：
temperature=1.0、top_p=0.95、top_k=20、max_tokens=2000或更高。
