Agnes 2.5 Pro Theta 模型技術解析:187.8B 參數開源多模態 MoE 架構、基準測試與部署指南
Agnes AI 正式在 Hugging Face 釋出了 Agnes 2.5 Pro Theta(Agnes-AI/Agnes-2.5-Pro-Theta),這是一款採用 Apache License 2.0 授權的多模態混合專家(Mixture-of-Experts, MoE)模型。該模型隨附完整的模型實作程式碼、Tokenizer、對話模板(Chat Template)以及影像與影片前處理器,並提供 BF16 權重供開發者進行本地推論或整合至現有工作流程。
核心規格與架構設計
根據 Hugging Face 模型卡片 揭露的技術細節,Agnes 2.5 Pro Theta 主打對話推理、科學解題、程式編寫與視覺理解能力,其主要架構規格如下:
| 規格項目 | 詳細參數 |
|---|---|
| 開發與發布方 | Agnes AI |
| 模型類型 | 多模態混合專家模型(Multimodal MoE) |
| 總參數量 | 187,763,545,616(約 187.8B) |
| 文字解碼器層數 | 52 層 |
| 專家路由架構 | 每個 MoE 區塊包含 512 個路由專家(Top-10 路由)與共享專家分支(Shared Expert Branch) |
| 設定上下文上限 | 262,144 tokens(約 256K) |
| 輸入模態 | 文字、影像與影片影格(透過隨附處理器) |
| 輸出模態 | 文字 |
| 支援語言 | 英文、中文 |
| 權重格式與大小 | BF16;105 個 Safetensors 分片(約 375.5 GB / 349.7 GiB,不含檔頭) |
| 實作方式 | 自訂 Transformers 程式碼(需啟用 trust_remote_code=True) |
| 開源授權條款 | Apache License 2.0 |
註記:262,144 tokens 為模型設定的上下文上限,實際可用序列長度取決於運行時的記憶體與工作負載,且並非所有長度與模態組合皆經過完整基準測試(資料來源:Hugging Face 模型卡片)。
基準測試表現比較
在 Agnes 2.5 Pro Theta 官方模型卡片 提供的八項基準測試快照中,該模型在多項指標上表現亮眼,尤其在指令遵循(IFBench)、長文本檢索(AA-LCR)、科學推理(GPQA Diamond)、即時程式設計(LiveCodeBench v6)與軟體工程(SWE-bench Pro)等項目中取得該對比組的最高分:
| 基準測試項目 | Agnes 2.5 Pro Theta | Nemotron 3.5 Super VL 120B | Qwen3.8-27B | GLM-5.3-Flash | DeepSeek-V4.1-Flash-1017 |
|---|---|---|---|---|---|
| IFBench | 82.6 | 70.9 | 80.1 | 64.4 | 76.3 |
| AA-LCR (v1.1) | 84.7 | 68.6 | 72.6 | 76.7 | 80.4 |
| GPQA Diamond | 92.9 | 89.5 | 88.9 | 92.2 | 92.8 |
| SciCode (v1.0.1) | 56.0 | 47.1 | 47.9 | 53.4 | 57.6 |
| LiveCodeBench v6 | 90.5 | 88.2 | 90.3 | 80.6 | 89.7 |
| SWE-bench Pro | 64.1 | 51.8 | 61.7 | 59.7 | — |
| HLE-Diamond | 16.8 | 8.8 | 15.3 | 18.2 | 25.3 |
| GDP.pdf | 16.2 | 8.0 | 16.4 | 15.4 | 17.2 |
- 上述資料整理自 Hugging Face 模型卡片(數值為百分比,越高越好;「—」表示未在圖表中提供)。
- 第三方評測平台 Artificial Analysis 的獨立測試則指出,Agnes 2.5 Pro Theta 在 Artificial Analysis Intelligence Index 獲得 24 分(同級模型中位數為 24),輸出速度可達 197 tok/s,但思考過程極為詳盡(單次任務平均耗時約 23.5 分鐘,總生成 token 數較高)。
硬體需求與本地部署建議
由於未經量化的 BF16 權重本身即佔用約 349.7 GiB,在本地部署 Agnes-AI/Agnes-2.5-Pro-Theta 時需預留充足的運算與儲存資源:
- GPU 記憶體:總 VRAM 必須超過權重大小並預留 Activation、KV Cache 與視覺輸入所需的開銷。官方建議以 4 × H200 等級 GPU 作為實務上的容量起點。
- 儲存空間:單份本地模型檔案至少需預留 400 GB 可用空間(若包含下載暫存或重新封裝則需更多)。
- 主機記憶體(RAM):模型的詞彙查詢表(Lexical Lookup Table)較大,載入或 Offload 時會產生顯著的記憶體與 I/O 開銷,建議配置充足的系統 RAM。
Python(Transformers)快速上手
官方已於 PyTorch 2.14.1+cu130、Transformers 5.19.0、Accelerate 1.15.0 與 Safetensors 0.8.0 環境下驗證模型建構與輸入準備(參考 Hugging Face Quickstart):
pip install "transformers==5.19.0" "accelerate==1.15.0" "safetensors==0.8.0" pillow torchvision
文字生成範例
import os
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_path = os.environ.get("MODEL_PATH", "./agnes-2.5-pro-theta")
tokenizer = AutoTokenizer.from_pretrained(
model_path,
trust_remote_code=True,
)
model = AutoModelForCausalLM.from_pretrained(
model_path,
trust_remote_code=True,
dtype=torch.bfloat16,
device_map="auto",
attn_implementation="eager",
experts_implementation="grouped_mm",
).eval()
messages = [
{"role": "user", "content": "Explain gradient descent and show a small Python example."}
]
inputs = tokenizer.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt",
reasoning_effort="low",
).to(model.device)
with torch.inference_mode():
output_ids = model.generate(**inputs, max_new_tokens=512)
new_tokens = output_ids[:, inputs["input_ids"].shape[-1]:]
print(tokenizer.batch_decode(new_tokens, skip_special_tokens=True)[0])
推論引擎與 API 整合選項
除了直接使用 Transformers,Agnes 2.5 Pro Theta 頁面 亦列出了 vLLM、SGLang 與 Docker Model Runner 的啟動指令(例如 vllm serve "Agnes-AI/Agnes-2.5-Pro-Theta" 與 docker model run hf.co/Agnes-AI/Agnes-2.5-Pro-Theta);但因採用自訂架構實作,正式上線前仍建議確認各推論引擎的相容性與效能。
若不希望自行維運高階 GPU 叢集,開發者亦可透過 Agnes AI 官方 API 文件 呼叫代管端點(模型名稱為 agnes-2.5-pro-theta,Base URL 為 https://apihub.agnes-ai.com/v1),支援 Chat Completions、Responses API 以及 Anthropic 相容的 Messages API。官方文件標示的牌價為每百萬輸入 tokens $0.45(快取命中為 $0.045)、輸出 tokens $0.90(註:Artificial Analysis 頁面上列示的價格則為輸入 $0.10 / 輸出 $0.30,實際計費以 Agnes AI 平台後台為準)。
使用限制與注意事項
根據 Hugging Face 模型卡片的 Limitations 說明,開發者在評估與採用時應留意以下幾點:
- 評測可重現性:模型卡片中的基準測試資料屬於發布方提供的摘要快照,並未隨附完整的提示詞(Prompts)、取樣設定、Token 預算或原始執行日誌(Raw Run Logs)。
- 多模態與長文本驗證:雖然模型具備影像與影片影格的處理路徑,但現有分數並不能全面保證其影像/影片理解或極端長上下文的穩定度。
- 輸出驗證:生成內容與程式碼仍可能包含錯誤,應用於關鍵業務前務必進行人工或自動化驗證。
相關連結
- 官方模型與程式碼儲存庫:Agnes-AI/Agnes-2.5-Pro-Theta (Hugging Face)
- 官方 API 開發文件:Agnes 2.5 Pro Theta - Agnes-Ai Docs
- Agnes AI 官方網站:Agnes AI Platform
- 同系列模型參考:Agnes-AI/Agnes-2.5-Pro-Alpha (Hugging Face)
- 第三方效能與價格評測:Agnes 2.5 Pro Theta - Artificial Analysis
- 社群討論串:r/LocalLLaMA - Agnes-AI/Agnes-2.5-Pro-Theta (Reddit)