跳至主要內容

工具與應用

Agnes 2.5 Pro Theta 模型技術解析:187.8B 參數開源多模態 MoE 架構、基準測試與部署指南

Agnes AI 以 Apache 2.0 授權開源 187.8B 參數多模態 MoE 模型 Agnes 2.5 Pro Theta,支援 262,144 tokens 上下文與圖影輸入,在 GPQA Diamond 取得 92.9%、AA-LCR v1.1 達 84.7%。

Agnes 2.5 Pro Theta 模型技術解析:187.8B 參數開源多模態 MoE 架構、基準測試與部署指南

Agnes AI 正式在 Hugging Face 釋出了 Agnes 2.5 Pro Theta(Agnes-AI/Agnes-2.5-Pro-Theta),這是一款採用 Apache License 2.0 授權的多模態混合專家(Mixture-of-Experts, MoE)模型。該模型隨附完整的模型實作程式碼、Tokenizer、對話模板(Chat Template)以及影像與影片前處理器,並提供 BF16 權重供開發者進行本地推論或整合至現有工作流程。


核心規格與架構設計

根據 Hugging Face 模型卡片 揭露的技術細節,Agnes 2.5 Pro Theta 主打對話推理、科學解題、程式編寫與視覺理解能力,其主要架構規格如下:

規格項目詳細參數
開發與發布方Agnes AI
模型類型多模態混合專家模型(Multimodal MoE)
總參數量187,763,545,616(約 187.8B)
文字解碼器層數52 層
專家路由架構每個 MoE 區塊包含 512 個路由專家(Top-10 路由)與共享專家分支(Shared Expert Branch)
設定上下文上限262,144 tokens(約 256K)
輸入模態文字、影像與影片影格(透過隨附處理器)
輸出模態文字
支援語言英文、中文
權重格式與大小BF16;105 個 Safetensors 分片(約 375.5 GB / 349.7 GiB,不含檔頭)
實作方式自訂 Transformers 程式碼(需啟用 trust_remote_code=True)
開源授權條款Apache License 2.0

註記:262,144 tokens 為模型設定的上下文上限,實際可用序列長度取決於運行時的記憶體與工作負載,且並非所有長度與模態組合皆經過完整基準測試(資料來源:Hugging Face 模型卡片)。


基準測試表現比較

在 Agnes 2.5 Pro Theta 官方模型卡片 提供的八項基準測試快照中,該模型在多項指標上表現亮眼,尤其在指令遵循(IFBench)、長文本檢索(AA-LCR)、科學推理(GPQA Diamond)、即時程式設計(LiveCodeBench v6)與軟體工程(SWE-bench Pro)等項目中取得該對比組的最高分:

基準測試項目Agnes 2.5 Pro ThetaNemotron 3.5 Super VL 120BQwen3.8-27BGLM-5.3-FlashDeepSeek-V4.1-Flash-1017
IFBench82.670.980.164.476.3
AA-LCR (v1.1)84.768.672.676.780.4
GPQA Diamond92.989.588.992.292.8
SciCode (v1.0.1)56.047.147.953.457.6
LiveCodeBench v690.588.290.380.689.7
SWE-bench Pro64.151.861.759.7—
HLE-Diamond16.88.815.318.225.3
GDP.pdf16.28.016.415.417.2
  • 上述資料整理自 Hugging Face 模型卡片(數值為百分比,越高越好;「—」表示未在圖表中提供)。
  • 第三方評測平台 Artificial Analysis 的獨立測試則指出,Agnes 2.5 Pro Theta 在 Artificial Analysis Intelligence Index 獲得 24 分(同級模型中位數為 24),輸出速度可達 197 tok/s,但思考過程極為詳盡(單次任務平均耗時約 23.5 分鐘,總生成 token 數較高)。
GPQA Diamond 科學推理基準對比Agnes 2.5 Pro Theta 取得 92.9%,在對比組中居首
GPQA Diamond 分數(0–100%)
Agnes 2.5 Pro Theta92.9% DeepSeek-V4.1-Flash-101792.8% GLM-5.3-Flash92.2% Nemotron 3.5 Super VL 120B89.5% Qwen3.8-27B88.9%
資料來源:Hugging Face 模型卡
AA-LCR v1.1 長文本檢索基準對比在長文本檢索 AA-LCR v1.1 拿下 84.7%,領先同組開源對比模型
AA-LCR v1.1 分數(0–100%)
Agnes 2.5 Pro Theta84.7% DeepSeek-V4.1-Flash-101780.4% GLM-5.3-Flash76.7% Qwen3.8-27B72.6% Nemotron 3.5 Super VL 120B68.6%
資料來源:Hugging Face 模型卡

硬體需求與本地部署建議

由於未經量化的 BF16 權重本身即佔用約 349.7 GiB,在本地部署 Agnes-AI/Agnes-2.5-Pro-Theta 時需預留充足的運算與儲存資源:

  1. GPU 記憶體:總 VRAM 必須超過權重大小並預留 Activation、KV Cache 與視覺輸入所需的開銷。官方建議以 4 × H200 等級 GPU 作為實務上的容量起點。
  2. 儲存空間:單份本地模型檔案至少需預留 400 GB 可用空間(若包含下載暫存或重新封裝則需更多)。
  3. 主機記憶體(RAM):模型的詞彙查詢表(Lexical Lookup Table)較大,載入或 Offload 時會產生顯著的記憶體與 I/O 開銷,建議配置充足的系統 RAM。

Python(Transformers)快速上手

官方已於 PyTorch 2.14.1+cu130、Transformers 5.19.0、Accelerate 1.15.0 與 Safetensors 0.8.0 環境下驗證模型建構與輸入準備(參考 Hugging Face Quickstart):

pip install "transformers==5.19.0" "accelerate==1.15.0" "safetensors==0.8.0" pillow torchvision

文字生成範例

import os
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = os.environ.get("MODEL_PATH", "./agnes-2.5-pro-theta")

tokenizer = AutoTokenizer.from_pretrained(
    model_path,
    trust_remote_code=True,
)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    trust_remote_code=True,
    dtype=torch.bfloat16,
    device_map="auto",
    attn_implementation="eager",
    experts_implementation="grouped_mm",
).eval()

messages = [
    {"role": "user", "content": "Explain gradient descent and show a small Python example."}
]
inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
    reasoning_effort="low",
).to(model.device)

with torch.inference_mode():
    output_ids = model.generate(**inputs, max_new_tokens=512)

new_tokens = output_ids[:, inputs["input_ids"].shape[-1]:]
print(tokenizer.batch_decode(new_tokens, skip_special_tokens=True)[0])

推論引擎與 API 整合選項

除了直接使用 Transformers,Agnes 2.5 Pro Theta 頁面 亦列出了 vLLM、SGLang 與 Docker Model Runner 的啟動指令(例如 vllm serve "Agnes-AI/Agnes-2.5-Pro-Theta" 與 docker model run hf.co/Agnes-AI/Agnes-2.5-Pro-Theta);但因採用自訂架構實作,正式上線前仍建議確認各推論引擎的相容性與效能。

若不希望自行維運高階 GPU 叢集,開發者亦可透過 Agnes AI 官方 API 文件 呼叫代管端點(模型名稱為 agnes-2.5-pro-theta,Base URL 為 https://apihub.agnes-ai.com/v1),支援 Chat Completions、Responses API 以及 Anthropic 相容的 Messages API。官方文件標示的牌價為每百萬輸入 tokens $0.45(快取命中為 $0.045)、輸出 tokens $0.90(註:Artificial Analysis 頁面上列示的價格則為輸入 $0.10 / 輸出 $0.30,實際計費以 Agnes AI 平台後台為準)。


使用限制與注意事項

根據 Hugging Face 模型卡片的 Limitations 說明,開發者在評估與採用時應留意以下幾點:

  • 評測可重現性:模型卡片中的基準測試資料屬於發布方提供的摘要快照,並未隨附完整的提示詞(Prompts)、取樣設定、Token 預算或原始執行日誌(Raw Run Logs)。
  • 多模態與長文本驗證:雖然模型具備影像與影片影格的處理路徑,但現有分數並不能全面保證其影像/影片理解或極端長上下文的穩定度。
  • 輸出驗證:生成內容與程式碼仍可能包含錯誤,應用於關鍵業務前務必進行人工或自動化驗證。

相關連結

謝謝你,讀到這裡。

保持好奇,明天繼續探索。

© 2026 Communeify. All rights reserved.