Axion 1.0 與 Axion-1.0-35B 完整解析:僅憑 1.8 萬筆資料與兩階段 SFT 加 RL 打造的開源代理基礎模型
文章摘要:由杜克大學(Duke University)、字節跳動(ByteDance)、馬里蘭大學帕克分校(University of Maryland, College Park)與紐約州立大學水牛城分校(University at Buffalo)研究人員組成的團隊,於 2026 年 11 月正式發布開源代理基礎模型家族 Axion 1.0,並於 Hugging Face 釋出採用 Apache 2.0 授權的 35B 復現權重 Axion1-0/Axion-1.0-35B、完整訓練資料集 Axion1-0/axion-training-data 與官方程式碼儲存庫 bytedance/axion1_0。不同於仰賴持續中期訓練(Mid-Training)、直接偏好最佳化(DPO)或線上策略蒸餾(OPD)的繁複管線,Axion 1.0 技術報告(arXiv:2611.03233)證明僅需 18,363 筆監督微調(SFT)軌跡與 484 項強化學習(RL)任務,透過「學會獨立推理、學會運用工具調查、透過環境互動精煉」三階段流程,即可讓總參數 35B(每 Token 激活 3B)的 Axion 1.0-35B 在 32 張 GPU 上以約 90 GPU 小時完成兩階段 SFT,並在 SEAL-0 取得 62.2%(復現版 60.4%)、於 FrontierScience Olympiad 取得 86.0%(復現版 85.0%)的成績。本文完整整理 Axion 1.0 官方專案頁、Hugging Face 模型卡與技術報告的模型規格、資料建構流程、訓練基礎設施、六大基準測試數據與本地部署教學。
為什麼需要 Axion 1.0?把難度放回學習問題而非訓練管線
近年來大型語言模型正逐步從單純的問答生成演進為能自主推理、呼叫工具並與外部環境互動的代理基礎模型(Agent Foundation Models)。然而根據 Axion 1.0 技術報告指出,現有代理模型的後訓練流程正變得愈來愈繁瑣,往往疊加了專門的中期訓練(Mid-Training)、多輪特定能力微調、偏好對齊(DPO)、強化學習與線上策略蒸餾(On-Policy Distillation, OPD)。這種多階段疊加的管線同時拉高了算力門檻與復現成本,也讓研究社群難以釐清究竟是哪一個環節帶來了能力提升。與此同時,許多標榜開源的模型僅釋出最終權重,卻未公開資料合成、過濾、答案驗證、提示詞與訓練程式碼。
Axion 1.0 專案團隊(由杜克大學 Yuqi Jia、字節跳動專案負責人 Yunjie Tian、Jiayu Zheng、Mengyu Zhao、Di Fu,以及馬里蘭大學 Yijun Liang 與水牛城大學 Jingchen Sun 共同完成)提出了一項核心設計原則:簡化訓練管線,同時提高學習問題本身的難度與品質。
團隊省去了專門的中期訓練、DPO 與 OPD 階段,僅採用三個連續步驟:
- 第一階段 SFT(Learn to reason,學會獨立推理):在 10,819 筆經由基礎模型反饋強化的高難度科學推理題目上進行監督微調,模型可使用 Python 執行計算,但禁止使用網頁搜尋。
- 第二階段 SFT(Learn to investigate,學會調查與檢索):在 7,544 筆基於真實結構化資料庫與確定性計算生成的工具依賴型任務上微調,訓練模型主動透過外部工具補齊缺失資訊並根據證據推理。
- 第三階段強化學習(Learn through interaction,透過互動精煉):在 484 項具備最終答案與中間檢查點的任務上,執行非同步群組相對策略最佳化(Asynchronous GRPO),強化長鏈路推理與多工具互動決策。
Axion 1.0 模型家族與 Axion-1.0-35B 核心規格
根據 Axion 1.0 官方專案頁、GitHub 儲存庫說明與 Axion1-0/Axion-1.0-35B 模型卡,官方在論文中主要評估了 Axion 1.0-35B(35B-A3B)與 Axion 1.0-122B(122B-A10B)兩款混合專家(MoE)模型,並額外訓練了僅執行兩階段 SFT 的 4B 與 9B 小尺寸變體以驗證資料配方在不同規模下的遷移效果。目前 Hugging Face 已率先公開 Axion1-0/Axion-1.0-35B 復現檢查點(Reproduction Checkpoint),122B 權重則預計於後續釋出。
以下為 Axion 1.0 模型家族與 Axion-1.0-35B 的技術規格總覽:
| 規格項目 | Axion 1.0-35B(已開源復現權重) | Axion 1.0-122B(旗艦模型) | 資料來源 |
|---|---|---|---|
| 基礎初始化模型(Base Model) | Qwen3.6-35B-A3B(倉庫標籤為 qwen3_5_moe) | Qwen3.5-122B-A10B | arXiv:2611.03233 / HF 模型卡 |
| 網路架構 | 混合專家模型(Mixture of Experts, MoE) | 混合專家模型(Mixture of Experts, MoE) | HF 模型卡 |
| 總參數量 / 每 Token 激活參數 | 約 35B 總參數 / 3B 激活參數 | 約 122B 總參數 / 10B 激活參數 | GitHub README |
| 權重精度與格式 | BF16(Safetensors 格式) | BF16 | HF 模型卡 |
| SFT 訓練上下文視窗 | 128K Tokens(vLLM 推論支援 131,072) | 128K Tokens | Axion 1.0 專案頁 / HF 模型卡 |
| 訓練資料規模 | 18,363 筆 SFT 軌跡(Stage I 10,819 筆 + Stage II 7,544 筆)+ RL | 18,363 筆 SFT 軌跡 + 484 項 RL 任務 | axion-training-data |
| 兩階段 SFT 訓練耗時(32 GPUs) | 2 小時 48 分鐘(約 90 GPU-hours,峰值記憶體 101 GiB/GPU) | 7 小時 30 分鐘(240 GPU-hours,峰值記憶體 113 GiB/GPU) | arXiv:2611.03233 |
| RL 訓練配置與耗時 | 8 張 Rollout + 8 張訓練 GPU,執行 20 步(約 30 小時) | 40 張 Rollout + 16 張訓練 GPU,執行 40 步(約 15 小時) | Axion 1.0 專案頁 |
| 開源授權條款 | Apache License 2.0 | Apache License 2.0 | HF 模型卡 |
資料建構與三階段訓練配方解析
根據 Axion 1.0 技術報告第 2 與第 3 節以及 Axion1-0/axion-training-data 資料集說明,研發團隊將「問題與標準答案建構」和「解題軌跡收集」拆分為兩個獨立步驟:先確立具有唯一可驗證標準答案的題目,再收集並篩選正確的解題軌跡。
1. Stage I:基於基礎模型反饋的自包含科學推理(10,819 筆軌跡)
第一階段的目標是強化模型在無外部搜尋輔助下的多步科學與數學推理能力(僅允許呼叫 Python 進行數值或符號運算):
- 種子問題合成(Initial Composition):團隊從公開教材、競賽與推理資料集中收集涵蓋數學、物理、化學、生物與電腦科學的問答對作為種子。生成模型先找出原題解答中的某個必要中間量,並據此設計一道必須先算出該數值才能求解的全新自包含題目。
- 模型感知難度強化(Model-Aware Task Strengthening):系統讓基礎模型(允許使用 Python、禁用搜尋)嘗試解答新合成的題目。若基礎模型答錯,該題直接納入候題庫。若基礎模型答對,系統會將基礎模型的成功解題策略傳給生成模型,並隨機套用以下四種難度強化操作之一:
- 組合延伸(A. Composition):再增加一層依賴推理步驟,將當前答案作為新問題的中間橋樑。
- 參數化改寫(B. Parameterization):將固定數值替換為符號參數,要求推導出通用解析表達式而非單一數值。
- 範圍平移與擴大(C. Range Shift):擴大或平移參數範圍,使原本依賴暴力枚舉或捷徑的解法失效。
- 分情況討論(D. Case Analysis):引入會導致答案隨條件改變的分支條件,要求模型識別並解出各個情況。
- 三次獨立驗證機制:每一道新生成或改寫後的題目,都會交由
GPT-5.5在不依賴基礎模型預測的情況下獨立求解三次。唯有三次求解結果一致且推導過程通過正確性檢查時,該題與新確立的標準答案才會被保留,最終篩選出 10,819 筆正確的解題軌跡(stage1資料集分割)。
2. Stage II:基於真實資料庫的確定性工具推理(7,544 筆軌跡,約 3.12 億 Tokens)
第二階段針對題面未提供足夠事實、必須透過外部工具查找證據並計算的任務。團隊整合了涵蓋天文、航空、學術文獻與生物資訊的公開結構化資料來源(根據 GitHub 儲存庫說明,包含 NASA Exoplanet Archive、OurAirports、OpenAlex、UniProt 與 Ensembl 等資料庫),透過確定性程式自動建立題目與標準答案:
- 過濾(Filter):對資料庫紀錄套用明確條件,篩選出候選實體集合(例如篩選具備行星環的行星)。
- 唯一選擇(Select):根據極值條件選出唯一一個目標實體,並規定該極值與第二名之間必須具備足夠差距以避免答案模糊(例如選出質量最小的行星,即天王星 Uranus)。
- 確定性計算(Compute):擷取該實體的其他屬性並代入公式與單位換算計算衍生結果(例如讀取天王星的質量與半徑,代入球體密度公式計算平均密度約為 $1.27,\mathrm{g/cm^3}$)。
- 自然語言轉寫與閉卷過濾(Verbalize & Closed-Book Filtering):由語言模型將篩選條件與計算要求轉寫為單一自然語言問題,且盡可能不直接點名資料來源庫。為了強制模型學會使用工具,系統在收集軌跡時會封鎖底層建構資料庫的直接存取權,僅開放一般網頁搜尋、網頁瀏覽與 Python 工具,同時預先剃除在無搜尋工具(Closed-Book)下就能直接答對的題目,最終保留 7,544 筆驗證通過的工具推理軌跡(
stage2資料集分割)。
在第一與第二階段 SFT 中,訓練框架皆將包含系統提示詞、使用者問題、工具呼叫、工具回傳內容與最終回答的完整互動序列化於 128K 上下文視窗中,並僅對 Assistant 生成的 Tokens(包含推理過程、工具呼叫與最終答案)計算交叉熵損失(Assistant-Only Supervision),兩階段皆以學習率 $3 imes 10^{-6}$、全域批次大小 8、BF16 精度訓練 3 個 Epochs(arXiv:2611.03233 表 4)。
3. Stage III:結合結果與過程獎勵的非同步 GRPO 強化學習(484 項任務)
為了讓模型在長鏈路自主互動中學會修正錯誤與權衡衝突證據,第三階段自 Stage II 檢查點出發,使用 verl 框架進行非同步群組相對策略最佳化(Asynchronous GRPO)。團隊從程式化建構的題庫中篩選出 484 項 RL 任務(篩選標準為:先抽樣 4 條軌跡,保留至少有 1 條答對最終答案且 4 條獎勵具備非零變異數的題目)。
根據 技術報告第 3.3 節公式 4 與公式 5,RL 階段設計了結合最終結果與中間檢驗點的獎勵函數:
- 最終結果正確獎勵:若最終答案正確($F = 1$),給予滿分獎勵 $R = 1$。
- 中間進度部分獎勵與未提交懲罰:若最終答案錯誤($F = 0$),獎勵計算方式為 $R = \max(0,, 0.3P - 0.1(1 - A))$。其中 $A \in {0, 1}$ 代表模型是否按格式提交了有效最終答案(未提交者扣 $0.1$ 分,防止模型只刷中間進度卻不給結論),而 $P \in [0, 1]$ 則衡量模型在 $m$ 個有序依賴中間目標 $v_1, \dots, v_m$ 上的驗證達成率: $$P( au, z) = rac{1}{m}\sum_{j=1}^{m}\prod_{\ell=1}^{j} b_{\ell}( au, z)$$ 這意味著後續步驟必須在前置步驟皆驗證通過的前提下才能獲得分數(例如三步推理中僅第 1 步與第 3 步通過,則 $P = 1/3$),且需要外部根據的實體識別必須有實際工具觀測結果支撐。
訓練基礎設施:128K 長軌跡 SFT 與 TITO / R3 非同步 RL 對齊機制
訓練具備 128K 上下文視窗的大型 MoE 代理模型常面臨記憶體溢位與「推論-訓練不一致」的系統瓶頸。Axion 1.0 技術報告第 5 節與 GitHub 程式碼庫公開了支撐高效率訓練的基礎設施設計:
- 結合 Megatron-FSDP 與混合上下文平行的長序列 SFT:SFT 階段將 NVIDIA
Megatron-FSDP整合至ms-swift的 Megatron 後端,保留整段對話歷史而不做摘要壓縮,直接將接近 128K Tokens 的完整軌跡作為單一樣本訓練。系統採用全分片資料平行(FSDP)搭配專家平行(EP=8、TP=1,將專家分發限制在單一 NVLink 網域內),並針對單 Token 超過 1.4 MiB 的激活值記憶體啟動上下文平行(CP=4):在全注意力層採用 Ring Attention,在門控增量網路(Gated-Delta-Net, GDN)層則採用 Ulysses 風格 All-to-All 通訊。在 32 張 GPU 上,Axion 1.0-35B跑完兩階段 SFT 僅需 2 小時 48 分鐘(約 90 GPU-hours),122B模型亦僅需 7 小時 30 分鐘(240 GPU-hours)。 - 三池分離的非同步 RL 架構:RL 階段將硬體拆分為獨立的
vLLMRollout 生成池、Megatron-Core策略訓練池與輔助服務節點(Service Node,部署 2 個Qwen3.8-27B裁判模型負責開放式與引用獎勵評分,以及 6 個Qwen3.5-9B實例負責網頁摘要與基於 QUEST 的上下文濃縮)。每完成 2 次最佳化器更新,訓練器便透過 NCCL 將新權重同步至 Rollout 引擎(122B 模型約耗時 45 至 60 秒),並自動丟棄落後超過 11 個參數版本的過期軌跡。 - Token-In-Token-Out(TITO)消除分詞邊界誤差:在多輪代理互動中,若將文字訊息重新渲染再交由 BPE 分詞器編碼,極易因邊界切分改變而使訓練時的 Token ID 序列與推論時不一致。Axion 1.0 採用 TITO 機制,在代理迴圈與訓練器之間直接交換共享的 Token ID 緩衝區與生成遮罩,即使發生上下文濃縮也僅在區段起點編碼一次,省去「解碼再重新編碼」的過程。
- Rollout Routing Replay(R3)對齊 MoE 專家路由:由於
vLLM推論引擎與Megatron訓練引擎在數值實作上的細微差異,面對相同權重與相同 Token 時可能會選中不同的 MoE 專家。團隊導入 R3(Rollout 路由重播),在 Rollout 階段以uint8張量(每樣本約 20 MB)記錄每個 Token 在各層選中的專家索引,並在訓練前向傳播時強制重播相同的專家選擇。實驗證實,R3 在122B模型上使序列平均對數機率最大差距從1.799降至1.282,同時將HLE-130分數由72.3%提升至74.6%、FrontierScience Olympiad由85.0%提升至87.0%、FrontierScience Research由61.7%提升至66.7%(arXiv:2611.03233 第 4.4 節)。
六大基準測試完整表現與各訓練階段貢獻分析
根據 Axion 1.0 技術報告第 4 節與 Axion1-0/Axion-1.0-35B 官方模型卡,團隊在配備網頁搜尋、網頁瀏覽、學術檢索與 Python 執行環境的 ReAct 框架下,針對六項高難度基準測試進行了評估(每項基準執行 3 次、BMB 執行 5 次,取單次最高分,單位為百分比 %):
- Humanity’s Last Exam(HLE):跨學科專家級難題測試(主表採用封鎖 Hugging Face 等網站的受限存取設定,若解除網站封鎖,
Axion 1.0-35B與122B分數分別可達 59.1% 與 64.8%)。 - BioMysteryBench(BMB):採用人類高難度子集(Human-Difficult Subset),測試真實生物資訊資料分析能力。
- SEAL-0:高難度代理資訊檢索與問題解決基準。
- HiPhO:最新高中物理奧林匹亞競賽科學推理基準。
- FrontierScience(FS)Olympiad 與 Research:測試奧林匹亞等級科學推理與開放式科學研究任務。
1. 整體性能橫向對比(含論文數據與 35B 倉庫復現權重實測)
以下整合 技術報告表 1 與 Hugging Face 模型卡 的完整對照數據:
| 模型名稱 | 類別 / 備註 | HLE (Full) | BMB | SEAL-0 | HiPhO | FS Olympiad | FS Research |
|---|---|---|---|---|---|---|---|
| Agents-A1 | 開源權重模型 | 47.6 | - | 56.4 | 46.4 | 79.0 | 40.0 |
| Kimi-K2.6 | 開源權重模型 | 54.0 | - | 50.5† | 41.1† | 73.0† | 17.9† |
| DeepSeek-V4-Pro (Preview) | 開源權重模型 | 48.2 | - | 55.0† | 38.7† | 76.0† | 13.3† |
| Apodex 1.1 (ReAct) | 開源權重模型 | 53.2 | 23.5 | - | - | - | 55.0 |
| Apodex 1.1 (Agent Team) | 開源權重(多代理) | 56.1 | 35.3 | - | - | - | 63.3 |
| GPT-5.5 | 閉源商業模型 | 52.2 | - | 42.3† | 43.3† | 78.0† | 26.7† |
| GPT-5.6 Sol | 閉源商業模型 | - | 47.1* | 53.2* | 42.9* | 79.0* | 63.3* |
| GPT-6 Astra | 閉源商業模型 | 57.2 | - | - | - | - | - |
| Muse-Spark-1.0 | 閉源商業模型 | 58.0 | - | - | - | - | 38.0 |
| Gemini 3.1 Pro | 閉源商業模型 | 51.4 | 35.3* | 53.2* | 38.5* | 85.0* | 26.7* |
| Claude Opus 5 | 閉源商業模型 | 63.6 | 49.4 | - | - | - | - |
| Claude Fable 5 | 閉源商業模型 | 63.8 | 46.1 | - | - | - | - |
| Axion 1.0-35B (Paper) | 本專案(論文報告值) | 52.2 | 35.3 | 62.2 | 45.7 | 86.0 | 56.7 |
| Axion 1.0-35B (Reproduction) | 本倉庫開源復現權重 | 52.8 | 35.3 | 60.4 | 45.9 | 85.0 | 55.0 |
| Axion 1.0-122B (Paper) | 本專案(122B 旗艦) | 59.0 | 41.7 | 58.6 | 46.2 | 87.0 | 66.7 |
(註:* 代表由 Axion 團隊在相同測試框架下評測之數據,† 代表引用自 Agents-A1 或 Apodex 報告之數據,其餘來自各模型官方報告。- 代表未報告該項數據。)
從數據中可以觀察到三項重點:
Axion 1.0-35B在 SEAL-0 拿下全表最高分:論文版Axion 1.0-35B在SEAL-0取得 62.2%(Hugging Face 復現權重亦達 60.4%),高於122B版本的58.6%以及Agents-A1(56.4%)、DeepSeek-V4-Pro Preview(55.0%)、GPT-5.6 Sol(53.2%)與Gemini 3.1 Pro(53.2%)。- 35B 復現檢查點與論文數據高度吻合:在 Axion1-0/Axion-1.0-35B 釋出的復現權重中,
HLE(52.8% vs 論文 52.2%)與HiPhO(45.9% vs 論文 45.7%)略高於論文數值,其餘項目差距亦在 1.8 個百分點以內,驗證了開源訓練配方的可復現性。 - 科學奧林匹亞與研究任務表現突出:在
FrontierScience Olympiad上,Axion 1.0-122B(87.0%)與Axion 1.0-35B(86.0% / 復現版 85.0%)位居前茅。在FrontierScience Research上,35B與122B分別取得 56.7%(平均評分規準分數6.67)與 66.7%(平均評分規準分數7.09),其中122B超越了GPT-5.6 Sol與Apodex 1.1 Agent Team的63.3%。
2. 三階段訓練演進與跨尺寸遷移(4B / 9B / 35B / 122B)
根據 技術報告表 2 與表 3(此處 HLE 採用 130 題純文字子集 HLE-130),各訓練階段與不同參數規模的表現演進如下:
| 模型與訓練階段 | HLE-130 | BMB | SEAL-0 | HiPhO | FS Olympiad | FS Research |
|---|---|---|---|---|---|---|
| Qwen3.6-35B-A3B(35B 基礎模型) | 47.7 | 23.5 | 44.1 | 38.6 | 71.0 | 26.7 |
| + SFT Stage I(學會獨立推理) | 59.2 | 17.6 | 50.5 | 45.9 | 83.0 | 48.3 |
| + SFT Stage II(學會工具調查) | 66.2 | 35.3 | 53.2 | 46.8 | 84.0 | 58.3 |
| + RL(Axion 1.0-35B 最終版) | 70.0 | 35.3 | 62.2 | 45.7 | 86.0 | 56.7 |
| Qwen3.5-122B-A10B(122B 基礎模型) | 40.8 | 17.6 | 47.8 | 30.6 | 65.0 | 40.0 |
| + SFT Stage I(學會獨立推理) | 68.5 | 29.4 | 52.3 | 45.6 | 85.0 | 56.7 |
| + SFT Stage II(學會工具調查) | 68.5 | 35.3 | 53.2 | 45.8 | 86.0 | 65.0 |
| + RL(Axion 1.0-122B 最終版) | 74.6 | 41.7 | 58.6 | 46.2 | 87.0 | 66.7 |
| Axion 1.0-4B(僅兩階段 SFT) | 53.1 | 11.8 | 56.8 | 42.3 | 81.0 | 45.0 |
| Axion 1.0-9B(僅兩階段 SFT) | 63.1 | 23.5 | 61.3 | 43.5 | 83.0 | 55.0 |
從階段演進表可以清楚看出每個階段的分工效果:
- Stage I 奠定科學與數學運算根基:讓 35B 模型的
HLE-130從47.7%躍升至59.2%、FS Olympiad從71.0%升至83.0%、FS Research從26.7%升至48.3%。不過由於 Stage I 禁用了檢索工具,35B 在高度依賴外部生物資料分析的BMB上一度從23.5%降至17.6%。 - Stage II 補齊外部檢索與實證分析:加入工具依賴 SFT 後,35B 的
BMB立刻從17.6%翻倍至35.3%,FS Research推進至58.3%,HLE-130亦上升至66.2%。 - RL 強化長鏈路搜尋與資訊整合:RL 讓 35B 的
SEAL-0大幅提升 +9.0 個百分點(從53.2%升至62.2%)、HLE-130提升至70.0%,而 122B 模型則在六項指標上皆獲得正向提升。
本地部署、推論與訓練資料載入指南
1. 使用 vLLM 部署 Axion-1.0-35B(官方推薦生產環境配置)
根據 Axion1-0/Axion-1.0-35B 官方模型卡的推論指南,建議使用 vLLM 啟動支援 128K(131072)上下文、推理剖析器(qwen3)與工具呼叫剖析器(qwen3_coder)的 OpenAI 相容伺服器(以下範例預設使用 8 張 GPU 進行張量平行,可依實際顯示卡記憶體調整 --tensor-parallel-size 與 --max-model-len):
# 安裝 vLLM 並啟動 Axion-1.0-35B 伺服器
pip install vllm
vllm serve Axion1-0/Axion-1.0-35B --served-model-name axion-35b --host 127.0.0.1 --port 8000 --tensor-parallel-size 8 --dtype bfloat16 --max-model-len 131072 --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder
啟動後即可透過標準 OpenAI 相容端點發送請求(若要進行工具代理評測,需額外掛載負責執行搜尋、網頁瀏覽與 Python 呼叫的外部執行環境 Harness):
curl --fail-with-body http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{
"model": "axion-35b",
"messages": [
{"role": "user", "content": "What is 2 + 3?"}
],
"max_tokens": 1024
}'
2. 使用 SGLang、Transformers 或 Docker Model Runner 執行
除了 vLLM 外,Hugging Face 模型頁亦支援透過 SGLang、Docker Model Runner 或 Transformers 直接載入(社群亦已提供如 mradermacher/Axion-1.0-35B-GGUF 等 GGUF 量化版本供 llama.cpp、Ollama 或 LM Studio 本地端執行):
# 方式 A:使用 SGLang 啟動服務
pip install sglang
python3 -m sglang.launch_server --model-path "Axion1-0/Axion-1.0-35B" --host 0.0.0.0 --port 30000
# 方式 B:使用 Docker Model Runner
docker model run hf.co/Axion1-0/Axion-1.0-35B
若使用 Python transformers 直接載入模型:
from transformers import AutoProcessor, AutoModelForMultimodalLM
processor = AutoProcessor.from_pretrained("Axion1-0/Axion-1.0-35B")
model = AutoModelForMultimodalLM.from_pretrained("Axion1-0/Axion-1.0-35B", device_map="auto")
messages = [
{
"role": "user",
"content": [
{"type": "text", "text": "Solve for the roots of x^2 - 5x + 6 = 0."}
]
}
]
inputs = processor.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))
3. 載入開源訓練資料集與復現訓練管線
開發者可透過 Hugging Face datasets 套件直接讀取 Axion1-0/axion-training-data 的三個分割(總計 18,847 筆 Parquet 資料列,約 534 MB):
from datasets import load_dataset
repo = "Axion1-0/axion-training-data"
# 載入第一階段 SFT(10,819 筆自包含科學推理軌跡)與第二階段 SFT(7,544 筆工具推理軌跡)
stage1 = load_dataset(repo, name="default", split="stage1")
stage2 = load_dataset(repo, name="default", split="stage2")
# 載入強化學習任務集(484 筆含提示詞、參考答案與驗證目標的 RL 任務)
rl_tasks = load_dataset(repo, name="rl", split="train")
# 讀取單筆完整多輪互動軌跡(含 system、user、assistant 推理與工具呼叫)
conversation = stage2[0]["messages"]
若欲從頭執行資料合成、兩階段 SFT(基於 ms-swift + Megatron-FSDP)與非同步 RL(基於 verl)或基準測試評分,可複製官方 bytedance/axion1_0 GitHub 儲存庫:
git clone https://github.com/bytedance/axion1_0.git
cd axion1_0
# 安裝資料建構與評測環境(建議使用獨立的 Python 3.11+ 環境)
python -m pip install -e ".[data,evaluation]"
常見問題(FAQ)
Axion 1.0-35B 的基礎模型是 Qwen3.5 還是 Qwen3.6?
根據 Axion 1.0 技術報告第 4.1 節與 GitHub 官方說明,正式發布的 Axion 1.0-35B 是以 Qwen3.6-35B-A3B 作為基礎模型進行初始化,而 Axion 1.0-122B 則是以 Qwen3.5-122B-A10B 初始化(因底層同屬 Qwen3.5 MoE 模型架構家族,Hugging Face 模型頁的架構標籤仍顯示為 qwen3_5_moe)。團隊在論文第 4.4 節也對比了以 Qwen3.5-35B-A3B 與 Qwen3.6-35B-A3B 執行相同兩階段 SFT 的效果,發現雖然訓練前 Qwen3.5 在五項指標上落後於 Qwen3.6(例如 HLE-130 落後 9.2 個百分點),但經過兩階段 SFT 後兩者差距大幅縮小至 0.8 個百分點,BMB 同樣達到 35.3%,且 Qwen3.5 基底在 SFT 後的 SEAL-0 分數(57.7%)甚至略高於 Qwen3.6 基底(53.2%),證明這套訓練配方不單純依賴更強的起點檢查點。
為什麼 Hugging Face 模型卡上的分數與論文表格有微小差異?
Axion1-0/Axion-1.0-35B 倉庫提供的是依照論文配方重新訓練釋出的復現檢查點(Reproduction Checkpoint)。模型卡中同時列出了論文報告數值(Axion 1.0-35B (Paper))與該復現檢查點的實測數值(Axion 1.0-35B (Reproduction))。兩者在 BMB 數值相同(35.3%),復現版在 HLE(52.8% vs 52.2%)與 HiPhO(45.9% vs 45.7%)略高,在 FS Olympiad(85.0% vs 86.0%)、FS Research(55.0% vs 56.7%)與 SEAL-0(60.4% vs 62.2%)則微幅相差 1 至 1.8 個百分點,整體表現相當接近。
Axion 1.0 的模型權重、資料集與程式碼可以商用嗎?
可以。Axion1-0/Axion-1.0-35B 模型權重、Axion1-0/axion-training-data 訓練資料集以及 bytedance/axion1_0 訓練與評測程式碼皆採用 Apache License 2.0 開源授權,允許研究與商業用途(僅 arXiv 論文預印本手稿本身採用 CC BY-NC-ND 4.0 授權)。
相關連結彙整
- 官方專案主頁:Axion 1.0 - Open Agent Foundation Models, Simplified
- Hugging Face 35B 模型倉庫:Axion1-0/Axion-1.0-35B
- Hugging Face 官方訓練資料集:Axion1-0/axion-training-data(含 18,363 筆 SFT 軌跡與 484 項 RL 任務)
- Hugging Face 組織主頁:Axion1-0 (Axion)
- GitHub 官方程式碼與訓練配方儲存庫:bytedance/axion1_0
- arXiv 技術報告與論文頁:
- 社群量化權重與外部報導: