Qwen 團隊開源 23 種語言 Agent 評測基準 BabelArena：從多語言問答邁向全鏈路多語言執行
大型語言模型（LLM）正逐步從單純的對話問答轉向具備多步驟規劃、工具呼叫與環境互動能力的代理（Agent）工作流。然而，現有的 Agent 評測基準多半以英語為核心，少數多語言基準往往只翻譯了「使用者的任務指令」，卻讓 Agent 在執行時繼續面對英語的工具描述、英語資料庫與英語業務規範；若將各元件交由翻譯工具各自獨立翻譯，又容易導致商品名稱不一致、外鍵引用損壞，甚至讓正確的工具操作在評分階段被誤判為失敗。
為了解決跨語言 Agent 評測的環境割裂問題，Qwen 團隊聯合多所大學與螞蟻國際（Ant International）研究人員，於 arXiv 技術論文（arXiv:2609.23490） 中正式發表大規模多語言 Agent 評測基準 BabelArena，並於 GitHub 程式碼庫（QwenLM/BabelArena）、Hugging Face 資料集專頁 與 ModelScope 魔搭社群 同步開源評測框架與資料集。
BabelArena 涵蓋 23 種語言、4 大基準家族、13 個應用領域，由 702 個標準任務（Canonical Tasks） 擴展為 16,146 個跨語言任務實例。透過配套開發的自動化適配工作流 BabelFlow，系統將提示詞、任務輸入、工具定義與執行環境資料庫進行全元件本地化（Component-Complete Adaptation），同時保留跨元件的實體一致性與評分可驗證性。
本文整合 Hugging Face 官方資料集說明、GitHub 官方專案、arXiv 論文原文 與 語音之家開源技術解讀，梳理 BabelArena 的任務架構、BabelFlow 依賴追蹤翻譯機制、五款前沿模型的跨語言評測表現、低資源語言的失敗模式與 Token 成本差距，以及本地端資料集部署與評測指南。
四大基準家族與 23 種語言資源分級
1. 整合四大互補的 Agent 評測家族
根據 Hugging Face 資料集文件 與 arXiv 論文第 3.3 節，BabelArena 整合了四個評估維度互補的現有 Agent 基準家族，並維持每個任務的原始 ID 與專屬評分器（Evaluator），使不同語言版本能在相同任務與評分標準下進行橫向對照：
| 基準家族 | 核心測試能力 | 涵蓋領域（共 13 個） | 每語言標準任務數 | 23 語言總實例數 | 標準子集釋出狀態 |
|---|---|---|---|---|---|
| τ³-Bench | 模擬使用者互動、工具呼叫、非結構化知識檢索、領域政策遵循 | 航空（50）、零售（57）、電信（57）、銀行（48） | 212 | 4,876 | 已包含於主資料集 |
| VitaBench | 結合模擬使用者的真實生活服務多輪互動任務 | 外送（50）、到店消費（50）、線上旅遊（50）、跨領域（50） | 200 | 4,600 | 已包含於主資料集 |
| DeepPlanning | 具備可驗證約束條件的長程規劃（Long-Horizon Planning） | 旅遊規劃（60）、購物規劃（Level 1–3 分別為 25 / 25 / 10） | 120 | 2,760 | 已包含於主資料集 |
| ClawEval | 服務編排、多模態感知與生成、多輪專業對話 | 通用任務、多模態、多輪對話（改編自 OpenClaw、PinchBench、OfficeQA、Terminal-Bench 2.0 等） | 170 | 3,910 | 獨立分發（Claw-Eval 資料集） |
| 總計 | 四大 Agent 評測場景 | 13 個垂直與通用領域 | 702 | 16,146 | 標準凍結子集共 532 任務 / 語言（12,236 實例） |
（註：在 GitHub 程式碼庫 部分早期說明中曾記載 699 個任務與 16,077 個實例；正式發布的 arXiv 論文 與 Hugging Face 資料集卡 均以 702 個標準任務、16,146 個實例為準。）
2. 橫跨 15 種文字系統與三層資源等級的 23 種語言
BabelArena 將每個任務平行適配為 23 種語言版本，涵蓋 15 種文字書寫系統（Scripts），橫跨不同的書寫方向（如由右至左的阿拉伯文與希伯來文）、分詞方式（如無空格分詞的中文、日文、泰文、寮文、高棉文、緬甸文）與複雜字形結構。研究團隊依據各語言在數位訓練語料庫中的文本豐富程度，將 23 種語言劃分為三個資源層級：
| 語言資源層級 | 包含語言數 | 語言列表與 ISO 程式碼 |
|---|---|---|
| 高資源語言（High Resource） | 7 種 | 英語（en）、中文（zh）、日語（ja）、法語（fr）、俄語（ru）、阿拉伯語（ar）、西班牙語（es） |
| 中資源語言（Medium Resource） | 8 種 | 韓語（ko）、印尼語（id）、印地語（hi）、泰語（th）、希伯來語（he）、土耳其語（tr）、越南語（vi）、馬來語（ms） |
| 低資源語言（Low Resource） | 8 種 | 白俄羅斯語（be）、東旁遮普語（pa）、哈薩克語（kk）、高棉語（km）、緬甸語（my）、寮語（lo）、泰米爾語（ta）、泰盧固語（te） |
官方在 Hugging Face 資料集說明 中特別指出，資料集刻意排除了德語（German），原因是原始程式碼樹中雖帶有部分德語片段，但背後缺乏本地化的執行環境，導致德語測試無法進行有效評分。
3. 與現有多語言 Agent 基準的元件完整度對比
多數既有基準僅翻譯了任務描述或系統提示詞，而未同步本地化工具定義與底層環境。根據 Hugging Face 資料集卡 與 論文表 1，BabelArena 與其他多語言基準的覆蓋範圍對照如下：
| 評測基準名稱 | 提示詞本地化 (Prompt) | 任務本地化 (Task) | 工具描述本地化 (Tool) | 環境內容本地化 (Env.) | 標準任務數 | 領域數 | 語言數 | 總實例數 |
|---|---|---|---|---|---|---|---|---|
| MAPS | ✗ | ✓ | ✗ | ✗ | 805 | 4 | 12 | 9,660 |
| GAIA-v2-LILT | ✓ | ✓ | ✗ | ✗ | 165 | 1 | 6 | 990 |
| OmnilingualGAIA2 | ✓ | ✓ | ✗ | ✓ | 640 | 1 | 11 | 7,040 |
| MLCL | ✗ | ✓ | ✗ | ✗ | 200 | 1 | 4 | 800 |
| SEATauBench | ✓ | ✓ | ✓ | ✓ | 278 | 3 | 6 | 1,668 |
| PolyWorkBench | ✓ | ✓ | ✗ | ✓ | 67 | 5 | 10 | 67 |
| BabelArena | ✓ | ✓ | ✓ | ✓ | 702 | 13 | 23 | 16,146 |
BabelFlow：沿著執行期資料流運作的自動化翻譯工作流
要把一個可執行的 Agent 基準遷移到新語言，最大的技術障礙在於「哪些字串能翻譯、哪些字串絕對不能動，以及哪些跨檔案字串必須翻得一模一樣」。為此，研究團隊設計了 BabelFlow 自動化代理工作流，將基準適配拆解為四個閉環步驟：
1. 執行期資料流追蹤與欄位分類（Runtime Data Flow Analysis）
在翻譯開始前，分析 Agent（Coding Agent）會先讀取並實際運行源基準程式碼，追蹤任務輸入、工具定義、後端資料庫、政策檢索庫（例如銀行領域的 698 篇知識文件）、模擬使用者與評分器在執行期讀取的所有文本欄位，並將每個欄位標記為以下處理類別：
- 評分關鍵識別碼保留英語（Scoring-Critical Identifiers Stay English）：由於評分器會將標準工具呼叫（Gold Tool Calls）在本地化環境中重播並比對雜湊結果（Hash），凡是工具與參數名稱、JSON 鍵名、ID、外鍵後綴、人名、帳戶等級、地址，以及程式比對用的列舉值（Enum，如
account_type）一律保留英文原貌。如果強行翻譯這些識別碼，只會讓任務變得「無法計分」，而非真正測試模型的跨語言能力。 - 共享實體建立統一譯名（Canonical Translations for Shared Entities）：若某個商品名稱或業務名詞同時出現在使用者請求、資料庫記錄、工具回傳值與評分標準答案中，系統會先建立共享實體的標準譯名表，再跨元件統一套用。
- 一般自然語言依上下文翻譯：凡是 Agent 作為自然語言閱讀的系統提示詞、模擬使用者指南、工具功能說明與政策內文，皆按目標語言上下文進行翻譯，並於翻譯後精準回填至原始 JSON 嵌套、程式碼結構與佔位符中。決定任務內容的原始圖片與音視訊素材則保持原樣。
2. 三重獨立驗證 Agent 與受控執行對照
翻譯回填完成後，系統不會直接採納結果，而是交由三個獨立的驗證 Agent（Verifier Agents）檢查：
- 結構完整性與跨元件一致性：確認資料結構未損壞、佔位符與共享實體譯名完全對齊。
- 語意忠實度：確認翻譯未遺漏任務約束條件或業務規則。
- 行為等價性（Behavioral Equivalence）：在源語言環境與目標語言環境中執行相同的受控操作，直接比對工具回傳結果、環境狀態變化與最終評分結論。
若發現異常，經人工複核確認後，屬於欄位分類錯誤的專案會退回「依賴分析階段」，屬於譯名或語意偏差的專案則退回「翻譯階段」返修。
3. BabelFlow 消融實驗與人工品質抽查資料
根據 arXiv 論文第 4.1 節 與 Hugging Face 資料集說明：
- 40 個任務的中文適配消融實驗：相較於將各欄位獨立交由模型翻譯（Independent Translation），BabelFlow 將引用損壞（Broken References）的任務比例從 20.0% 大幅降至 2.5%，並將行為不匹配（Behavioral Mismatches）的比例從 5.0% 降至 0.0%，建構過程的 Token 消耗量則為獨立翻譯基線的 3.35 倍。
| 翻譯適配方法 | 引用損壞比例 (Broken Ref.) | 行為不匹配比例 (Behavioral Mismatch) | 相對建構成本 (Token Cost) |
|---|---|---|---|
| 獨立欄位翻譯（Independent） | 20.0% | 5.0% | 1.00× |
| 加入共享實體統一譯名（+ Canonical） | 7.5% | 2.5% | 1.78× |
| 完整 BabelFlow 工作流 | 2.5% | 0.0% | 3.35× |
- 4,600 筆跨語言人工抽樣評分：研究團隊從 23 種語言中各抽樣 200 筆翻譯（共 4,600 筆）進行人工品質審查，在高資源、中資源與低資源語言上的平均品質得分（滿分 5 分）分別達到 4.28 分、4.02 分與 3.91 分（標註者間一致性 Cohen’s $\kappa = 0.71$）。
評測指標設計与五款前沿模型實測結果
1. 三項核心指標：Pass^1、Pass^3 與語言一致性（LC）
為了區分「偶爾做對」、「穩定做對」與「是否偷切回英語回答」，BabelArena 對每個任務獨立執行 3 次試驗（Trials），並分別統計三項不合併的指標：
- $\text{Pass}^1$（平均單次成功率）：三次獨立試驗的平均單次任務成功比例。
- $\text{Pass}^3$（三次全成功率）：三次獨立試驗全部成功的任務比例，反映 Agent 執行複雜工作流的穩定性。
- LC（Language Consistency，語言一致性）：整條執行軌跡中，所有面向使用者的自然語言文本（包含回覆正文、呼叫工具前的說明文字與最終交付物）維持使用目標語言的比例。規定保留的英文識別碼、工具語法與格式標籤不計入語言切換。這項指標相當關鍵，因為 Agent 完全可能在後台正確完成所有工具操作並拿到滿分任務獎勵，卻直接用英語回覆一位使用泰語提問的使用者。
2. 按基準家族劃分的模型表現對比
研究團隊在統一設定（中等推理強度 medium、取樣溫度 temperature = 0）下，評測了五款前沿模型：Claude-Opus-4.8、GPT-5.6-Terra、Gemini-3.1-Pro、Qwen-3.7-Max 與 Qwen-3.8-Max。根據 Hugging Face 資料集卡 與 arXiv 論文表 4，各模型在四大基準家族的實測表現（單位為 %，粗體為該項最高）如下：
| 評測模型 | VitaBench Pass^1 | VitaBench Pass^3 | VitaBench LC | DeepPlanning Pass^1 | DeepPlanning Pass^3 | DeepPlanning LC | τ³-Bench Pass^1 | τ³-Bench Pass^3 | τ³-Bench LC | ClawEval Pass^1 | ClawEval Pass^3 | ClawEval LC |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude-Opus-4.8 | 36.9 | 20.1 | 98.5 | 36.2 | 17.2 | 61.8 | 62.6 | 49.5 | 95.0 | 55.8 | 43.0 | 96.3 |
| GPT-5.6-Terra | 29.6 | 15.1 | 99.1 | 22.5 | 10.7 | 90.0 | 69.2 | 38.5 | 82.5 | 46.1 | 33.5 | 98.7 |
| Gemini-3.1-Pro | 34.3 | 17.7 | 99.9 | 18.6 | 5.6 | 74.3 | 71.4 | 46.9 | 86.2 | 41.5 | 29.3 | 98.8 |
| Qwen-3.7-Max | 36.1 | 18.9 | 98.6 | 41.6 | 23.8 | 57.5 | 59.0 | 49.1 | 92.8 | 32.4 | 24.6 | 98.5 |
| Qwen-3.8-Max | 42.3 | 25.0 | 94.7 | 46.0 | 26.5 | 75.8 | 62.0 | 50.0 | 87.8 | 40.8 | 27.1 | 88.7 |
從上表可以觀察到幾個重要現象：
- 沒有單一模型能包辦所有基準家族的領先地位：Qwen-3.8-Max 在重度依賴推理與長程規劃的 VitaBench（$\text{Pass}^1$ 42.3%、$\text{Pass}^3$ 25.0%）與 DeepPlanning（$\text{Pass}^1$ 46.0%、$\text{Pass}^3$ 26.5%）中取得最高成功率，並在 τ³-Bench 的 $\text{Pass}^3$（50.0%）領先；Gemini-3.1-Pro 在 τ³-Bench 的單次成功率（$\text{Pass}^1$ 71.4%）及兩項基準的語言一致性上表現最佳；而 Claude-Opus-4.8 則在綜合多模態與專業服務編排的 ClawEval（$\text{Pass}^1$ 55.8%、$\text{Pass}^3$ 43.0%）中明顯領先。
- 任務成功率與語言一致性呈現能力解耦：以 DeepPlanning 為例，Qwen-3.8-Max 與 Claude-Opus-4.8 雖然在任務成功率上排名前二，但語言一致性（LC 分別為 75.8% 與 61.8%）卻低於 GPT-5.6-Terra（90.0%）。這顯示「把複雜任務做對」與「全程維持目標語言輸出」涉及不同的模型控制能力。
3. 按語言資源層級劃分的模型表現對比
根據 Hugging Face 資料集卡，將 23 種語言按高、中、低資源分組後的平均表現如下（單位為 %）：
| 評測模型 | 高資源 Pass^1 | 高資源 Pass^3 | 高資源 LC | 中資源 Pass^1 | 中資源 Pass^3 | 中資源 LC | 低資源 Pass^1 | 低資源 Pass^3 | 低資源 LC |
|---|---|---|---|---|---|---|---|---|---|
| Claude-Opus-4.8 | 51.3 | 34.3 | 90.4 | 48.1 | 33.9 | 87.2 | 44.8 | 29.6 | 86.7 |
| GPT-5.6-Terra | 45.3 | 26.3 | 98.8 | 43.9 | 25.1 | 90.9 | 36.8 | 21.9 | 89.6 |
| Gemini-3.1-Pro | 45.9 | 27.4 | 98.6 | 42.4 | 25.8 | 87.5 | 36.4 | 21.0 | 83.8 |
| Qwen-3.7-Max | 45.8 | 32.4 | 89.0 | 42.9 | 29.5 | 86.9 | 40.1 | 27.6 | 84.9 |
| Qwen-3.8-Max | 49.8 | 33.8 | 89.9 | 46.4 | 32.3 | 86.2 | 43.7 | 28.1 | 84.1 |
所有五款前沿模型在低資源語言上的 $\text{Pass}^1$、$\text{Pass}^3$ 與 LC 均一致低於高資源語言。其中 Claude-Opus-4.8 與 Qwen-3.8-Max 在高、中、低三個資源梯度上的整體成功率（$\text{Pass}^1$ 與 $\text{Pass}^3$）位居前二，而 GPT-5.6-Terra 則在三個資源層級都維持了最高的語言一致性（高資源 98.8%、中資源 90.9%、低資源 89.6%）。
深入剖析：低資源語言如何拖垮 Agent 的執行效率與工具呼叫？
根據 arXiv 論文第 5 節 與 語音之家專文整理，跨語言差距並不僅僅體現在「最終答案對不對」，更深刻地影響了 Agent 的工具檢索、控制流穩定度與 Token 運算成本：
1. 相近的互動輪數，卻消耗高達 2 倍的輸入 Token
在相同的 VitaBench 任務上，五款模型在低資源語言軌跡中的互動輪數僅為英語的 0.97 至 1.16 倍，但累計消耗的輸入 Token 數量卻高達英語的 1.69 至 2.06 倍（統計僅計算被測 Agent 本身的模型呼叫，不含模擬使用者與評審呼叫）。這是因為主流分詞器（Tokenizer）對非拉丁字母與低資源文字（如泰米爾文、泰盧固文、高棉文、緬甸文）的切分粒度較碎，在多輪工具回傳與環境歷史累積下，上下文膨脹的速度遠高於英語。
2. 本地化資料庫檢索頻頻撲空，迫使呼叫次數暴增
在 DeepPlanning 的購物規劃任務中，環境檢索器是根據「Agent 傳入的搜尋關鍵字」與「本地化商品資料庫記錄」的詞彙重合度來回傳結果。
- 高空結果率：在低資源語言的購物軌跡中，五款模型發出的商品搜尋有高達 53.7% 至 68.7% 回傳空結果（英語環境下僅為 6.1% 至 17.1%）。
- 真實案例對比（任務 37）：論文展示了一組極具代表性的成功案例——Qwen-3.8-Max 在執行同一個購物任務（買齊相同的四件商品）時，英語版本僅花了 9 輪互動、25 次工具呼叫；而在泰盧固語（Telugu）版本中，雖然最終同樣成功買齊商品，卻耗費了 64 輪互動、201 次工具呼叫，其中 158 次商品搜尋裡有 126 次回傳空結果。分析軌跡發現，Agent 一開始習慣性地傳入英語關鍵字去搜尋泰盧固語資料庫，屢次失敗後才改用泰盧固語詞彙查詢並找到候選商品。
3. 低資源語言的錯誤型態：工具參數與控制流錯誤佔比顯著上升
研究團隊針對 1,600 條 VitaBench 失敗軌跡進行了抽樣歸因分析，發現泰語（Thai）與泰米爾語（Tamil）等中低資源語言的失敗原因，並非單純的「最終回答品質不佳」，而是出現更高比例的工具使用錯誤（Tool-Use Errors）與控制流錯誤（Control-Flow Errors），常見現象包括陷入無效的重試迴圈，或是向工具傳入語言不匹配的参数。
4. 高達 91.2% 的語言切換都倒向英語
在從 DeepPlanning 與 ClawEval 抽取的 2,000 條語言不一致（LC 未達標）軌跡中，研究人員發現所有被標註到的語言切換事件裡，有高達 91.2% 是切換回英語。此外，不同任務的切換位置也呈現結構性差異：
- DeepPlanning：語言切換主要發生在需要輸出結構化規劃表或複雜格式的最終回覆正文中。
- ClawEval：語言切換則高度集中在呼叫工具前的過渡文字（例如在執行某項系統操作前，模型先吐出一句英文的思考或行動說明）。
資料集結構與本地端評測快速上手
1. 檔案目錄結構與命名慣例
根據 Hugging Face 資料集說明，本次開源釋出的主資料集為凍結的 standard 評測子集（包含 tau3、vitabench 與 deepplanning 三大家族，每種語言 532 個任務，共 12,236 個實例，總容量約 5.2 GiB 至 6.91 GB）：
| 頂層目錄 | 對應環境變數 | 每語言任務數 | 23 語言總實例數 | 資料檔案數 | 目錄大小 | 內容結構說明 |
|---|---|---|---|---|---|---|
tau3/ | TAU2_DATA_DIR | 212 | 4,876 | 17,999 | 244 MiB | 包含各領域任務、政策、工具說明、資料庫、模擬使用者指南，以及銀行領域 698 篇文件 × 23 語言檢索庫 |
vitabench/ | VITA_DATA_DIR | 200 | 4,600 | 100 | 300 MiB | 依領域存放 tasks_<code>.json，每個任務自帶獨立執行環境 |
deepplanning/ | DEEPPLANNING_DATA_DIR | 120 | 2,760 | 15,058 | 4.7 GiB | 包含旅遊規劃資料庫（database_<code>/id_<n>/）與購物規劃三級資料庫 |
| 總計 | — | 532 | 12,236 | 33,157 | 5.2 GiB | 各家族目錄下皆含 task_subsets/standard/ 固定任務清單與 SHA256SUMS 校驗檔 |
在使用多語言檔案時，需注意三個家族對語言後綴的命名慣例不同：
- τ³-Bench 使用語言顯示名稱（例如
db_Chinese.json、tasks_Eastern Panjabi.json），且以英語為無後綴基線。 - VitaBench 與 DeepPlanning 使用 ISO 語言程式碼（例如
tasks_pa.json、database_pa/）。其中 DeepPlanning 以英語為無後綴基線，而 VitaBench 則以中文為無後綴基線（可執行./bench languages查看完整映射表）。
2. 下載資料集與執行評測指令
評測執行器程式碼位於 GitHub 的 QwenLM/BabelArena 倉庫，資料集則可從 Hugging Face 或 ModelScope 下載：
# 1. 複製評測程式碼庫並安裝基礎依賴
git clone https://github.com/QwenLM/BabelArena.git
cd BabelArena
pip install pyyaml
# 2. 為各個基準家族建立獨立虛擬環境
./bench setup
# 3. 匯入從 Hugging Face 或 ModelScope 下載的資料集目錄
./bench fetch-data --source /path/to/BabelArena-dataset
# 4. 驗證資料集完整性、環境與設定（不消耗 API 呼叫，成功會印出 [ok] <family>: all 23 languages complete）
./bench check
# 5. 指定基準家族（如 tau3）、目標語言（如日語 ja）與待測模型啟動評測
./bench run -b tau3 -l ja --agent-model <model>
若透過 Python 從 ModelScope 魔搭社群 下載資料集，可使用以下腳本：
from modelscope.hub.snapshot_download import dataset_snapshot_download
dataset_snapshot_download(
dataset_id="Qwen/BabelArena",
local_dir="./BabelArena-data",
)
重要使用規範：官方在 Hugging Face 資料集卡 中強調，本資料集採用 Apache-2.0 授權，但屬於**純評測用途（Evaluation-Only）**的固定凍結樣本，嚴禁將此資料集納入模型訓練或微調語料中，否則將使後續任何基於此基準的跨語言能力測量失去效力。
相關參考連結
- Hugging Face 官方資料集：https://huggingface.co/datasets/Qwen/BabelArena
- GitHub 官方程式碼庫：https://github.com/QwenLM/BabelArena
- arXiv 技術論文（arXiv:2609.23490）：https://arxiv.org/abs/2609.23490
- arXiv 論文 HTML 全文版：https://arxiv.org/html/2609.23490v1
- ModelScope 魔搭社群資料集：https://www.modelscope.ai/datasets/Qwen/BabelArena
- ClawEval 獨立多模態資料集：https://huggingface.co/datasets/claw-eval/Claw-Eval
- 語音之家開源技術解讀：https://speechhome.com/blogs/opensource/2116117584763031552