跳至主要內容

工具與應用

Runway 正式開源世界動作模型 Praxis-1:將大規模影片預訓練轉化為機器人控制能力

Runway 以 Apache 2.0 授權開源 27.2B MoE 世界動作模型 Praxis-1,整合影片擴散主幹與 0.3B 動作專家,以 15 Hz 控制頻率運作,在 NVIDIA RoboLab-120 取得 46.2% 成功率。

Runway 正式開源世界動作模型 Praxis-1:將大規模影片預訓練轉化為機器人控制能力

2026 年 11 月 11 日,AI 影片技術公司 Runway 正式宣布全面開放其首款世界動作模型(World Action Model, WAM)——Praxis-1 的模型權重與程式碼,並採用允許商業使用的 Apache 2.0 授權釋出。繼 2026 年 9 月首度對外發表並由合作夥伴先行測試後,如今所有機器人開發者與研究人員皆可透過 Hugging Face 模型合集與 GitHub 儲存庫 下載並部署。


核心技術架構:27.2B MoE 影片擴散與動作專家協同

根據 Runway 官方公告 與 Hugging Face 基礎模型卡 的技術規格,Praxis-1 採用混合專家(Mixture-of-Experts, MoE)擴散 Transformer 架構,能將「未來畫面預測」與「機器人動作生成」整合於單一模型中:

  • 模型規模與結構:總參數量為 27.2B(官方簡稱 27B),結合區塊因果影片擴散主幹(chunk-causal video-diffusion trunk)與 0.3B 參數的動作專家(action expert)。
  • 控制頻率與輸出:以 15 Hz 控制頻率運作,每次推論輸出 24 步動作區塊(action chunks),同時預測接下來的環境視覺變化與對應控制指令。
  • 權重與相依組件:BF16 格式權重容量為 54.4 GB(分為 17 個 safetensors 分片),並搭配凍結的外部組件 Wan2.2 VAE 與 Qwen/Qwen3.5-2B 文字編碼器(該兩項相依組件依各自授權另行分發)。

從網路影片到實體控制:解決機器人資料稀缺瓶頸

傳統機器人策略模型高度依賴昂貴且難以規模化的遙操作(teleoperated)示範資料。Runway 的研究指出,大規模網路影片作為策略效能預訓練資料的表現,已可媲美遙操作機器人影片。Praxis-1 建立在與 Runway 通用世界模型相同的大規模影片預訓練基礎上,先從一般影片中學習物體互動方式與物理規律,再進行機器人與人類影片的混合中訓練(mid-training)。

其基礎檢查點 runwayml/praxis-1-base(P-base r13,step 526,120)已跨越 18 種機器人本體(embodiments) 訓練。由於訓練重心轉移至通用影片表徵,開發者只需透過輕量微調或 LoRA,即可將模型快速適配至新的機器人構型、攝影機視角與特定任務,無須從頭重新訓練整個模型。

Praxis-1 世界動作模型訓練與控制管線從大規模網路影片學習物理規律,跨 18 種機器人本體中訓練並以 15 Hz 同步輸出動作
通用影片預訓練從大規模網路影片學習物體互動方式與物理規律
跨本體混合中訓練整合機器人與人類影片,跨越 18 種機器人本體
輕量或 LoRA 微調快速適配新機器人構型、攝影機視角與任務
15 Hz 同步動作輸出同時預測環境視覺變化與 24 步動作區塊
資料來源:GitHub 官方倉庫

基準測試與跨硬體遷移表現

在 Runway 公布的評估資料 中,Praxis-1 在多項模擬與真實基準測試展現領先成績:

NVIDIA RoboLab-120 排行榜(1,200 次實驗平均成功率)

模型類型 / 比較基準RoboLab-120 成功率來源
Praxis-1開源 World Action Model46.2%Runway 官方公告
FLUX 3 ActionWorld Action Model42.9%Runway 官方公告
Cosmos3 Nano世界模型基準36.8%Runway 官方公告
π0.5開源 VLA 模型28.0%Runway 官方公告
NVIDIA RoboLab-120 排行榜(1,200 次實驗平均)Praxis-1 取得 46.2% 成功率,領先多款世界模型與開源 VLA 模型
RoboLab-120 平均成功率(0–100%)
Praxis-146.2% FLUX 3 Action42.9% Cosmos3 Nano36.8% π0.528.0%
資料來源:Runway 官方公告

跨本體遷移與提示詞遵循能力

  • 未知本體遷移(SimplerEnv):在完全未出現於預訓練資料的 Google RT-1 機器人平台上微調後,Praxis-1 在 SimplerEnv 達到 80.0% 成功率,顯著超越原始 RT-1 策略的 52.4%(Runway 官方公告)。
  • DROID 提示詞遵循:針對單臂 Franka + Robotiq 夾爪平台微調的 runwayml/praxis-1-droid,在 runwayml/praxis-1-eval 自回歸提示詞遵循測試集中達到 52.5% 完全遵循率(95% 信賴區間為 [35.8, 68.3])。

生態系整合、硬體支援與早期合作夥伴

Runway 表示,身為 Cosmos Coalition 創始成員,本次開源旨在促進實體 AI(Physical AI)的互通性與開放生態。Praxis-1 目前已獲得多家機器人公司與軟體框架支援:

  • 早期產業合作夥伴:Noble Machines(雙足人形機器人)、Standard Bots(六軸工業機械臂)與 Ultra(雙臂倉儲機器人)已於自有硬體上實際運行測試。
  • 硬體支援:開箱即用支援 NVIDIA 全系列平台,涵蓋資料中心 GPU(H100、B200)、工作站 GPU(RTX 5090、RTX PRO 6000)以及機器人端邊緣運算平台 Jetson Thor(Runway 官方公告)。
  • 框架與部署選項:提供原生 LeRobot 整合文件、vLLM-Omni 推論支援、Runway Reactor 託管推論服務,以及 NVIDIA NeMo Automodel 後訓練實作教學。

Hugging Face 模型合集主要版本一覽

在 runwayml/praxis-1 合集 中,Runway 釋出了基礎模型、特定平台微調版本、LeRobot 相容格式與 NVFP4 量化版本:

模型 / 資源名稱說明與適用硬體平台連結
praxis-1-base基礎中訓練權重(無 action heads,供新硬體微調起點)Hugging Face
praxis-1-base-lerobot轉換為 LeRobot 策略格式的基礎權重Hugging Face
praxis-1-droid單臂 DROID 平台(Franka + Robotiq 夾爪)微調版本Hugging Face
praxis-1-droid-lerobotLeRobot 格式的 DROID 微調版本Hugging Face
praxis-1-droid-nvfp4DROID 微調版本的 NVFP4 量化權重Hugging Face
praxis-1-yam雙臂 YAM 平台(雙臂 + 頂部及雙腕部攝影機)微調版本Hugging Face
praxis-1-yam-nvfp4YAM 微調版本的 NVFP4 量化權重Hugging Face
praxis-1-so101-nvfp4SO101 平台的 NVFP4 量化權重Hugging Face

相關連結彙整

謝謝你,讀到這裡。

保持好奇,明天繼續探索。

© 2026 Communeify. All rights reserved.