Runway 正式開源世界動作模型 Praxis-1:將大規模影片預訓練轉化為機器人控制能力
2026 年 11 月 11 日,AI 影片技術公司 Runway 正式宣布全面開放其首款世界動作模型(World Action Model, WAM)——Praxis-1 的模型權重與程式碼,並採用允許商業使用的 Apache 2.0 授權釋出。繼 2026 年 9 月首度對外發表並由合作夥伴先行測試後,如今所有機器人開發者與研究人員皆可透過 Hugging Face 模型合集與 GitHub 儲存庫 下載並部署。
核心技術架構:27.2B MoE 影片擴散與動作專家協同
根據 Runway 官方公告 與 Hugging Face 基礎模型卡 的技術規格,Praxis-1 採用混合專家(Mixture-of-Experts, MoE)擴散 Transformer 架構,能將「未來畫面預測」與「機器人動作生成」整合於單一模型中:
- 模型規模與結構:總參數量為 27.2B(官方簡稱 27B),結合區塊因果影片擴散主幹(chunk-causal video-diffusion trunk)與 0.3B 參數的動作專家(action expert)。
- 控制頻率與輸出:以 15 Hz 控制頻率運作,每次推論輸出 24 步動作區塊(action chunks),同時預測接下來的環境視覺變化與對應控制指令。
- 權重與相依組件:BF16 格式權重容量為 54.4 GB(分為 17 個 safetensors 分片),並搭配凍結的外部組件 Wan2.2 VAE 與 Qwen/Qwen3.5-2B 文字編碼器(該兩項相依組件依各自授權另行分發)。
從網路影片到實體控制:解決機器人資料稀缺瓶頸
傳統機器人策略模型高度依賴昂貴且難以規模化的遙操作(teleoperated)示範資料。Runway 的研究指出,大規模網路影片作為策略效能預訓練資料的表現,已可媲美遙操作機器人影片。Praxis-1 建立在與 Runway 通用世界模型相同的大規模影片預訓練基礎上,先從一般影片中學習物體互動方式與物理規律,再進行機器人與人類影片的混合中訓練(mid-training)。
其基礎檢查點 runwayml/praxis-1-base(P-base r13,step 526,120)已跨越 18 種機器人本體(embodiments) 訓練。由於訓練重心轉移至通用影片表徵,開發者只需透過輕量微調或 LoRA,即可將模型快速適配至新的機器人構型、攝影機視角與特定任務,無須從頭重新訓練整個模型。
基準測試與跨硬體遷移表現
在 Runway 公布的評估資料 中,Praxis-1 在多項模擬與真實基準測試展現領先成績:
NVIDIA RoboLab-120 排行榜(1,200 次實驗平均成功率)
| 模型 | 類型 / 比較基準 | RoboLab-120 成功率 | 來源 |
|---|---|---|---|
| Praxis-1 | 開源 World Action Model | 46.2% | Runway 官方公告 |
| FLUX 3 Action | World Action Model | 42.9% | Runway 官方公告 |
| Cosmos3 Nano | 世界模型基準 | 36.8% | Runway 官方公告 |
| π0.5 | 開源 VLA 模型 | 28.0% | Runway 官方公告 |
跨本體遷移與提示詞遵循能力
- 未知本體遷移(SimplerEnv):在完全未出現於預訓練資料的 Google RT-1 機器人平台上微調後,Praxis-1 在 SimplerEnv 達到 80.0% 成功率,顯著超越原始 RT-1 策略的 52.4%(Runway 官方公告)。
- DROID 提示詞遵循:針對單臂 Franka + Robotiq 夾爪平台微調的
runwayml/praxis-1-droid,在runwayml/praxis-1-eval自回歸提示詞遵循測試集中達到 52.5% 完全遵循率(95% 信賴區間為 [35.8, 68.3])。
生態系整合、硬體支援與早期合作夥伴
Runway 表示,身為 Cosmos Coalition 創始成員,本次開源旨在促進實體 AI(Physical AI)的互通性與開放生態。Praxis-1 目前已獲得多家機器人公司與軟體框架支援:
- 早期產業合作夥伴:Noble Machines(雙足人形機器人)、Standard Bots(六軸工業機械臂)與 Ultra(雙臂倉儲機器人)已於自有硬體上實際運行測試。
- 硬體支援:開箱即用支援 NVIDIA 全系列平台,涵蓋資料中心 GPU(H100、B200)、工作站 GPU(RTX 5090、RTX PRO 6000)以及機器人端邊緣運算平台 Jetson Thor(Runway 官方公告)。
- 框架與部署選項:提供原生 LeRobot 整合文件、vLLM-Omni 推論支援、Runway Reactor 託管推論服務,以及 NVIDIA NeMo Automodel 後訓練實作教學。
Hugging Face 模型合集主要版本一覽
在 runwayml/praxis-1 合集 中,Runway 釋出了基礎模型、特定平台微調版本、LeRobot 相容格式與 NVFP4 量化版本:
| 模型 / 資源名稱 | 說明與適用硬體平台 | 連結 |
|---|---|---|
| praxis-1-base | 基礎中訓練權重(無 action heads,供新硬體微調起點) | Hugging Face |
| praxis-1-base-lerobot | 轉換為 LeRobot 策略格式的基礎權重 | Hugging Face |
| praxis-1-droid | 單臂 DROID 平台(Franka + Robotiq 夾爪)微調版本 | Hugging Face |
| praxis-1-droid-lerobot | LeRobot 格式的 DROID 微調版本 | Hugging Face |
| praxis-1-droid-nvfp4 | DROID 微調版本的 NVFP4 量化權重 | Hugging Face |
| praxis-1-yam | 雙臂 YAM 平台(雙臂 + 頂部及雙腕部攝影機)微調版本 | Hugging Face |
| praxis-1-yam-nvfp4 | YAM 微調版本的 NVFP4 量化權重 | Hugging Face |
| praxis-1-so101-nvfp4 | SO101 平台的 NVFP4 量化權重 | Hugging Face |
相關連結彙整
- 官方發布公告:Runway — Praxis-1 Is Now Available
- Hugging Face 模型合集:runwayml/praxis-1 Collection
- 開源程式碼儲存庫:GitHub — runwayml/praxis-1-oss
- LeRobot 官方整合文件:Hugging Face LeRobot — Praxis-1 Docs