騰訊混元 Hy-Nomas 深度解析：支援多輪自由文本與連續鏡頭控制的 8B 開源互動式世界模型
騰訊混元視覺生成團隊（Tencent Hy Visual Generation Team）於 2026 年 10 月正式開源 Hy-Nomas，這是一款基於 80 億參數（8B）擴散架構的互動式影片世界模型（Interactive Video World Model）。不同於傳統「單一提示詞生成固定短片」的文生影片模型，或僅支援鍵盤離散按鍵的即時世界模擬器，Hy-Nomas 模型庫讓使用者能以「片段自回歸（Segment-Autoregressive）」方式逐段生成世界：每完成一個片段，使用者都能隨時輸入自由形式的自然語言指令（如新增角色動作、召喚物件、改變天氣或視覺風格）或注入連續的 3D 攝影機運動軌跡，並在同一個持續演進的世界中無縫接續生成。
專案採用寬鬆的 Apache-2.0 開源授權，同步於 Tencent-Hunyuan/Hy-Nomas GitHub 儲存庫與 Hugging Face 模型頁面釋出完整模型權重、推論與訓練程式碼、Docker 容器映像檔、LoRA 微調工作流、包含 280 個測試案例的 Hy-Nomas-Bench 評測基準，以及免安裝即可在瀏覽器體驗的 Hy-Nomas 線上互動 Demo 與完整技術報告 arXiv:2610.36729。
核心定位解決多輪互動、時序因果與消費級單卡部署三大難題
根據 Hy-Nomas 技術報告全文，建構可自由操控的互動式影片世界模型，必須克服傳統雙向擴散變換器（Bidirectional DiT）在長時序互動中的四大瓶頸：
- 維持跨片段因果性與歷史記憶：模型必須依據已生成的歷史畫面與最新指令生成下一段影片，並透過持久化 Key-Value（KV）快取跨回合傳遞視覺與語義上下文，避免未來資訊洩漏。
- 抑制誤差累積與畫面崩壞：由於前一片段的生成結果會成為下一片段的條件，微小的生成誤差容易在長時序推論中放大為角色外貌漂移、物理動作失真或場景結構崩解。
- 解耦持久環境描述與局部動作指令：多輪互動中，場景設定與角色特徵必須跨片段持續生效，但特定動作指令（例如「拿起桌上的蘋果」）只能在指定的時間視窗內執行一次，不能在後續片段中無限重播。
- 兼顧高畫質與消費級硬體推論效率：經過擴散蒸餾（Diffusion Distillation）後，模型僅需 4 至 8 個去噪步數（Denoising Steps）即可輸出 24 FPS 的 720 × 1280 高畫質影片，並提供專為單張 NVIDIA GeForce RTX 4090（24 GB VRAM）設計的 INT8 / FP8 量化與 CPU 卸載推論配置。
四大核心模組協同實現片段自回歸與多模態條件控制
根據 Hugging Face 模型卡與 arXiv 論文架構章節，Hy-Nomas 以 HunyuanVideo 1.5 為基礎進行深度改造，由視覺語言提示詞增強器（Nomas-PE）、動作感知因果擴散變換器（MMDiT）、連續攝影機軌跡交叉注意力模組，以及高壓縮潛在空間與 PixelUMM 解碼器四大核心組件構成。
| 架構維度 | 配置規格與技術細節 |
|---|---|
| 模型識別碼与開源授權 | Hy-Nomas（Apache-2.0 License，參數規模 8B） |
| 主幹網路（Transformer Backbone） | 54 層雙流多模態擴散變換器（Dual-Stream MMDiT Blocks），0 層單流區塊 |
| 隱藏層維度與前饋網路（MLP） | 隱藏層維度 2,048；MLP 擴展倍率 4×（中間層維度 8,192） |
| 自注意力機制与位置編碼 | 16 個注意力頭（每頭 128 維）；3D RoPE 位置編碼（時間/高度/寬度維度分配 [16, 56, 56]，$\theta = 256$） |
| 影片自編碼器（Video VAE） | 因果式 DCAE-V（f32t4c32），32 通道潛在空間，32× 空間壓縮、4× 時間壓縮，Patch 大小 $1 \times 1 \times 1$ |
| 文本條件編碼器（Text Conditioning） | 凍結的 Qwen2.5-VL-7B-Instruct 語言模型（3,584 維，最大長度 1,280 tokens）搭配雙層時間步感知 Token Refiner 投影至 2,048 維 |
| 提示詞增強器（Prompt Enhancer） | 基於 Qwen3.8-27B 微調的 Nomas-PE，將多輪對話與歷史影片轉譯為結構化 JSON 密集描述 |
| 攝影機控制（Camera Conditioning） | 4 幀一組的 $4 \times 4$ 相對外參矩陣展平為 64 維向量，每層 MMDiT 配置 1,024 維（16 頭）跨注意力模組 |
| 像素空間解碼器（Video Decoder） | 微調並經 DMD2 蒸餾為單步推論的 PixelUMM（36 層 Transformer、4,096 維隱藏層、32 查詢頭 / 8 KV 頭） |
| 預測目標與推論採樣 | 32 通道潛在流速度（Flow Velocity）；Euler ODE 求解器，蒸餾模型每片段 4 至 8 步去噪，輸出 720 × 1280 @ 24 FPS |
動作感知因果注意力（Action-Aware Causal Attention）消除動作錯序與跨片段重播
在 arXiv:2610.36729 第 3.1 節中，研究團隊指出若僅將雙向注意力改為單純的「片段級因果注意力（Segment-Wise Causal Attention）」，會產生兩個嚴重問題：一是片段內動作時序錯亂（查詢 token 可看到同片段內所有時間點的動作描述），二是跨片段動作重複執行（後續片段的影片 token 仍能讀取早期片段的動作指令，導致舊動作反覆重演）。
為此，Hy-Nomas 將每個片段的結構化文本切分為「環境描述標頭（Descriptive Head）」與帶有明確起訖時間戳記的「動作尾部（Action Tails，$a_0, \ldots, a_n$）」：
- 片段內動作對齊（Within-Segment Action Alignment）：特定時間視窗內的影片查詢 token 僅能關注對應時間窗的動作 token 以及同片段的環境描述標頭，確保多個連續動作嚴格按照時間軸依序發生。
- 跨片段動作隔離（Cross-Segment Action Isolation）：環境描述標頭會保留在 KV 快取中供當前與後續所有片段讀取，以維持角色身分與場景連貫性；而動作尾部則被嚴格限制在原始片段內，後續片段無法再次讀取已執行完畢的動作指令，從根本解決舊動作重播問題。
相對位姿編碼與混合控制訓練支援連續 3D 運鏡與鍵盤操控
不同於將鏡頭移動量化為少數離散方向鍵的世界模型，Hy-Nomas 架構計算每個片段內相鄰幀的相對位姿變換 $\Delta P_t = P_{t-1}^{-1} P_t$，並以全影片平移幅度的第 99 百分位數進行歸一化，使鏡頭控制完全獨立於全域座標系與前序片段位姿。每 4 個連續幀的 $4 \times 4$ 轉換矩陣會展平為 64 維向量，對應 DCAE-V 的 4× 時間壓縮率，生成與潛在幀一對一對齊的 Camera Token，並在每個 MMDiT 區塊的視覺 MLP 之後透過交叉注意力（Cross-Attention）注入視覺分支。
在訓練階段，系統以 50% 機率隨機關閉單一片段的攝影機軌跡條件，並在啟用軌跡條件時移除字幕中的 <CameraN> 文字描述，使模型學會自由切換「純文本導演模式」與「3D 軌跡/WASD 鍵盤導航模式」。推論時，使用者的 W/A/S/D 平移與方向鍵/滑鼠旋轉輸入會逐幀累積為連續的相機外參矩陣，無需重新訓練即可自由調整移動速度与旋轉強度。
視覺語言提示詞增強器（Nomas-PE）與單步 PixelUMM 解碼器提升互動品質
為了讓一般使用者能以簡短口語指揮世界演進，Hy-Nomas 系統配備了基於 Qwen3.8-27B 監督微調的視覺語言模型 Nomas-PE。在第一回合，Nomas-PE 會根據使用者設定的主角與場景生成包含視角、風格、主角靜態特徵表（subject_list）與初始場景（visual_description_long）的結構化 JSON；在後續回合中，Nomas-PE 會同時讀取過往所有對話與已生成的影片片段，自動推斷下一片段所需的場景變化（description_change）、動作序列（contained_actions）與建議時長。在端到端人工評測中，Nomas-PE 對結構化輸出格式的遵循率接近 100%（顯著優於原始 Qwen3.8-27B 的 50% 與 Kimi-K3 的 70%）。
在影片解碼端，由於 DCAE-V 高達 $32 \times 32 \times 4$ 的高倍率壓縮容易使原生解碼器在複雜自然紋理上產生網格狀偽影，團隊改用基於 PixelUMM 微調並經 DMD2 蒸餾為**單步推論（1-step decoding）**的擴散解碼器，搭配滑動磚塊注意力（Sliding-Tile Attention）與餘弦權重時間窗重疊混合，在單張 RTX 4090 上以 FP8 精度即可還原細膩的高頻視覺細節。
五階段漸進式訓練與自回歸蒸餾突破長序列訓練瓶頸
根據 arXiv:2610.36729 第 4 與第 5 節，研發團隊結合了 ViPE 攝影機軌跡估計、CoTracker3 點追蹤與 AnyCalib 畸變過濾、V-JEPA 2 時序切分，以及 Gemma 4、Qwen3.5-122B-A10B 與 Kimi K3 多階段密集標註，建構出高品質訓練語料。在基礎設施上，團隊整合 8 路 Ulysses 序列平行（Sequence Parallelism）、FSDP2 混合分片、MagiAttention 的 Flex-Flash-Attention（FFA）結構化遮罩核心、FLOPs 平衡序列打包（支援將 5 至 75 秒的 480p/720p 影片打包至最高 360K tokens），以及基於 Canzona 的分散式 Muon 優化器與 ByteCheckpoint 非同步檢查點技術，分五個階段將雙向文生影片模型轉化為少步數自回歸世界模型：
| 訓練階段 | 訓練策略與核心機制 | 主要資料與監督訊號 | 階段目標與解鎖能力 |
|---|---|---|---|
| Stage 1：潛在空間適配 | 凍結中間層更新輸出入層 20K 步，再全模型更新 60K 步 | HunyuanVideo 1.5 初始化與基礎影片語料 | 將原本 16× 空間壓縮的 VAE 無縫遷移至 32× 空間壓縮的 DCAE-V 高壓縮潛在空間 |
| Stage 2：持續預訓練（CPT） | 依序推進「片段因果 CPT → 動作感知 CPT → 鏡頭條件 CPT」 | 具時序標註之多樣化影片，攝影機軌跡與純文本按 1:1 混合 | 建立跨片段因果生成、學習精確動作時間窗與跨片段動作隔離，將上下文由 180K 擴展至 360K tokens，並融入連續 3D 鏡頭控制 |
| Stage 3：高品質退火（Annealing） | 擴展最大文本長度由 768 至 1,280 tokens，精煉流匹配目標 | 經嚴格篩選的高畫質影片，搭配 Kimi K3 密集標註與高可靠度 ViPE 軌跡 | 全面提升畫面質感、複雜指令遵循能力與鏡頭運動精準度 |
| Stage 4：片段強制（Segment Forcing） | 序列式片段去噪、單步低噪聲上下文估計與串流反向傳播（Streaming Backward） | 高品質退火資料子集，以模型自身預測建構 KV 快取 | 讓模型在訓練時直接面對自身預測誤差產生的歷史快取，消除訓練與自回歸推論之間的暴露偏差（Exposure Bias） |
| Stage 5：少步數自回歸蒸餾（Autoregressive Distillation） | 結合因果擴散蒸餾與少步數軌跡匹配技術 | 蒸餾為 4 至 8 步的少步數取樣器 | 將原本需要數十步去噪的高開銷推論過程壓縮至 4 至 8 步，大幅降低每段影片的生成延遲，實現流暢的即時互動體驗 |
Hy-Nomas-Bench 評測基準與對照實驗
為了客觀衡量互動式世界模型的動態演進能力，騰訊混元團隊同步建立了包含 280 個真實互動測試案例的開源評測基準 Hy-Nomas-Bench。評測涵蓋四大核心維度：角色動作精準度（Action Alignment）、長時序時空一致性（Temporal Consistency）、指令遵循度（Instruction Following）以及 3D 鏡頭運動控制誤差（Camera Tracking Error）。
在與現有開源影片生成模型（如 HunyuanVideo、CogVideoX、Cosmos 等）的對照實驗中，傳統雙向模型在執行多輪接續指令時容易出現角色外貌突變、動作順序錯亂或畫面逐步模糊崩潰；而 Hy-Nomas 受惠於動作感知因果注意力與片段強制訓練，在多輪連續指令下的指令遵循率達到 89.4%，時序一致性指標顯著領先同類模型，成功重現了類似頂級專有世界模型 Genie 4 的高流暢度即時互動效果。
單卡 RTX 4090 本地部署與推論指南
Hy-Nomas 原生支援多卡序列平行（Ulysses Sequence Parallelism），同時針對個人創作者與邊緣開發者提供了專為單張 NVIDIA GeForce RTX 4090（24 GB VRAM） 設計的低顯存推論配置：
1. 單卡低顯存優化機制
- INT8 權重與 KV 快取量化：將 54 層 MMDiT 主幹網路權重與長時序 KV 快取以 INT8 精度載入，大幅降低顯存峰值需求。
- PixelUMM 解碼器 FP8 加速：採用單步蒸餾後的 PixelUMM 影像解碼器，以 FP8 精度執行還原，大幅加速像素重構並消除偽影。
- CPU 記憶體動態卸載（Offloading）：在文字編碼（Qwen2.5-VL-7B）與 VAE 編解碼階段動態將非活躍模組移至系統 RAM，將 GPU 顯存峰值嚴格壓制在 20.5 GB 以內。
2. 環境安裝與推論實戰
# 1. 複製官方儲存庫並安裝依賴
git clone https://github.com/Tencent-Hunyuan/Hy-Nomas.git
cd Hy-Nomas
pip install -r requirements.txt
# 2. 下載模型權重
huggingface-cli download tencent/Hy-Nomas --local-dir checkpoints/Hy-Nomas
# 3. 以單卡低顯存模式執行文字與攝影機互動推論
python inference.py --model_path checkpoints/Hy-Nomas --prompt "A medieval knight walks through a dense forest, sunlight filtering through leaves." --action "The knight draws his sword and looks alert." --low_vram --output_dir outputs/
此外，社群開發者也為 Hy-Nomas 整合了 ComfyUI 客製節點 與基於 Gradio 的互動 WebUI，支援鍵盤 WASD 導航與即時文字指令輸入，讓創作者能在視覺化工作流中逐段生成並導引虛擬世界。
相關連結與資源彙整
- 官方研究專案主頁：https://hy-nomas.hy.tencent.com/
- 線上互動展示（Demo）：https://hy-nomas.hy.tencent.com/demo
- GitHub 官方開源儲存庫：https://github.com/Tencent-Hunyuan/Hy-Nomas
- Hugging Face 官方模型主頁：https://huggingface.co/tencent/Hy-Nomas
- Hugging Face 評測資料集（Hy-Nomas-Bench）：https://huggingface.co/datasets/tencent/Hy-Nomas-Bench
- arXiv 研究技術報告（arXiv:2610.36729）：https://arxiv.org/abs/2610.36729
- arXiv 論文 HTML 全文版：https://arxiv.org/html/2610.36729v1