字節跳動開源 Bernini：不只會剪片，這個 AI 還能理解因果關係生成影片

解析字節跳動開源影片 AI 模型 Bernini：MLLM 與 DiT 的巧妙分工架構

影片生成的技術邏輯正在發生有趣的轉變。你知道嗎？過去的影片模型通常會將理解指令與生成畫面混合在一起處理。這往往會造成運算資源浪費，甚至讓畫面細節無故流失。為了解決這個長久以來的痛點，字節跳動研發團隊帶來了全新的 Bernini 專案。這是一個將大型多模態語言模型 (MLLM) 與擴散模型 (DiT) 完美結合的統一影片生成與編輯框架。

說實話，要在同一個系統內完美支援多種複雜任務並不容易。但 Bernini 成功打破了過去的技術限制。它在同一套系統內順利支援了文字生成影片 (T2V)、影片到影片編輯 (V2V)，以及參考圖像引導影片編輯 (RV2V) 等多樣化任務。這意味著數位創作者可以直接在一個框架內完成所有工作，流程變得更加直觀且流暢。

大腦與畫師的聰明分工

這到底是如何做到的呢？讓我們來詳細拆解。Bernini 採用了非常聰明的分工策略，將複雜的生成過程拆解為兩個專業領域。

它讓 MLLM 擔任「規劃師」的角色。這個語言模型負責高階的語義推理，它會先仔細理解使用者輸入的複雜指令，並在 ViT 嵌入空間中直接預測目標畫面的語義特徵。接著，DiT 擔任「渲染器」接手後續工作。渲染器接收到規劃好的語義特徵後，結合原始視覺素材的細節，專心將其轉化為極具真實感的高畫質像素畫面。

這種分工讓兩者可以各自發揮所長。語言模型保留了強大的理解力，而渲染器則能專注於畫面的精緻度與光影細節。兩者搭配起來，不僅訓練效率大幅提升，產出的視覺效果也令人驚豔。

解決特徵混淆與具備強大推理力

社群中經常有人提問，模型在進行複雜的影片編輯時，是否容易產生畫面背景錯亂的問題？這確實是一個常見的技術瓶頸。許多模型常會把參考圖片的背景錯誤貼到目標影片中。

為了解決多重視覺特徵混淆的難題，研發團隊特別引入了「片段感知 3D 旋轉位置編碼」技術 (SA-3D RoPE)。這項獨特技術為不同的視覺素材賦予獨立的索引標籤。它明確告訴模型哪些特徵屬於主體，哪些屬於背景，確保畫面元素各自安好。

此外，這套模型真正令人驚訝的是它具備物理與因果推理能力。它不單單只是做簡單的物件替換，還具備了邏輯思考能力。舉例來說，當給予一段營火燃燒的影片，並輸入提示詞詢問如果長時間下大雨會發生什麼事。模型能夠立刻推理出因果關係，自動生成營火被雨水澆熄的動態影片。這種具備物理常識的推理表現在傳統影片編輯工具中是非常少見的。

多元任務處理與頂尖實測表現

不少使用者也十分好奇，這套開源框架具體能處理哪些實際任務？老實說，它的應用範圍相當廣泛且實用。

從單純的文字生成影片，到進階的參考影像引導編輯，它都能輕鬆勝任。使用者可以輕易地將影片背景從森林替換成高山，把普通的草地變成被白雪覆蓋的冬季樂園，甚至根據單張參考圖片，將影片中人物的服裝材質替換為特定的布料。

在業界標準的評測集以及專屬的競技場平台中，透過人類標註員的盲測投票，這套模型的綜合表現極為優異。特別是在影片畫面一致性與指令遵循能力上，它的實測分數甚至超越了市面上極受歡迎的強大商業模型，例如 Kling O3 與 Wan2.7。它確實達到了領先級別的水準。

硬體部署需求與全面開源狀態

那麼，要運行這樣一套強大的系統需要什麼樣的硬體配備呢？這絕對是開發者最關心的問題。

官方技術文件強烈建議使用 Hopper 架構的顯示卡，例如 H100、H800 或 H200。這樣的硬體配置可以順利啟用 FlashAttention-3 技術，確保最佳的生成品質與運算效率。若是需要處理更龐大的運算，使用多 GPU 配置時還可以搭配 Ulysses 序列並行技術來提升整體處理量。

最棒的消息是，字節跳動團隊秉持著推動開源社群發展的精神，已經將這套模型的資源毫無保留地釋出。包含基於 Wan2.2 架構的模型權重，以及完整的推論程式碼，目前都已經完整發布於 Hugging Face 平台與 GitHub 上。

整個專案採用 Apache 2.0 授權。這代表世界各地的研究人員與開發者都能不受過多限制地直接下載使用。大家可以自由探索這套兼具語言理解與視覺渲染能力的強大框架，共同探索影片生成技術的下一個可能性。

問與答

Q1：阿里通義新推出的 Qwen3.7-Plus 模型具備哪些核心能力？它能整合進哪些開發工具中？ A：Qwen3.7-Plus 是一款多模態交互混合智能體（Multimodal Interactive Hybrid Agent），它將視覺理解與語言推理完美融合。它不僅能進行純文字對話，還能感知真實世界場景、讀取螢幕、操作圖形使用者介面（GUI）與指令列（CLI），甚至能將視覺參考圖直接轉化為可執行的前端程式碼。此外，它具備強大的跨框架泛化能力，能夠無縫整合並穩定運行於 Claude Code、OpenClaw 以及 Qwen Code 等主流代理開發框架中。

Q2：字節跳動開源的 Bernini 影片框架，是如何透過「分工策略」來提升影片生成與編輯的精準度？ A：Bernini 首創了將大型多模態語言模型（MLLM）與擴散模型（DiT）結合的架構。在這個系統中，MLLM 擔任「語義規劃師（Semantic Planner）」，專注於高階的語義推理並預測目標的視覺特徵；而 DiT 則擔任「渲染器（Renderer）」，負責接收這些語義特徵，並將其轉化為高保真、具備豐富細節的像素畫面。這種大腦與畫師的分工，讓模型在處理複雜指令與保持畫面一致性上表現更加優異。

Q3：JetBrains 開源的 Mellum2 模型適合應用在哪些軟體工程情境？ A：Mellum2 是一個 12B 參數的混合專家（MoE）模型，專為 AI 驅動的開發工作流程量身打造。它捨棄了龐大的多模態功能，換來極快的推論速度與高吞吐量，這使得它非常適合用於建構檢索增強生成（RAG）管道、任務路由、建立子代理（Sub-agents），以及企業為了保護程式碼隱私而進行的本地端私有化部署（Private deployment）。

Q4：Cursor 針對 Teams 團隊方案進行了哪些計費機制的優化？如何解決重度使用者的超支痛點？ A：為了讓團隊更精準地控制成本，Cursor 將標準席位（每月 40 美元）的額度明確拆分為兩個獨立的用量池：一個專供自家的 Composer 與 Auto 功能使用，另一個則專門用於第三方 API。針對消耗大量額度的極端「重度使用者」，Cursor 推出全新的 Premium 席位。企業只需支付大約 3 倍的成本（年繳每月 96 美元或月繳 120 美元），即可獲得標準席位 5 倍的包含用量，足以涵蓋 99% 使用者一整個月的高強度需求。

Q5：近期 Reddit 社群對 Codex 的 API 額度限制為何引發強烈反彈？開發者提出了什麼替代方案？ A：許多依賴免費帳號（Free）與 Go 方案的開發者發現，Codex 的額度重置週期毫無預警地從原本的「每週（7天）」被拉長到了「每月（30天）」。這項突如其來的改變大幅壓縮了學生與業餘開發者在週末進行個人專案的彈性。面對這種情況，不少使用者在討論串中表示，正準備將工作流程全面遷移至收費更低廉的 DeepSeek API 作為替代方案。