影音同步新高度：LTX-2 開源模型登場，單一模型搞定畫面與聲音

探索 Lightricks 最新推出的 LTX-2 模型，這款基於 DiT 架構的開源工具不僅能生成高畫質影片，還能同步產出音效。本文深入解析其技術規格、ComfyUI 整合方式及訓練特點，讓創作者輕鬆掌握影音生成的最新利器。

影音生成的全新突破：LTX-2 來了

大家有沒有發現，最近 AI 影片生成的工具雖然多，但總覺得少了點什麼？通常我們生成的影片是「默劇」，想要聲音還得另外找工具配音，這中間的割裂感常常讓人頭痛。

Lightricks 團隊顯然聽到了這個痛點。他們最近發布了 LTX-2，這是一個令人興奮的開源模型。這東西最酷的地方在於，它是一個「基於 DiT 的音視訊聯合基礎模型」（Joint Audio-Visual Foundation Model）。簡單來說，它不需要你分別生成畫面和聲音然後再辛苦地對齊，LTX-2 能在生成影片的同時，直接產出同步的音訊。這對於想要在本機端運行高品質 AI 影片生成的創作者來說，絕對是個好消息。

這篇文章會帶大家詳細了解 LTX-2 的特點、技術規格以及如何使用它。我們會盡量避開艱澀難懂的術語，用最直白的方式告訴你為什麼這個模型值得關注。

什麼是 LTX-2？核心技術解析

LTX-2 並非只是對前代產品的簡單升級。它整合了現代影片生成的核心模組，是一個真正的多模態模型。

DiT 架構與單一模型優勢

LTX-2 採用了 DiT（Diffusion Transformer）架構。與過去那些將影片生成和音訊生成分開處理的模型不同，LTX-2 的設計理念是「同步」。這意味著模型在理解你的提示詞（Prompt）時，是同時構思畫面該長什麼樣、聲音該聽起來如何。這種聯合生成的模式，讓聲音與畫面的契合度達到了前所未有的水準。

開源與本機運行的承諾

Lightricks 這次非常大方，直接公開了模型權重（Open Weights）。這代表開發者和創作者可以下載模型，在自己的機器上運行，不用擔心資料隱私問題，也不用受制於昂貴的雲端訂閱服務。對於那些喜歡鑽研技術、想要完全掌控創作流程的人來說，這無疑是一大福音。

LTX-2 的關鍵功能與特點

既然說是新一代模型，那它到底強在哪裡？讓我們來看看它的幾個殺手級功能。

影音同步生成 (Synchronized Audio+Video)

這絕對是 LTX-2 的最大亮點。不管你是輸入文字還是圖片，模型都能在生成動態影像的同時，配上相應的音效。想像一下，生成一段海浪拍打沙灘的影片，同時就能聽到海浪的聲音，而不需要後期合成。這大大簡化了創作工作流。

多樣化的模型版本與量化選擇

為了適應不同的硬體配置，LTX-2 提供了多種版本的模型權重。

• 完整版 (Full Model): 提供最佳品質，適合硬體強大的用戶。
• 蒸餾版 (Distilled): 速度更快，只需較少的步數就能生成影片。
• 量化版本 (fp8, fp4): 這是為了節省顯存（VRAM）而設計的。例如 ltx-2-19b-dev-fp8 或 ltx-2-19b-dev-fp4，讓那些顯卡等級沒那麼頂規的朋友，也能跑得動這個龐然大物。

內建升頻器 (Upscalers)

生成的影片解析度不夠高？幀數不夠流暢？LTX-2 考慮到了這點。它包含了一套升頻工具：

• 空間升頻 (Spatial Upscaler): 用於提高解析度，讓畫面更清晰。
• 時間升頻 (Temporal Upscaler): 用於增加幀率（FPS），讓動作看起來更滑順。 這些工具可以在多階段的工作流中串聯使用，逐步提升影片品質。

生態系整合：ComfyUI 與訓練工具

一個模型好不好用，除了看本體，還要看它的生態系支援度。

無縫整合 ComfyUI

ComfyUI 是目前 AI 繪圖和影片生成領域最受歡迎的介面之一。LTX-2 已經內建於 ComfyUI 的核心節點中，這意味著你不需要繁瑣的安裝步驟，就能在熟悉的節點介面上使用它。你可以利用 LTXVideo 節點輕鬆搭建工作流，實現從文生影、圖生影到後期放大的全套流程。

靈活的訓練能力 (LoRA & Training)

對於想要訓練特定風格或角色的創作者，LTX-2 表現得非常友善。

• LoRA 支援: 你可以使用標準的 LoRA 技術來微調模型，讓它學習特定的畫風。
• IC-LoRA 控制: 提供更精確的生成控制。
• 快速訓練: 官方宣稱，針對動作、風格或相似度（聲音+外觀）的訓練，在許多設定下甚至不用一小時就能完成。這大幅降低了訓練專屬模型的門檻。

安裝與技術需求

想要在自己的電腦上跑 LTX-2，還是需要一點技術底子的。以下是一些關鍵的環境需求。

軟硬體門檻

根據官方文件，這個程式碼庫（Codebase）是一個單體倉庫（Monorepo），包含了模型定義、流程管道和訓練功能。

• Python 版本: 建議使用 Python 3.12 或更高版本。
• CUDA 版本: 需要 CUDA 12.7 以上。
• PyTorch: 支援 PyTorch 約 2.7 版本。

安裝步驟簡介

你可以透過 Github 複製儲存庫來安裝：

git clone https://github.com/Lightricks/LTX-2.git
cd LTX-2
# 在儲存庫根目錄執行
uv sync
source .venv/bin/activate

如果你更習慣使用現成的函式庫，LTX-2 也已經支援 Diffusers Python 庫，這對於開發者來說整合起來會更加順手。詳細的模型資訊和下載連結，都可以直接在 Hugging Face 的 LTX-2 頁面 找到。

使用時的注意事項與限制

雖然 LTX-2 很強大，但我們得誠實面對它的局限性。AI 目前還不是完美的魔法師。

解析度與幀數規則

在設定生成參數時，有一個小細節要注意：

• 長寬設定: 必須是 32 的倍數。
• 幀數設定: 必須是 (8 x N) + 1。 如果你的設定不符合這個規則，輸入會被自動填充並裁切，這可能會導致構圖發生意外的變化。

模型的先天限制

• 事實準確性: 這是一個創意工具，不是搜尋引擎。它無法提供準確的事實資訊。
• 社會偏見: 作為一個統計模型，它可能會反映或放大現有的社會偏見。
• 音訊品質: 雖然它能生成聲音，但在「非語音」的音訊生成上表現較好。如果生成的音訊不包含說話內容，品質可能會下降。
• 提示詞依賴: 生成結果非常依賴你的提示詞風格。如果提示詞寫得不好，影片可能就無法完美呈現你想要的效果。

常見問題 (FAQ)

以下整理了關於 LTX-2 最常見的問題，希望能解答你的疑惑。

Q1: LTX-2 可以商用嗎？

LTX-2 是基於社群授權協議發布的。一般來說，你可以使用完整版、蒸餾版、升頻器及其衍生模型進行創作。但具體的商業用途限制，建議詳細閱讀 Hugging Face 頁面上的 ltx-2-community-license-agreement 以確保合規。

Q2: 我的顯卡記憶體不夠大，還能用嗎？

可以嘗試使用量化版本。Lightricks 提供了 fp8 和 nvfp4 的量化模型，這些版本大幅降低了顯存需求。雖然精度會有些許損失，但對於消費級顯卡來說，這是運行大型模型的最佳妥協方案。

Q3: 除了生成影片，我還能用它做什麼？

除了基本的文生影（Text-to-Video）和圖生影（Image-to-Video），LTX-2 還支援影片轉影片（Video-to-Video）以及各種音訊相關的任務，如音訊轉影片或影片轉音訊。它本質上是一個多功能的影音處理平台。

Q4: 如何訓練自己的 LTX-2 LoRA？

官方提供了非常容易上手的訓練工具。你可以參考 Github 上的 LTX-2 Trainer Readme。只要準備好數據集，訓練動作或風格 LoRA 的過程非常快，甚至不需要昂貴的伺服器集群就能完成。

Q5: 為什麼生成的影片有時候聲音對不上？

雖然 LTX-2 是一個聯合模型，旨在同步生成，但 AI 仍有隨機性。如果遇到對不上的情況，嘗試調整提示詞，或者使用 IC-LoRA 等控制模型來增加生成的精確度。此外，確保你的幀率設定符合模型建議，也有助於改善同步效果。