音声と動画の同期が新たな高みへ：LTX-2 オープンソースモデル登場、単一モデルで映像と音声を生成

Lightricks が新たに発表した LTX-2 モデルを探ります。DiT ベースのこのオープンソースツールは、高品質な動画を生成するだけでなく、効果音も同期して生成します。この記事では、技術仕様、ComfyUI との統合、トレーニング機能について詳しく解説し、クリエイターがこの最新の音声・動画生成ツールを簡単に使いこなせるようにします。

音声・動画生成の新たなブレークスルー：LTX-2 到来

最近、AI 動画生成ツールはたくさんありますが、何か物足りないと感じたことはありませんか？通常、生成される動画は「無声映画」であり、別途ツールを探してアフレコする必要があるため、その間の分断感が頭痛の種になることがよくあります。

Lightricks チームは明らかにこの痛点を理解していました。彼らは最近、LTX-2 という刺激的なオープンソースモデルを発表しました。これの最もクールな点は、DiT に基づく「音声・視覚統合基盤モデル（Joint Audio-Visual Foundation Model）」であることです。簡単に言えば、映像と音声を別々に生成してから苦労して合わせる必要はありません。LTX-2 は、動画を生成しながら、同期した音声を直接生成できます。これは、高品質な AI 動画生成をローカル環境で実行したいクリエイターにとって、間違いなく朗報です。

この記事では、LTX-2 の特徴、技術仕様、および使用方法について詳しく説明します。難解な専門用語は極力避け、なぜこのモデルが注目に値するのかを最も分かりやすくお伝えします。

LTX-2 とは？コア技術の解説

LTX-2 は、前世代の製品を単にアップグレードしたものではありません。現代の動画生成のコアモジュールを統合した、真のマルチモーダルモデルです。

DiT アーキテクチャと単一モデルの利点

LTX-2 は DiT（Diffusion Transformer）アーキテクチャを採用しています。動画生成と音声生成を別々に処理していた過去のモデルとは異なり、LTX-2 の設計思想は「同期」です。つまり、モデルがプロンプトを理解する際、映像がどのように見えるべきか、音がどのように聞こえるべきかを同時に構想します。この統合生成モードにより、音声と映像の適合度はかつてないレベルに達しています。

オープンソースとローカル実行へのコミットメント

Lightricks は今回非常に気前が良く、モデルの重み（Open Weights）を直接公開しました。これは、開発者やクリエイターがモデルをダウンロードして自分のマシンで実行できることを意味し、データのプライバシーを心配したり、高価なクラウドサブスクリプションに縛られたりする必要がありません。技術を掘り下げるのが好きで、制作プロセスを完全にコントロールしたい人にとって、これは間違いなく天の恵みです。

LTX-2 の主要機能と特徴

次世代モデルというからには、一体どこがすごいのでしょうか？そのキラー機能を見てみましょう。

音声と動画の同期生成 (Synchronized Audio+Video)

これは間違いなく LTX-2 の最大のハイライトです。テキストを入力しても画像を入力しても、モデルは動的な映像を生成すると同時に、それに対応する効果音をつけることができます。波が砂浜に打ち寄せる動画を生成し、同時に波の音が聞こえるところを想像してみてください。後から合成する必要はありません。これは制作ワークフローを大幅に簡素化します。

多様なモデルバージョンと量子化の選択肢

さまざまなハードウェア構成に対応するため、LTX-2 は複数のバージョンのモデルウェイトを提供しています。

• 完全版 (Full Model): 最高の品質を提供し、強力なハードウェアを持つユーザーに適しています。
• 蒸留版 (Distilled): 速度が速く、動画生成に必要なステップ数が少なくて済みます。
• 量子化版 (fp8, fp4): VRAM を節約するために設計されています。例えば ltx-2-19b-dev-fp8 や ltx-2-19b-dev-fp4 は、グラフィックカードが最高スペックではない友人でも、この巨大なモデルを動かせるようにします。

内蔵アップスケーラー (Upscalers)

生成された動画の解像度が足りない？フレームレートが滑らかでない？LTX-2 はこの点を考慮しています。以下のアップスケーリングツールが含まれています：

• 空間アップスケーラー (Spatial Upscaler): 解像度を上げ、映像をより鮮明にするために使用します。
• 時間アップスケーラー (Temporal Upscaler): フレームレート（FPS）を上げ、動きをより滑らかに見せるために使用します。 これらのツールは、マルチステージのワークフローで直列に使用し、段階的に動画品質を向上させることができます。

エコシステムの統合：ComfyUI とトレーニングツール

モデルが使いやすいかどうかは、本体だけでなく、エコシステムのサポート度合いにもよります。

ComfyUI とのシームレスな統合

ComfyUI は現在、AI イラストや動画生成の分野で最も人気のあるインターフェースの一つです。LTX-2 はすでに ComfyUI のコアノードに組み込まれており、煩わしいインストール手順なしに、使い慣れたノードインターフェースで使用できます。LTXVideo ノードを使用してワークフローを簡単に構築し、テキストから動画、画像から動画、そして後処理の拡大まで、一連のプロセスを実現できます。

柔軟なトレーニング能力 (LoRA & Training)

特定のスタイルやキャラクターをトレーニングしたいクリエイターにとって、LTX-2 は非常に親切です。

• LoRA サポート: 標準的な LoRA 技術を使用してモデルを微調整し、特定の画風を学習させることができます。
• IC-LoRA 制御: より正確な生成制御を提供します。
• 高速トレーニング: 公式によると、動き、スタイル、または類似性（音声+視覚）のトレーニングは、多くの設定下で1時間もかからずに完了します。これにより、専用モデルのトレーニングのハードルが大幅に下がります。

インストールと技術要件

自分のコンピュータで LTX-2 を動かすには、多少の技術的な知識が必要です。以下はいくつかの重要な環境要件です。

ソフトウェアとハードウェアの要件

公式ドキュメントによると、このコードベース（Codebase）は、モデル定義、パイプライン、トレーニング機能を含むモノレポ（Monorepo）です。

• Python バージョン: Python 3.12 以降が推奨されます。
• CUDA バージョン: CUDA 12.7 以上が必要です。
• PyTorch: PyTorch 2.7 前後をサポートしています。

簡単なインストール手順

Github 経由でリポジトリをクローンしてインストールできます：

git clone https://github.com/Lightricks/LTX-2.git
cd LTX-2
# リポジトリのルートディレクトリで実行
uv sync
source .venv/bin/activate

既存のライブラリを使用することに慣れている場合、LTX-2 は Diffusers Python ライブラリもサポートしており、開発者にとって統合がよりスムーズになります。詳細なモデル情報とダウンロードリンクは、Hugging Face の LTX-2 ページで直接見つけることができます。

使用時の注意点と制限

LTX-2 は強力ですが、その限界を直視する必要があります。AI はまだ完璧な魔法使いではありません。

解像度とフレームレートのルール

生成パラメータを設定する際、注意すべき小さな詳細があります：

• 縦横の設定: 32の倍数である必要があります。
• フレームレートの設定: (8 x N) + 1 である必要があります。 設定がこのルールを満たさない場合、入力は自動的にパディングおよびクロップされ、構図に予期しない変化が生じる可能性があります。

モデルの先天的な制限

• 事実の正確性: これはクリエイティブツールであり、検索エンジンではありません。正確な事実情報を提供することはできません。
• 社会的バイアス: 統計モデルとして、既存の社会的バイアスを反映または増幅する可能性があります。
• 音声品質: 音声を生成できますが、「非言語」音声の生成においてより優れたパフォーマンスを発揮します。生成された音声に話す内容が含まれていない場合、品質が低下する可能性があります。
• プロンプト依存性: 生成結果はプロンプトのスタイルに大きく依存します。プロンプトがうまく書かれていない場合、動画はあなたが望む効果を完璧に表現できないかもしれません。

よくある質問 (FAQ)

以下は LTX-2 に関する最も一般的な質問です。疑問の解決に役立つことを願っています。

Q1: LTX-2 は商用利用できますか？

LTX-2 はコミュニティライセンス契約に基づいて公開されています。一般的に、完全版、蒸留版、アップスケーラー、および派生モデルを使用して創作を行うことができます。ただし、具体的な商用利用の制限については、コンプライアンスを確保するために Hugging Face ページ上の ltx-2-community-license-agreement を詳細に読むことをお勧めします。

Q2: VRAM が足りないのですが、使えますか？

量子化バージョンの使用を試みることができます。Lightricks は fp8 と nvfp4 の量子化モデルを提供しており、これらのバージョンは VRAM の要件を大幅に削減します。精度はわずかに低下しますが、消費者向けグラフィックカードで大規模モデルを実行するための最良の妥協案です。

Q3: 動画生成以外に何ができますか？

基本的なテキストから動画（Text-to-Video）や画像から動画（Image-to-Video）に加えて、LTX-2 は動画から動画（Video-to-Video）や、音声から動画（Audio-to-Video）や動画から音声（Video-to-Audio）など、さまざまな音声関連タスクもサポートしています。本質的には多機能な音声・動画処理プラットフォームです。

Q4: 自分の LTX-2 LoRA をトレーニングするにはどうすればよいですか？

公式が非常に使いやすいトレーニングツールを提供しています。Github の LTX-2 Trainer Readme を参照してください。データセットを準備すれば、動きやスタイル LoRA のトレーニングプロセスは非常に高速で、高価なサーバークラスターがなくても完了できます。

Q5: 生成された動画の音がずれることがあるのはなぜですか？

LTX-2 は同期生成を目的とした統合モデルですが、AI には依然としてランダム性があります。ずれる状況が発生した場合は、プロンプトを調整するか、IC-LoRA などの制御モデルを使用して生成精度を高めてみてください。また、フレームレート設定がモデルの推奨事項を満たしていることを確認することも、同期の改善に役立ちます。