HeyGen超え！美団がデジタル人間フレームワーク「LongCat 1.5」をオープンソース化、わずか8ステップで超リアルな動画生成

主流商用システムを凌駕するオープンソースの衝撃：美団「LongCat-Video-Avatar 1.5」デジタル人間フレームワーク徹底解析

バーチャルキャスターやデジタル人間技術は、驚くべきスピードで私たちの身近なものになりつつあります。ソーシャルメディアの短編動画から企業のオンラインカスタマーサービスまで、これらの疲れを知らないバーチャルキャラクターは、さまざまな視覚的プレゼンテーション業務を徐々に引き継いでいます。

正直なところ、かつてこの種の技術には非常に厄介なボトルネックがありました。映像は綺麗でも、キャラクターの口の動きが微妙に合っていなかったり、体の動きがぎこちなく不自然だったりしたのです。こうした些細な瑕疵は、視聴者の没入感を一瞬で壊してしまいます。この課題を解決するために、美団（Meituan）チームは最新のオープンソースフレームワークを正式にリリースしました。商用量産と究極の安定性に焦点を当てたこのソリューションは、間違いなく動画クリエイターや開発者にとって新たな強力な武器となるでしょう。

以下では、この新しくアップグレードされたシステムの主要なハイライトを詳しく解析し、その優れた点を見ていきます。

「聴覚の脳」を全面的に刷新、極めて自然なリップシンクを実現

デジタル人間を本物の人間のように見せるための第一歩は、彼らが自分が何を話しているかを「理解」させることです。これは当たり前のことのように聞こえますが、その背景にある技術的なハードルは非常に高いものです。

これまで多くのシステムは、9,400万パラメータのWav2Vec2オーディオエンコーダに依存していました。この古いシステムも実用的ではありましたが、複雑な発音や微妙な感情を処理する際に、口の動きが音についていけないことが多々ありました。そこで、LongCat-Video-Avatar 1.5では、この「聴覚の脳」を15億パラメータを持つWhisper-Largeに直接置き換えました。

この変更はすぐに成果として現れました。Whisper-Largeは極めて豊かな音響特徴抽出能力を備えています。これは、AIに極めて敏感な耳を与えたようなものです。生成された唇の動きと音声の同期は、かつてないほど正確かつスムーズになりました。話速が速いセグメントや特に複雑な構音の段落であっても、バーチャルキャラクターの口の筋肉の動きは驚くほど自然な流暢さを見せます。

コストの悪夢に別れを告げる、8ステップ推論技術でハードウェアの壁を大幅に低減

高解像度の拡散モデルを動かすための計算コストは、常に恐ろしいほど高額でした。これが、多くのスタートアップチームや個人クリエイターを躊躇させる要因となっていました。動画生成に関わる限り、サーバーの計算費用は避けて通れない巨大な障壁です。

商用導入の実際のニーズに合わせて、開発チームは非常に巧妙な二重の最適化戦略を導入しました。まず登場するのがDMD2蒸留技術です。この技術は魔法のような圧縮を行い、もともと複雑だった推論プロセスを極限まで濃縮しました。現在では、わずか8回の推論ステップ（8 NFE）で極めて高品質な映像を生成できるようになりました。これにより、商用展開のためのハードウェアのハードルが大幅に下がりました。

さらに、バーチャルキャラクターの動きをより本物の人間に近づけるために、チームはGRPO（Group Relative Policy Optimization：グループ相対ポリシー最適化）技術を活用しました。この技術は、AI専用の「ポーズコーチ」のようなものだと考えてください。人間の好みを介してモデルをガイドすることで、不自然な四肢の歪みや顔のアーティファクトを効果的に削減します。超高効率と視覚的な忠実度を両立させていることこそが、このバージョンが際立っている鍵です。

スタイルの制限を超え、実写から二次元まで自由自在

市場にあるデジタル人間ソフトの多くは、特定の領域に限定されがちです。例えば、リアルなニュースキャスター専用だったり、アニメキャラクター専用だったりします。こうした単一用途の設計は、クリエイターの想像力を制限してしまいます。

LongCat-Video-Avatar 1.5は、極めて強力な「スタイル汎化」能力を発揮します。これは、同じ基盤アーキテクチャで、全く異なる視覚スタイルに完璧に適応できることを意味します。極めて写実的な企業のスポークスパーソンを生成したい場合でも、スタイルの強い二次元アニメキャラクター、さらには楽しそうに歌うふわふわの子猫であっても、このシステムは簡単に対応できます。

それだけでなく、現実世界の複雑なシーンの処理においても同様に優れたパフォーマンスを示します。例えば、複数人での対話やキャラクターが手に物を持っているシーンでも、長尺動画の中で優れたアイデンティティの一致性と全身の動作の安定性を維持できます。これにより、クリエイターは技術的な制限を心配することなく、自由に脚本を構想することができます。

オープンソースの限界を突破、実測性能はトップ商用ソフトを凌駕

開発者は自分のモデルが最高であると主張しがちですが、実力を真に証明するのは客観的なデータと評価です。そのために、美団チームは極めて厳格な評価基準を導入しました。

彼らは、ニュース放送、教育、日常のエンターテインメント、さらには商用プロモーションなど、多様な応用シーンを網羅する508個の複雑なテストケースを含むベンチマークを構築しました。評価プロセスには、770人の一般審査員による13,000回以上の主観的ブラインドテストに加え、10人の専門家による客観的な品質分析が含まれました。

最終的な結果は目を見張るものでした。LongCat-Video-Avatar 1.5は、リアリティ、自然さ、安定性などの各総合指標において、OmniHuman-1.5、HeyGen、さらにはKling Avatar 2.0といった業界トップクラスの有料商用システムを上回ることに成功しました。これは間違いなくオープンソースコミュニティの大きな勝利です。

開発者とクリエイターのための実践ガイド

自分で試してみたい技術熱心な方のために、公式チームから非常に役立つ操作上のアドバイスが提供されています。これらのコツを活用することで、生成される動画の品質をさらに高めることができます。

まずはプロンプト（Prompt）の書き方です。記述が長く詳細であるほど、映像の一致性と自然さが向上します。キャラクターの外見、動作、シーンの背景を含めることが推奨されます。例えば、「黒い長髪の若い女性が白いシャツを着て、明るいカフェに座り、微笑みながら話している」といった詳細な記述です。

パラメータ調整に関しては、音声同期の正確さを制御するAudio CFGの値を3から5の間に設定することをお勧めします。この値を少し高く設定すると、より正確な口の動きが得られます。キャラクターの動作が繰り返される現象が発生した場合は、リファレンス画像インデックス値（--ref_img_index）を調整することで改善できます。デフォルトの10を0から24の間に変更すると安定性が向上し、30に設定すると繰り返しの動作を減らすのに役立ちます。

すぐにテストを始めたいですか？すべての関連コードと詳細な説明はすでに公開されています。興味のある読者は、LongCat-Video GitHubプロジェクトページからリポジトリをクローンするか、Hugging Faceモデルファイルエリアから必要なモデルの重みをダウンロードできます。さらに深層のロジックや実験データを研究したい方は、公式に発表された完全技術レポートや図解入りの展示ページを詳しく読んでみてください。

最も関心の高いよくある質問 (FAQ)

この強力なツールがリリースされた後、コミュニティではすぐに多くの議論と疑問が沸き起こりました。ここでは、主要なFAQをいくつかまとめました。

動画の解像度はどこまで対応していますか？ このモデルは非常に柔軟で、デフォルトで480Pと720Pの2つの主流規格に対応しています。ユーザーは簡単なパラメータ設定（--resolution）で自由に切り替えることができ、さまざまなプラットフォームのアップロード要件に完璧に対応できます。

2人のバーチャル人間を同時に話させたり対話させたりできますか？ 全く問題ありません。システムにはデュアルオーディオモード（Dual-Audio Modes）が組み込まれています。マージモードを選択すると、システムは2つの同じ長さの音声ファイルを重ね合わせます。連結モードを選択すると、システムは2つの音声ファイルを順番に繋ぎ、その間に無音セグメントを自動的に挿入します。この機能はデフォルトで1人目が先に話し、次に2人目が話すようになっており、2人組のインタビュー番組などの制作に非常に適しています。

モデルを商用目的で無料で使用できますか？ LongCat-Video-Avatar 1.5のモデルの重みはMITライセンスに基づいてリリースされており、これは非常に高い使用の自由度があることを意味します。ただし、機微な、あるいはリスクの高い商用シナリオに展開する前に、関連するデータ保護およびプライバシー法規制に準拠していることを開発者自身で確認する必要があります。安全性と合法性は常に商用応用の最高指針です。