ByteDanceがHuMoをオープンソース化：テキスト、画像、音声から超リアルな人物動画を生成する、あなただけのバーチャル俳優

ByteDanceは、高品質で制御性の高い人物動画生成に特化した、170億パラメータのマルチモーダル動画生成フレームワーク「HuMo」を衝撃的に発表しました。テキスト、画像、音声の3つの入力モードを協調的に処理し、720Pの高解像度で滑らかな動きのバーチャルヒューマン動画を簡単に作成できます。現在、モデルとコードはHugging Faceでオープンソース化されています。

写真一枚、テキスト一行、あるいは音楽一節だけで、まるで生きているかのようなキャラクターがリズムに合わせて動く動画が作れると想像したことがありますか？かつてはSF映画の中の話のようでしたが、今、ByteDanceの研究チームがそれを現実にしました。

彼らはHuMoという名のオープンソースプロジェクトを盛大に発表しました。これは170億ものパラメータを持つ巨大なマルチモーダル動画生成フレームワークです。技術的な専門用語に怖気づく必要はありません。簡単に言えば、HuMoの核心的な目標はただ一つ、「人間」を中心とした動画を専門的に生成することです。

繊細な表情、滑らかな手足の動き、背景との自然なインタラクションなど、HuMoはすべてを見事に処理します。最大720Pの解像度で、長さ約4秒（97フレーム @ 25FPS）の動画を生成でき、誰もが仮想世界の監督になるチャンスを与えてくれます。

さらに嬉しいことに、この強力なツールは現在Hugging Faceで完全にオープンソース化されており、誰でもコードとモデルの重みをダウンロードして、創造の喜びを自ら体験することができます。

HuMoとは一体何か？「人間」のために設計された動画生成フレームワーク

市場にはAI動画生成ツールが数多くありますが、そのほとんどは汎用モデルです。風景や動物、抽象的なアニメーションの生成は得意ですが、人体に触れると、手足がねじれたり、動きが硬直したりする「不気味の谷」現象がしばしば発生します。

HuMoの登場は、この問題を解決するためです。その正式名称はHuman-Centric Video Generation via Collaborative Multi-Modal Conditioningで、平たく言えば「人間本位で、複数の条件が協調して動作する」動画生成器です。

ここでの「マルチモーダル」が鍵となります。これは、AIを指導する方法が一つではないことを意味します。HuMoは、3つの一般的な情報源を巧みに統合しています。

• テキスト(Text)： 脚本のように、AIにキャラクターが何をしているか、シーンがどのようなものかを伝えます。
• 画像(Image)： キャスティングのように、参考写真を提供し、AIにキャラクターの容姿、服装、スタイルを知らせます。
• 音声(Audio)： サウンドトラックやセリフのように、キャラクターの動きを音と同期させることができます。例えば、音楽に合わせて踊ったり、リズムに合わせて頷いたりします。

これら3つのモードは任意に組み合わせることができ、これまでにない創造的なコントロールの自由を提供します。

3つの主要な生成モードで、あなたの無限の創造性を解き放つ

HuMoの核心的な魅力は、その柔軟な入力の組み合わせにあり、クリエイターはニーズに合わせて最適な方法を選択できます。

モード1：テキスト＋画像からの動画生成(VideoGen from Text-Image)

これは最も直感的な使い方です。静的な写真を動かしてみたいと思ったことはありませんか？このモードならそれが可能です。

キャラクターの画像を提供し、そのキャラクターにさせたい動きをテキストで記述するだけです。例えば、宇宙服を着た宇宙飛行士の写真を与え、「月で踊る」というテキストを入力すると、HuMoはその宇宙飛行士が実際に月面で踊っている動画を生成できます。

このモードは、キャラクターの外見の一貫性を保つ必要がある場合に最適です。例えば、特定のキャラクターの一連の短編動画を作成したり、イラストのキャラクターをアニメーション化したり、あなた自身のバーチャルアバターに命を吹き込んだりするのに適しています。

モード2：テキスト＋音声からの動画生成(VideoGen from Text-Audio)

特定のキャラクターのイメージはないけれど、動画の動きを音と完璧に合わせたい場合があります。そんな時は、テキストと音声の組み合わせが役立ちます。

強いビートの電子音楽があると想像してください。「サイバーパンク風のジャケットを着た男性がネオン街で踊る」と入力するだけで、HuMoは全く新しいキャラクターを創造し、そのダンスのステップは音楽のリズムに完璧にシンクロします。

このモードは、画像参照を必要としないため、クリエイターに広大な想像の余地を与え、AIの創造性を最大限に発揮させます。音楽の視覚化やダンス動画の作成に最適です。

モード3：テキスト＋画像＋音声からの動画生成(VideoGen from Text-Image-Audio)

もしあなたが、動画の細部に至るまで全てをコントロールしたい完璧主義者なら、この「三位一体」モードがあなたの究極の武器になります。

以下の3つを同時に指定できます。

1. キャラクターは誰か（画像を介して）。
2. 何をするか（テキストを介して）。
3. 動きのリズムはどうか（音声を介して）。

これは、指定された俳優（画像）に、詳細な脚本（テキスト）と、正確なBGM（音声）を与えて、完璧なシーンを演じさせるようなものです。このモードは最高レベルのカスタマイズとコントロールを提供し、一貫したキャラクターと音に同期したダイナミックな動きを持つ動画を生成します。

オープンソースの精神と将来の展望

ByteDanceのチームは、驚くべき研究論文を発表しただけでなく、その成果をコミュニティ全体に還元しています。

現在、170億パラメータのHuMo-17Bモデルがオンラインで公開されており、開発者は自由に利用できます。チームが発表した計画によると、将来的にはさらに多くのエキサイティングなアップデートが予定されています。例えば、

• より軽量なHuMo-1.7Bモデルをリリースし、利用のハードルを下げる。
• マルチGPU推論のサポートを提供し、動画生成プロセスを高速化する。
• 公式デモ動画「Faceless Thrones」のプロンプトを公開し、誰もがマスターレベルの作品を作成する方法を学べるようにする。

HuMoの技術的な詳細や視覚効果に興味がある方は、彼らのプロジェクトページで、さらに多くの素晴らしい生成例を見ることができます。

結論として、HuMoのオープンソース化は、AI動画生成技術における大きなブレークスルーであるだけでなく、世界中の開発者、アーティスト、コンテンツクリエイターに強力で専門的なツールを提供し、誰もが簡単に自分自身の「バーチャル俳優」を操り、ユニークなキャラクター動画を作成できるようにするものです。

よくある質問（FAQ）

Q1：HuMoが生成する動画の品質はどのくらいですか？

HuMoは現在、480Pと720Pの2つの解像度をサポートしており、25FPSのフレームレートで最大97フレーム（約3.88秒）の動画を生成できます。現在のAI動画生成技術にとって、この品質は鮮明さと滑らかさの点で非常に優れており、特に人体の動きの一貫性において優れています。

Q2：HuMoモデルを実行するにはどのようなハードウェアが必要ですか？

170億パラメータの大規模モデルとして、HuMo-17Bを実行するには、特に大容量のメモリを搭載したプロフェッショナルグレードのGPUなど、かなりのハードウェアサポートが必要です。具体的なハードウェア要件と環境設定については、スムーズな運用を確保するために、Hugging Faceページの公式ドキュメントを参照することをお勧めします。

Q3：HuMoは人物以外の動画も生成できますか？

HuMoという名前（Human-Centric）が示すように、その設計とトレーニングデータは人体に高度に焦点を当てています。理論的には他の被写体を生成することも可能かもしれませんが、その最も強力な能力と最良の結果は、人間のキャラクターの動きやシーンの生成において発揮されます。風景や動物を生成したい場合は、他の汎用動画モデルを使用する方が良い選択かもしれません。