AIがライブ楽器に：Google Magenta RealTime 2 超低遅延音楽生成を徹底解説

長い読み込みバーに別れを告げ、ライブ即興演奏へ

ここ数年、大規模な生成音楽モデルの多くはオフラインの演算環境に制限されていました。クリエイターがテキストプロンプトを入力し、画面上のプログレスバーをぼんやりと眺める。この感覚は、ようやく湧き出たインスピレーションを途切れさせてしまうことがよくあります。音楽制作の本質は、ランダムな対話とフィードバックに満ちたものです。

この課題を解決するために、Googleは Magenta RealTime 2 (MRT2) モデルを発表しました。このプロジェクトは、これまでの硬直したワークフローを打ち破りました。無機質なアルゴリズムを、ノートPC上で直接演奏できる仮想楽器に変えたのです。

ご存知でしょうか。マシンをライブパフォーマンスに参加させる場合、遅延（レイテンシ）は最大の致命傷になります。第一世代のモデルがコマンドを処理するのに約3,000ミリ秒かかっていました。ステージ上での3,000ミリ秒は、まるで一生のように長く感じられます。現在、新世代のアーキテクチャはこの時間を約15倍短縮し、200ミリ秒未満にまで抑え込みました。

超低遅延とマルチモーダル制御の魅力

市場には、テキスト入力後に完全なオーディオファイルを受け取るまで数十秒待たされるツールがたくさんあります。読者の皆さんは、他の競合製品と比較して、このシステムの最大の利点は一体どこにあるのか疑問に思うかもしれません。その答えは、極限の低遅延とマルチモーダルなリアルタイム制御にあります。

クリエイターはMIDIキーボードを弾きながら、同時にテキストプロンプトを修正できます。例えば、さっきまでジャズのコードを弾いていたかと思えば、次の瞬間に「電子合成器（シンセサイザー）」と入力すれば、音楽の方向性が指先で瞬時に切り替わります。これは、ライブでの即興演奏を可能にする、流れるような操作体験です。

MRT2は、1フレームあたり40ミリ秒の速度で自己回帰演算を行います。テキストを理解するだけでなく、ユーザーの演奏状態やリズムをリアルタイムで追跡し、極めて短い時間で入力信号に反応します。指が鍵盤を押した瞬間に、表現力豊かな伴奏がそれに続きます。

クラウドの演算能力から解放され、MacBookが専属の仮想ステージに

多くの強力なアルゴリズムは、スムーズに動作するためにハイエンドのクラウドハードウェアに依存する必要があります。しかし、このシステムは一般的なミュージシャンに近い道を選びました。クリエイターが最もよく使用するApple Mシリーズチップに対して全面的に最適化されています。

公式には、自由に選択できる2つのオープンソースウェイト（重み）バージョンが提供されています。Smallモデルは2.3億パラメータで、軽量なMacBook Airでもリアルタイムストリーミング生成タスクを余裕でこなせます。24億パラメータのBaseモデルについては、M2 MaxやM3 Pro以上のレベルのデバイスがあれば、同様にスムーズに動作します。

「Appleのコンピュータでしか使えないのか？」と思う人もいるでしょう。WindowsやNVIDIAのグラフィックカードを搭載したユーザーはどうすればいいのでしょうか。これは、実際の使用シナリオによって異なります。

ライブ対話型のリアルタイムストリーミング生成を追求する場合、現在のC++推論エンジンは確かにApple Silicon向けに特別に設計されています。一般的なオフライン生成や学術研究を行いたい場合は、このシステムのPythonライブラリがNVIDIA GPUや他のオペレーティングシステム上での実行を完全にサポートしています。Appleユーザー以外にも、活用できる余地は十分にあります。

エンジンフードの下の秘密：3つの技術的柱

少し技術的な話をしましょう。どのようなアーキテクチャがこのようなパフォーマンスを支えているのでしょうか。このシステムは、3つのコアコンポーネントが密接に組み合わさって構成されています。

1つ目はSpectroStreamコーデックで、高忠実度のステレオ音声を離散トークンに変換する役割を担います。次にMusicCoCaが登場します。これは責任感の強い翻訳者のようなもので、テキストスタイルや参照オーディオをマシンが理解できる意味空間に変換します。

最後に、因果的スライディングウィンドウ・アテンション・メカニズム（causal sliding window attention mechanism）を備えた言語モデルを組み合わせます。このスライディングウィンドウ・メカニズムは非常に重要です。メモリの底なしの消費を効果的に制限し、長時間再生した後に発生する奇妙なエコーやノイズを回避して、連続的な生成をスムーズに実現します。

モデルの学習に際して、著作権の問題は常に避けて通れない焦点です。このシステムは、約7.1万時間のストックミュージックを養分として吸収しており、その大部分は純粋な楽器演奏です。特定の極端なコマンド下で歌声のような音響効果が現れることがあっても、それは通常、意味のない（non-lexical）発声に過ぎません。公式の利用規約では、このツールを使用して著作権を侵害するコンテンツを生成することを明確に禁じています。このような設計は、著作権者の権利を保護しつつ、クリエイターが安心してインスピレーションを発揮できるようにしています。

すぐに使えるエコシステムと今後の展望

今回のGoogleのリリースは非常に誠意が感じられます。モデルのウェイトを公開しただけでなく、JAXおよびMLXバックエンドをサポートするPython推論ライブラリや、C++で書かれた高性能エンジンなど、完璧なツールチェーン一式を惜しみなく提供しています。

第一線の音楽プロデューサーにとって、最も実用的なのは、公式にAUv3プラグインのサンプルが提供されていることでしょう。これは、クリエイターが使い慣れたデジタル・オーディオ・ワークステーション（DAW）の中に、このAI楽器を直接組み込んで使用できることを意味します。大量のウィンドウを切り替える必要はありません。

Magentaチームは過去10年間、一貫して核心的な信念を伝えてきました。AIの立ち位置は常に人間を補助するツールであり、本物のミュージシャンを置き換えることは決してできないということです。この新技術の誕生は、プロのパフォーマーに即興演奏のための新しい「玩具」を提供しました。同時に、頭の中にメロディはあるが演奏技術に乏しい人々のために扉を開きました。音楽療法などの分野においても、このような直感的なフィードバックメカニズムは無限の可能性を秘めています。

公式には、将来的にファインチューニング（微調整）機能も導入される予定とのことです。将来のミュージシャンは、自分の作品を使って、世界に一つだけの専属伴奏パートナーを訓練できるようになるかもしれません。音楽の創作の境界線は、非常に魅力的な方法で拡大し続けています。

Q&A

Q1：MRT2は市場にある他のAI音楽生成ツールと何が違いますか？ A： 従来の生成モデルの多くは「オフライン生成」であり、プロンプトを入力した後、完全なオーディオファイルを得るまでに数十秒から数分待つ必要がありました。MRT2の最大のブレークスルーは、それが「リアルタイム対話型」のライブ音楽モデルであることです。遅延時間は200ミリ秒未満であり、MIDIキーボードを弾いたりテキストプロンプトを変更したりする際、本物の仮想楽器を演奏しているかのように、生成される音楽の方向性を瞬時に変えることができます。

Q2：MRT2を動かすにはAppleのコンピュータ (Mac) が必須ですか？WindowsやNVIDIAグラボ搭載のPCでも使えますか？ A： 使用シナリオによります。「リアルタイムストリーミング生成」の超低遅延制御を体験したい場合、現在のC++推論エンジンは確かにApple Silicon（Mシリーズチップ）向けに高度に最適化されています。しかし、単に「オフライン推論」や学術研究を行いたいだけであれば、公式のPythonライブラリがNVIDIA GPUや他のシステム上での動作を完全にサポートしています。

Q3：MIDIキーボードで制御できるとのことですが、演奏の「ベロシティ（強弱）」は完璧に再現されますか？ A： 現在のMRT2は主に「演奏状態とリズム」を追跡しています。受信するMIDI信号は128次元のマルチホットベクトルであり、各ノートのその瞬間の状態（例：オフ、サステイン、オンセット）を識別するために使用されます。つまり、鍵盤を押すタイミングやコードの変化を正確に捉えることはできますが、システムレベルでは現在、従来のMIDI 0-127の「ベロシティ」データを直接制御パラメータに組み込んではいません。

Q4：このモデルが学習したデータベースのソースは何ですか？著作権に問題のある歌声が生成されることはありませんか？ A： MRT2は約7.1万時間のストックミュージック（Stock music）を使用して学習されており、その大部分は「純粋な楽器演奏」です。公式は、極端なプロンプトではモデルが歌声のような音響効果を生成する可能性があるものの、それは通常「意味を持たない（non-lexical）」発声であると指摘しています。また、公式の利用規約では、他人の著作権を侵害するコンテンツを生成することを明確に禁じています。

Q5：プロの音楽プロデューサーですが、制作ソフトに直接統合できますか？ A： もちろん可能です。Googleの開発チームはミュージシャンの創造性を解放するため、オープンソースライブラリの中でAUv3プラグイン（Plugin）のサンプルを直接提供しています。これは、MRT2をプラグインとして、使い慣れたデジタル・オーディオ・ワークステーション（DAW）の中で直接使用できることを意味します。また、公式から独立して動作するmacOS用アプリケーションも提供されています。