京東がJoyAI-VL-Interactionをオープンソース化：非同期デュアルループ推論でリアルタイムビデオ対話の遅延を突破

運算の遅延とおさらば！京東のオープンソース「JoyAI-VL-Interaction」がリアルタイムビデオ対話のルールを書き換える

京東Joy未来学院が新たにリリースしたJoyAI-VL-Interactionモデルを深掘りします。独自の非同期デュアルループ推論アーキテクチャにより、リアルタイム視覚推論の遅延という痛点を簡単に解消し、ミリ秒単位の人間とAIの動画インタラクションを実現します。

誰もが経験したことがあるでしょう。スマートアシスタントに動画を見せて即座に反応を求めたとき、システムがしばらくフリーズしてしまうことはありませんか？画面は再生されているのに、AIはまだ1秒前の映像を一生懸命考え続けている。正直なところ、この体験は本当に気分を台無しにします。

視覚言語モデルが完全にリアルタイム化に向かうには、常に「遅延との駆け引き」という核心的な痛点に直面してきました。システムはリアルタイムの視覚推論と、極めて計算リソースを消費するタスクの間でバランスを取らなければなりません。しかし、2026年6月10日、京東Joy未来学院の視覚理解チームがJoyAI-VL-Interactionオープンソースモデルを正式にリリースしました。このモデルは従来の線形処理論理から脱却し、基盤となるアーキテクチャから直接着手することで、リアルタイムの人間とAIのインタラクションにおける新しい技術ベンチマークを打ち立てました。

次に、この背後にある技術的な謎を解き明かしていきましょう。

非同期デュアルループ推論メカニズム：大脳に分担を教える

過去のAIモデルは、連続するビデオを処理する際、キュー（行列）で作業を行う習慣がありました。1フレーム入ってきて処理し、次へ行く。これは非常に効率が悪いです。JoyAI-VL-Interactionは、高度に並列化されたデュアルループアーキテクチャを採用しています。人間の脳のように、反射神経と高度な思考神経という、異なる動作モードを備えていると想像してください。

最初は、即座の反応を担当する「リアルタイム・レッドループ（Real-time Red Loop）」です。これはモデルの反射中枢のようなものです。リアルタイムの映像ストリームを継続的に受信し、ミリ秒単位で判断を下します。ここには非常に賢い「Silence」メカニズムが隠されています。システムが連続するフレームに直面したとき、もしすべてのフレームでテキストを生成しなければならないなら、ハードウェアはとっくに崩壊していたでしょう。このメカニズムはスマートフィルターのように機能し、意味的な変化が検出されたり、明確な指示を受けたときにのみ計算をトリガーします。普段は静かにしていることで、大幅な計算リソースの節約を実現しています。

次に、高度な推論を担当する「委譲ブルーループ（Delegate Blue Loop）」を見てみましょう。システムが、重い計算を必要とする巨大なタスクを処理する必要があると判断したとき、レッドループをフリーズさせることはありません。代わりに、バックエンドの委譲メカニズムを起動し、タスクをブルーループに投げてゆっくり計算させます。これら2つのループは独立しており互いに干渉しないため、フロントエンドの映像インタラクションはシルクのように滑らかです。

見たら即反応：ミリ秒単位のリアルタイム警告機能

火災の監視など、極めて敏感なアプリケーションシナリオでは、反応速度がすべてです。JoyAI-VLは前述のレッドループアーキテクチャを通じて、驚くべき反射能力を発揮します。

日常的に遭遇する例を挙げましょう。「もし画面で火災が発生したらすぐに教えて」とシステムに指示したとします。その瞬間、モデルのエッジ推論ノードは映像ストリームをスキャンし続けます。システムがピクセルレベルの特異的識別で火の光を検出すると、冗長な語彙生成ステップを経る必要さえありません。直接通常のパスをバイパスし、即座に「火災！」という警告を発します。ミリ秒単位の判断。真のミリ秒単位です。この低遅延の警告は、モデルの状態管理とスループットのバランスにおける巨大な優位性を完璧に示しています。

複雑なタスクへの余裕ある対応：非同期委譲と非ブロッキング応答

「本当に難しい問題に直面したらどうするのか？」とよく聞かれます。これこそJoyAI-VLの最も魅力的な部分です。HTMLコード生成のような、極めて算力を消費するタスクに対して、流れるような処理フローを持っています。

「このモバイルアプリのインターフェースをHTMLで再現して」という要求を出すと、フロントエンドシステムはすぐに「お待ちください（Please wait a moment…）」と返答し、会話の連続性を維持します。その同じ瞬間に、視覚情報はすでにパッケージ化され、バックエンドのブルーループに投げられています。ブルーループが複雑なコード構築を完了すると、結果が自動的に戻ってきます。このプロセス全体がフロントエンドの推論帯域幅を全く占有しません。並列演算の魅力がここに存分に発揮されています。

一心二用の芸術：並列マルチタスクと動的オブジェクトカウント

近頃は人間でさえ一心二用（マルチタスク）は難しいものですが、このモデルは実現しました。デュアルループアーキテクチャのおかげで、複雑な並列インタラクションを簡単に処理できます。

先ほどのHTMLコード生成シーンを想像してみてください。バックエンドがまだ必死にコードを書いている最中に、あなたが突然画面を指差して「画面にボトルがいくつあるか数えて？」と聞くとします。システムはバックエンドのコード生成タスクを中断する必要すらなく、フロントエンドのリアルタイムパスを通じて直接正しい数を回答します。この正確な計算優先順位スケジュールにより、様々な動的な環境下でも余裕を持って対応できます。

影のナレーター：リアルタイム時空相関分析と継続的解説

最後に、このシステムが映画解説や教育分野で秘める可能性についてお話しします。JoyAI-VLは、極めて強力な連続映像解説能力を備えています。

これには「リアルタイム時空相関分析」と呼ばれる技術が関わっています。シュールレアリズムに関する芸術動画を視聴している際、システムはタイトルカードを流暢に読み上げるだけでなく、画面に現れる夢のような絵画を順に描写することもできます。さらにすごいのは、状況を理解したQ&Aです。「さっき動画に出てきた人物は誰？」と何気なく聞くと、システムは現在の視覚画面と内蔵のクロスドメイン知識グラフを動的にリンクさせ、「アンドレ・ブルトンとサルバドール・ダリ」という名前を正確に回答できます。これは単なる視覚認識を超越した、連続したコンテキストに基づく真の語義理解です。

未来への展望：映像インタラクションの標準を再定義する

ここまで見て、リアルタイム視覚演算について全く新しい認識を持たれたことでしょう。開発者の方からは「このような技術は現在簡単に手に入るのか？」という質問があるかもしれません。もちろんです。オープンソース界の先駆者として、JoyAI-VL公式プロジェクトページは完全なリソースと技術ドキュメントを提供しています。

インテリジェントフィルタリングとデュアルループの非ブロッキングメカニズムを通じて、このシステムは長年のアーキテクチャ上の難題を解消し、未来のAIアシスタントの発展に道を開きました。京東チームも状態管理アルゴリズムの最適化を継続すると約束しています。この技術が工業レベルで実用化される日を、皆さんも楽しみにしていてください。

Q&A

Q：JoyAI-VL-Interactionとは何ですか？また、誰が開発しましたか？ A：JoyAI-VL-Interactionは、**京東Joy未来学院（JD Joy Future Academy）**の動画理解チームによって2026年6月10日にオープンソースとして公開されたリアルタイム映像インタラクションモデルです。このモデルは、実世界のリアルタイム映像ストリーム（Real-world Live Stream）シナリオ向けに特別に設計されており、人間とAIの視覚・言語のインタラクションを流暢かつ遅延なく行うことを目的としています。

Q：極めて重い計算が必要な複雑なタスクに直面したとき、なぜシステムはフリーズしないのですか？ A：強力な**「非同期タスク委譲（Delegate / Async Response）」メカニズムのおかげです。ユーザーが「HTMLでこのモバイルアプリのインターフェースを再現して」といった複雑な要求を出すと、フロントエンドシステムはまず「お待ちください（Please wait a moment…）」と返答し、計算タスクをバックエンドの「バックグラウンドモデル（Background Model）」**に投げます。このフロントエンドとバックエンドが分離されたアーキテクチャにより、フロントエンドのインタラクションがブロックされたりフリーズしたりすることは一切ありません。

Q：システムは複雑なタスクを処理しながら新しい質問に回答できますか？ A：完全に可能です！まさにこれが強力な並列マルチタスク能力です。 例えば、バックグラウンドモデルがHTMLコードを懸命に生成している最中に、ユーザーが画面を指差して「ボトルがいくつあるか数えて？」と聞いても、フロントエンドのリアルタイムシステムは即座に画面を識別して「1」と回答でき、完璧に一心二用（マルチタスク）を実現しています。

Q：その「即時警告（Timely Warning）」機能はどれくらい速いですか？どのようなシナリオに応用できますか？ A：反応速度はミリ秒単位に達しており、セキュリティ監視などの高度な感度が求められるアプリケーションに非常に適しています。ユーザーは「火災が発生したら警告して（Alert me if a fire breaks out）」といった指示を出すだけで、システムは画面を静かに監視し続けます。火災が検出されると即座に沈黙を破り、繰り返し「Fire!」と警告を発します。

Q：このモデルは人間のように動画をリアルタイムで解説できますか？ A：可能です。強力な**「継続的解説（Sustained Commentary）」**能力を備えています。芸術動画を視聴している際、リアルタイムで「シュールレアリズム」というタイトルカードを読み上げ、画面に次々と現れる絵画を描写し続けることができます。さらに、コンテキストを記憶する力もあり、「さっき出てきた人物は誰？」と聞くと、システムは「アンドレ・ブルトンとサルバドール・ダリ」と正確に回答できます。