https://www.communeify.com/ja/tag/vision/Communeify - Your Community PlatformHugohttps://www.communeify.com/ja/blog/jd-joyai-vl-interaction-real-time-video-ai-framework/https://www.communeify.com/ja/blog/jd-joyai-vl-interaction-real-time-video-ai-framework/Mon, 29 Jun 2026 14:19:00 +0800運算の遅延とおさらば！JD.comのオープンソース「JoyAI-VL-Interaction」がリアルタイムビデオ対話のルールを書き換える JD Joy Future Academyが新たにリリースしたJoyAI-VL-Interactionモデルを深掘りします。独自の非同期デュアルループ推論アーキテクチャにより、リアルタイム視覚推論の遅延という課題を簡単に解消し、ミリ秒単位の人間とAIの動画インタラクションを実現します。 誰もが経験したことがあるでしょう。スマートアシスタントに動画を見せて即座に反応を求めたとき、システムがしばらくフリーズしてしまうことはありませんか？画面は再生されているのに、AIはまだ1秒前の映像を一生懸命考え続けている。正直なところ、この体験は本当に気分を台無しにします。 視覚言語モデルが完全にリアルタイム化に向かうには、常に「遅延との駆け引き」という核心的な課題に直面してきました。システムはリアルタイムの視覚推論と、極めて計算リソースを消費するタスクの間でバランスを取らなければなりません。しかし、2026年6月10日、JD Joy Future Academyの視覚理解チームがJoyAI-VL-Interactionオープンソースモデルを正式にリリースしました。このモデルは従来の線形処理論理から脱却し、基盤となるアーキテクチャから直接着手することで、リアルタイムの人間とAIのインタラクションにおける新しい技術ベンチマークを打ち立てました。 次に、この背後にある技術的な謎を解き明かしていきましょう。 非同期デュアルループ推論メカニズム：大脳に分担を教える過去のAIモデルは、連続するビデオを処理する際、キュー（行列）で作業を行う習慣がありました。1フレーム入ってきて処理し、次へ行く。これは非常に効率が悪いです。JoyAI-VL-Interactionは、高度に並列化されたデュアルループアーキテクチャを採用しています。人間の脳のように、反射神経と高度な思考神経という、異なる動作モードを備えていると想像してください。 最初は、即座の反応を担当する「リアルタイム・レッドループ（Real-time Red Loop）」です。これはモデルの反射中枢のようなものです。リアルタイムの映像ストリームを継続的に受信し、ミリ秒単位で判断を下します。ここには非常に賢い「Silence」メカニズムが隠されています。システムが連続するフレームに直面したとき、もしすべてのフレームでテキストを生成しなければならないなら、ハードウェアはとっくに崩壊していたでしょう。このメカニズムはスマートフィルターのように機能し、意味的な変化が検出されたり、明確な指示を受けたときにのみ計算をトリガーします。普段は静かにしていることで、大幅な計算リソースの節約を実現しています。 次に、高度な推論を担当する「委譲ブルーループ（Delegate Blue Loop）」を見てみましょう。システムが、重い計算を必要とする巨大なタスクを処理する必要があると判断したとき、レッドループをフリーズさせることはありません。代わりに、バックエンドの委譲メカニズムを起動し、タスクをブルーループに投げてゆっくり計算させます。これら2つのループは独立しており互いに干渉しないため、フロントエンドの映像インタラクションはシルクのように滑らかです。 見たら即反応：ミリ秒単位のリアルタイム警告機能火災の監視など、極めて敏感なアプリケーションシナリオでは、反応速度がすべてです。JoyAI-VLは前述のレッドループアーキテクチャを通じて、驚くべき反射能力を発揮します。 日常的に遭遇する例を挙げましょう。「もし画面で火災が発生したらすぐに教えて」とシステムに指示したとします。その瞬間、モデルのエッジ推論ノードは映像ストリームをスキャンし続けます。システムがピクセルレベルの特異的識別で火の光を検出すると、冗長な語彙生成ステップを経る必要さえありません。直接通常のパスをバイパスし、即座に「火災！」という警告を発します。ミリ秒単位の判断。真のミリ秒単位です。この低遅延の警告は、モデルの状態管理とスループットのバランスにおける巨大な優位性を完璧に示しています。 複雑なタスクへの余裕ある対応：非同期委譲と非ブロッキング応答「本当に難しい問題に直面したらどうするのか？」とよく聞かれます。これこそJoyAI-VLの最も魅力的な部分です。HTMLコード生成のような、極めて計算資源を消費するタスクに対して、流れるような処理フローを持っています。 「このモバイルアプリのインターフェースをHTMLで再現して」という要求を出すと、フロントエンドシステムはすぐに「お待ちください（Please wait a moment…）」と返答し、会話の連続性を維持します。その同じ瞬間に、視覚情報はすでにパッケージ化され、バックエンドのブルーループに投げられています。ブルーループが複雑なコード構築を完了すると、結果が自動的に戻ってきます。このプロセス全体がフロントエンドの推論帯域幅を全く占有しません。並列演算の魅力がここに存分に発揮されています。 一心二用の芸術：並列マルチタスクと動的オブジェクトカウント近頃は人間でさえ一心二用（マルチタスク）は難しいものですが、このモデルは実現しました。デュアルループアーキテクチャのおかげで、複雑な並列インタラクションを簡単に処理できます。 先ほどのHTMLコード生成シーンを想像してみてください。バックエンドがまだ必死にコードを書いている最中に、あなたが突然画面を指差して「画面にボトルがいくつあるか数えて？」と聞くとします。システムはバックエンドのコード生成タスクを中断する必要すらなく、フロントエンドのリアルタイムパスを通じて直接正しい数を回答します。この正確な計算優先順位スケジュールにより、様々な動的な環境下でも余裕を持って対応できます。 影のナレーター：リアルタイム時空相関分析と継続的解説最後に、このシステムが映画解説や教育分野で秘める可能性についてお話しします。JoyAI-VLは、極めて強力な連続映像解説能力を備えています。 これには「リアルタイム時空相関分析」と呼ばれる技術が関わっています。シュールレアリズムに関する芸術動画を視聴している際、システムはタイトルカードを流暢に読み上げるだけでなく、画面に現れる夢のような絵画を順に描写することもできます。さらにすごいのは、状況を理解したQ&Aです。「さっき動画に出てきた人物は誰？」と何気なく聞くと、システムは現在の視覚画面と内蔵のクロスドメイン知識グラフを動的にリンクさせ、「アンドレ・ブルトンとサルバドール・ダリ」という名前を正確に回答できます。これは単なる視覚認識を超越した、連続したコンテキストに基づく真の語義理解です。 未来への展望：映像インタラクションの標準を再定義するここまで見て、リアルタイム視覚演算について全く新しい認識を持たれたことでしょう。開発者の方からは「このような技術は現在簡単に手に入るのか？」という質問があるかもしれません。もちろんです。オープンソース界の先駆者として、JoyAI-VL公式プロジェクトページは完全なリソースと技術ドキュメントを提供しています。 インテリジェントフィルタリングとデュアルループの非ブロッキングメカニズムを通じて、このシステムは長年のアーキテクチャ上の難題を解消し、未来のAIアシスタントの発展に道を開きました。JD.comチームも状態管理アルゴリズムの最適化を継続すると約束しています。この技術が工業レベルで実用化される日を、皆さんも楽しみにしていてください。 Q&AQ：JoyAI-VL-Interactionとは何ですか？また、誰が開発しましたか？ A：JoyAI-VL-Interactionは、**JD Joy Future Academy（JD Joy Future Academy）**の動画理解チームによって2026年6月10日にオープンソースとして公開されたリアルタイム映像インタラクションモデルです。このモデルは、実世界のリアルタイム映像ストリーム（Real-world Live Stream）シナリオ向けに特別に設計されており、人間とAIの視覚・言語のインタラクションを流暢かつ遅延なく行うことを目的としています。 Q：極めて重い計算が必要な複雑なタスクに直面したとき、なぜシステムはフリーズしないのですか？ A：強力な**「非同期タスク委譲（Delegate / Async Response）」メカニズムのおかげです。ユーザーが「HTMLでこのモバイルアプリのインターフェースを再現して」といった複雑な要求を出すと、フロントエンドシステムはまず「お待ちください（Please wait a moment…）」と返答し、計算タスクをバックエンドの「バックグラウンドモデル（Background Model）」**に投げます。このフロントエンドとバックエンドが分離されたアーキテクチャにより、フロントエンドのインタラクションがブロックされたりフリーズしたりすることは一切ありません。 Q：システムは複雑なタスクを処理しながら新しい質問に回答できますか？ A：完全に可能です！まさにこれが強力な並列マルチタスク能力です。 例えば、バックグラウンドモデルがHTMLコードを懸命に生成している最中に、ユーザーが画面を指差して「ボトルがいくつあるか数えて？」と聞いても、フロントエンドのリアルタイムシステムは即座に画面を識別して「1」と回答でき、完璧に一心二用（マルチタスク）を実現しています。 Q：その「即時警告（Timely Warning）」機能はどれくらい速いですか？どのようなシナリオに応用できますか？ A：反応速度はミリ秒単位に達しており、セキュリティ監視などの高度な感度が求められるアプリケーションに非常に適しています。ユーザーは「火災が発生したら警告して（Alert me if a fire breaks out）」といった指示を出すだけで、システムは画面を静かに監視し続けます。火災が検出されると即座に沈黙を破り、繰り返し「Fire!」と警告を発します。 Q：このモデルは人間のように動画をリアルタイムで解説できますか？ A：可能です。強力な**「継続的解説（Sustained Commentary）」**能力を備えています。芸術動画を視聴している際、リアルタイムで「シュールレアリズム」というタイトルカードを読み上げ、画面に次々と現れる絵画を描写し続けることができます。さらに、コンテキストを記憶する力もあり、「さっき出てきた人物は誰？」と聞くと、システムは「アンドレ・ブルトンとサルバドール・ダリ」と正確に回答できます。https://www.communeify.com/ja/blog/glm-4-6v-seamless-integration-vision-perception-action-execution/https://www.communeify.com/ja/blog/glm-4-6v-seamless-integration-vision-perception-action-execution/Tue, 09 Dec 2025 08:54:46 +0800 GLM-4.6Vシリーズモデルが正式に発表され、クラウドの高性能とローカルの低遅延シナリオをそれぞれターゲットにした106Bと9Bの2つのバージョンが登場しました。この記事では、そのネイティブなFunction Calling機能がどのように「見る」と「行う」の境界を取り払い、長文ドキュメントの理解、フロントエンドコードの生成、そして混合画像・テキスト作成における実際の応用について深く掘り下げます。詳細なベンチマークデータとデプロイリソースも添付されています。 視覚モデルの新たなマイルストーン：単なる「理解」を超えて人工知能分野の発展は常に目を見張るものがあります。言語モデルが流暢に話すことに慣れてきた矢先、マルチモーダルAI（Multimodal AI）がその基準をさらに引き上げました。今回のGLM-4.6Vのリリースは、非常に興味深いシグナルをもたらしました。モデルはもはや「画像を見て話す」だけでは満足せず、「画像を見て行動する」ことを試み始めています。 GLM-4.6Vシリーズは2つのバージョンをリリースしました。1つはクラウドおよび高性能コンピューティングクラスター向けに設計された基盤モデルGLM-4.6V (106B)、もう1つはローカルデプロイと低遅延アプリケーション向けに最適化された軽量モデル**GLM-4.6V-Flash (9B)**です。両モデルともトレーニング時にコンテキストウィンドウを128kトークンまで拡張しており、これは一度に処理できる情報量が驚異的であることを意味します。 これは単なるパラメータ数の積み上げではありません。今回のアップデートの核心的なブレークスルーは、「ネイティブなFunction Calling（関数呼び出し）」の統合にあります。これは少し専門的に聞こえるかもしれませんが、簡単に言えば、AIを単なるコメントする観察者から、実際に手を動かして問題を解決する実行者に変えるものです。 認識と行動をつなぐ：ネイティブな視覚駆動ツール使用これまで、マルチモーダルモデルがタスクを処理する際、通常は見た画像をまずテキスト記述に変換し、そのテキストに基づいてツールを呼び出す必要がありました。この変換プロセスでは、詳細が失われたり、誤解が生じたりすることがよくありました。 GLM-4.6Vは異なるアプローチをとっています。Native Multimodal Function Callingを導入しました。これは、画像、スクリーンショット、またはドキュメントページを、テキスト変換の手順を経ずに直接ツールの入力パラメータとして使用できることを意味します。複雑なレポートのスクリーンショットをモデルに投げると、モデルはそれをテキストに「翻訳」する必要はなく、画像を直接「見て」検索ツールや計算ツールを呼び出し、最終的な結果（チャートであれレンダリングされたページであれ）も推論チェーンに直接統合できると想像してください。 これは、「視覚認識」から「理解」、そして「実行」への閉ループを真に実現しました。開発者にとって、これは実際のビジネスシナリオを処理できるAIエージェント（Agent）を構築するための、より統一された技術基盤を提供します。 混合画像・テキスト作成：人間のようにコンテンツを構成するコンテンツクリエイターは、Interleaved Image-Text Content Generation（画像とテキストが交錯するコンテンツ生成）という機能に特に興味を持つかもしれません。 以前、AIに画像付きの記事を書かせる場合、通常は別々に行われていました。まず文章を書き、次に画像を探すという手順です。しかし、GLM-4.6Vは、ドキュメント、ユーザー入力、ツール検索画像を含むマルチモーダルなコンテキストを処理できます。コンテンツ生成プロセスにおいて、検索および取得ツールを自発的に呼び出し、追加のテキストや視覚素材を収集・選別します。 最終的に生成される結果は、タスクに合わせて調整された、画像とテキストが調和した一貫性のあるコンテンツです。それはまるで、素材を強引につなぎ合わせるのではなく、テキストの重要な箇所に裏付けとなる画像を挿入する方法を知っている経験豊富な編集者のようです。 長文ドキュメントと複雑なチャートの天敵ビジネス文書を扱う際、最も頭を悩ませるのは、フォーマットが複雑なPDFやスキャンデータであることがよくあります。GLM-4.6VはMultimodal Document Understanding機能を備えており、最大128Kトークンのマルチドキュメントまたは長文ドキュメント入力を処理できます。 これには大きな利点があります。フォーマット豊富なページを画像として直接理解できるということです。つまり、テキスト、レイアウト、チャート、表、画像を同時に読み取ることができます。これにより、従来のOCR（光学文字認識）技術がすべてをプレーンテキストに変換する際に、レイアウト構造が失われたり、表がずれたりする問題を回避できます。大量の決算報告書や技術マニュアルを分析する必要がある専門家にとって、これは校正時間を大幅に節約できます。 フロントエンドエンジニアのAIアシスタント：スクリーンショットからコードへWeb開発者にとって、Frontend Replication & Visual Editingは非常に実用的な機能です。 モデルにUIのスクリーンショットを渡すだけで、対応するHTMLとCSSコードをピクセルレベルで復元できます。レイアウト、コンポーネント、スタイルを視覚的に検出し、クリーンなコードを生成します。さらにすごいのは、自然言語による修正をサポートしていることです。ボタンの色が違う、レイアウトが詰まりすぎていると感じたら、デザイナーに話すように指示を出すだけで、モデルは反復的な視覚的修正を行います。 性能評価：106B対9Bの実力対決これだけの機能を語りましたが、実際のパフォーマンスはどうでしょうか？具体的な評価データを見てみましょう。この表は、GLM-4.6Vの2つのバージョンの各ベンチマークにおけるスコアを示しています。 注目すべきは、Flashバージョン（9B）はパラメータが小さいものの、多くのタスクで106Bバージョンとの差がそれほど大きくないことです。これはそのコストパフォーマンスが非常に高く、リソースが制限されたローカルデプロイに非常に適していることを示しています。 GLM-4.6Vシリーズ ベンチマーク結果 ベンチマーク (Benchmarks)GLM-4.6V (106B)GLM-4.6V-Flash (9B)GLM-4.5V (106B)Qwen3-VL-8BKimi-VL-A3B General VQA (一般視覚応答)MMBench V1.188.886.988.284.384.4MMBench V1.1 (CN)88.285.988.383.380.7MMStar75.974.775.375.370.4BLINK (Val)65.565.565.364.753.5MUIRBENCH77.175.775.376.863.8Multimodal Reasoning (マルチモーダル推論)MMMU (Val)76.071.175.474.164.0MMMU_Pro66.060.665.260.446.3VideoMMMU74.770.172.472.865.2MathVista85.282.784.681.480.1AI2D88.889.288.184.981.9Multimodal Agentic (マルチモーダルエージェント)Design2Code88.669.882.256.638.8Flame-React-Eval86.378.882.556.336.3OSWorld37.221.135.833.98.2AndroidWorld57.042.757.050.0-WebVoyager81.071.884.447.7-OCR & Chart (文字認識とチャート)OCRBench86.584.786.581.986.9ChartQAPro65.562.664.058.423.7Spatial & Grounding (空間と位置特定)RefCOCO-avg (val)88.685.691.389.333.6Ref-L4-test88.987.789.588.651.3 データからわかるように、GLM-4.6Vはマルチモーダルエージェント（Agentic）と推論（Reasoning）の面での向上が特に顕著であり、これは「行動実行」能力の強化を裏付けています。https://www.communeify.com/ja/blog/bytedance-vidi2-multimodal-video-understanding-generation-model/https://www.communeify.com/ja/blog/bytedance-vidi2-multimodal-video-understanding-generation-model/Tue, 02 Dec 2025 08:54:46 +0800 ByteDance Vidi2が衝撃の登場！ByteDanceがこの大規模マルチモーダルモデルを通じて、いかにして長編動画の正確な理解と生成を実現したかを深く掘り下げます。Vidi2は「茶色のスーツを着た男性がドラムを叩いている」といった特定のイベントを正確に特定できるだけでなく、ベンチマークテストでGemini 3 ProやGPT-5 (Preview)を凌駕しています。Vidi2のコア技術を探り、動画編集の未来を予見しましょう！ これはコンテンツクリエイターや開発者が深く共感するシーンでしょう。手元に30分の動画があるのに、「茶色のスーツを着て室内でドラムを叩いている男性」のような特定のシーンを探すために、タイムライン上を行ったり来たりドラッグして、多くの時間を無駄にしてしまう。このような干し草の山から針を探すようなプロセスは、往々にして退屈で非効率的です。 ByteDance（バイトダンス）のインテリジェント・クリエーション・チーム（Intelligent Creation Team）は最近、Vidi2をリリースしました。これは、動画理解（Video Understanding）と動画生成（Video Creation）のために設計された大規模マルチモーダルモデル（Large Multimodal Models）です。Vidi2は単に動画を「見た」だけでなく、動画内で起きている詳細を理解し、イベントが発生した時間と場所を正確に指摘することができます。公式に発表されたレポートによると、このモデルは特定のベンチマークテストにおいて、Gemini 3 Pro (Preview)やGPT-5などの有名モデルを凌ぐパフォーマンスを見せています。 この記事では、読者の皆さんにVidi2のコア技術、全く新しい評価ベンチマーク、そしてそれが動画編集の未来をどのように変えるかをご案内します。 Vidi2とは何か？単純な視聴から正確な位置特定へVidi2はByteDanceが発表した第2世代のマルチモーダルモデルで、動画処理における2つの大きな課題、**動画理解（Video Understanding）と動画生成（Video Creation）**の解決に注力しています。 一般的な視覚モデルとは異なり、Vidi2は「きめ細かい時空間グラウンディング」（Fine-grained Spatio-Temporal Grounding, STG）と呼ばれる能力を備えています。これは少し専門的に聞こえるかもしれませんが、原理は非常に直感的です。テキストによる説明を入力すると、Vidi2は2つのことを行います： 時間的特定：その説明が動画内で出現する正確な時間帯（タイムスタンプ）を見つけます。 空間的特定：その時間帯の各フレーム内で、バウンディングボックス（Bounding Boxes）を使ってターゲットオブジェクトを正確にマークします。 これは、モデルが「何が起きたか」だけでなく、「どこで」「画面のどの位置で」起きたかを知っていることを意味します。このエンドツーエンドの能力により、視点の自動切り替え、ストーリー展開の理解、あるいは画面構成に基づいたインテリジェントなトリミングなど、複雑な編集シーンがはるかに簡単になります。 なぜこれが重要なのか？動画編集ソフトにとって、画面の内容を理解できることは自動化の基礎です。Vidi2が示した応用シーンには「Smart Split」（スマート分割）が含まれており、これは長い動画を自動的に素晴らしいショートクリップに編集し、スマートフォンの縦画面に適応するように再構成し、さらにはタイトルと字幕を自動生成することができます。これは、大量の素材を処理する必要があるクリエイターにとって、間違いなく大きな福音です。 基準の再定義：VUE-STGとVUE-TR-V2ベンチマークVidi2の実力を証明するために、研究チームは既存のテスト基準ではモデルの能力を完全に測定するには不十分であることに気づきました。そこで彼らは2つの全く新しいベンチマーク（Benchmark）を導入しました。これも今回のリリースの大きなハイライトです。 VUE-STG：長編動画の時空間グラウンディングへの挑戦既存のデータセットは通常動画が短く、長いコンテンツに対するモデルの理解能力をテストするのが困難でした。VUE-STGはこの点に対して4つの重要な改善を行いました： 動画の長さの幅が広い：10秒から30分までの動画をカバーし、モデルに長いコンテキストと長い時間スパンの推論能力を要求します。 クエリ形式の最適化：クエリを名詞句に変換しつつ、文の表現力を保持し、人間の自然な検索習慣に近づけました。 高品質なアノテーション：すべての時間範囲とオブジェクトのバウンディングボックスは、テスト結果の正確性を保証するために手動で正確に注釈付けされています。 より厳格な評価指標：改良されたvIoUとtIoUメカニズムを採用し、マルチセグメントの時空間評価向けに最適化されています。 VUE-TR-V2：アップグレード版の時間検索空間的な特定に加えて、チームは以前の時間検索ベンチマークもアップグレードし、VUE-TR-V2をリリースしました。この新バージョンは動画の長さの分布のバランスを取り、より多くの「ユーザースタイル」のクエリ文を導入しました。これは、テストシナリオが実験室の理想的な状況だけでなく、現実世界で人々が動画を検索する方法により近いことを意味します。 公式に発表されたデータから見ると、Vidi2はこれら2つのベンチマークテストで非常に素晴らしいパフォーマンスを見せており、特に長編動画や複雑なクエリを処理する際に、極めて高い精度を示しています。 パフォーマンス比較：GPT-5やGeminiとの勝負技術レポートの中で最も注目すべきは、パフォーマンス比較チャートです。VUE-STG（時空間グラウンディング）とVUE-TR-V2（時間検索）のテストにおいて、Vidi2のデータバーは他の競合他社よりも明らかに高くなっています。 具体的には、VUE-STGのテストにおいて、Vidi2はtIoU（時間的Intersection over Union）やvIoU（動画的Intersection over Union）などの指標で、スコアが大幅にリードしています。レポートでは特にGemini 3 Pro (Preview)やGPT-5と比較しており、結果はVidi2のようなターゲットを絞って最適化されたモデルが、特定の動画理解タスクにおいて汎用的な超大型モデルを凌駕できることを示しています。 これは実は一つのトレンドを反映しています。汎用的な大規模モデルは何でも少し知っていますが、特定の領域（例えばきめ細かい動画の時空間グラウンディング）においては、専門的に最適化されたモデルの方がより正確な結果を提供できることが多いのです。もちろん、Vidi2は一般的な動画QA（Video QA）ベンチマークテストでも、同規模のオープンソースモデルと同等の競争力を獲得しています。 実際の応用：Smart Splitと今後の展望技術がいかに優れていても、最終的には応用に回帰しなければなりません。Vidi2の技術はすでに実際のツールで潜在能力を発揮し始めています。レポートでは「TikTok Studio」という名前のインターフェースのスクリーンショットが公開されており、その中の Smart Split 機能こそがVidi2の能力を具体的に示したものです。 1時間の旅行Vlogをアップロードしたと想像してください。Vidi2は自動的に以下のことを行ってくれます： ハイライトの識別：最も面白い瞬間を見つけ出します。 リフレーム：主人公が常に画面の中央にいるようにしながら（これには強力なSTG能力が必要です）、横向きの動画をスマートフォンでの視聴に適した縦向きの動画にトリミングします。 字幕とタイトルの生成：会話と状況を理解し、自動的にテキストを付けます。 これは編集時間を節約するだけでなく、動画制作の敷居を下げます。 現在、Vidi2の関連コードと評価スクリプトはGitHubでオープンソース化されており、公式も「Demo Coming Very Soon」と約束しています。開発者や研究者にとって、これはマルチモーダル動画理解を深く研究するための絶好のリソースです。 よくある質問 (FAQ)Q1：Vidi2は具体的に何ができますか？ Vidi2は大規模マルチモーダルモデルであり、主な機能には動画理解と生成が含まれます。最も核心的な特徴は「きめ細かい時空間グラウンディング」（STG）であり、テキストの指示に基づいて、動画内の対応する時間セグメントを正確に見つけ出し、画面内でターゲットオブジェクトを枠で囲むことができます。さらに、動画QA（Video QA）や時間検索の能力も備えています。 Q2：Vidi2は他のモデル（GPT-4VやGeminiなど）とどう違いますか？ 多くのモデルが視覚理解能力を備えていますが、Vidi2は特に「長編動画」の理解と「正確な位置特定」の能力を強化しています。公式が提案したVUE-STGおよびVUE-TR-V2ベンチマークにおいて、Vidi2は時空間グラウンディングの精度で優れたパフォーマンスを発揮し、これらの特定のタスクにおいては一部の汎用的なプロプライエタリモデルさえも凌駕しました。https://www.communeify.com/ja/blog/apple-opensource-ai-fastvlm-developers-not-so-fast/https://www.communeify.com/ja/blog/apple-opensource-ai-fastvlm-developers-not-so-fast/Sat, 30 Aug 2025 08:54:46 +0800 Appleは最近、数ヶ月前に発表した視覚言語モデルFastVLMをHugging Faceプラットフォームで静かに公開しました。Appleは閉鎖的なエコシステムで知られているため、この動きはAIコミュニティ全体に衝撃を与えました。しかし、今回の「オープンソース」には、学術研究に限定するという厳しい条件が付いています。これはAppleがオープンな文化を受け入れるための小さな一歩なのか、それとも別の計画があるのか？ これまでAppleについて語るとき、頭に浮かぶのは「壁に囲まれた庭」や「エコシステムの障壁」といった言葉でした。彼らのハードウェアとソフトウェアは常に緊密に統合され、独自のシステムを形成しています。しかし最近、このテクノロジーの巨人は少しずつ緩んできているようです。 Appleは、著名なAI開発者コミュニティであるHugging Faceで、一連の機械学習モデルを公開しました。その中でも最も注目されているのがFastVLMとMobileCLIP2です。これは研究者にとっては間違いなく朗報ですが、これらのモデルを商用製品に応用したい開発者にとっては、がっかりするかもしれません。 FastVLMというモデルは、一体どこがすごいのか？まず、主役のFastVLMについてお話ししましょう。これは「視覚言語モデル」（Vision-Language Model, VLM）であり、簡単に言えば、画像とテキストの両方を理解できるAIです。画像を渡してテキストで質問すると、人間のように画像を理解して答えることができます。 かっこいいと思いませんか？ FastVLMのすごいところは、その効率性です。名前の「Fast」から推測できるように、応答速度と処理効率が最適化されています。Appleはまた、軽量な0.5B（5億パラメータ）から強力な7.76Bバージョン（公式には7Bと呼ばれていますが、実際にはもう少し大きいことは誰もが知っており、これは業界ではよくあることです）まで、さまざまなサイズのバージョンを thoughtfully に提供しています。 FastVLM-0.5B: https://huggingface.co/apple/FastVLM-0.5B FastVLM-1.5B: https://huggingface.co/apple/FastVLM-1.5B 完全なモデルセット: https://huggingface.co/collections/apple/fastvlm-68ac97b9cd5cacefdd04872e それだけでなく、AppleはFastVLMの威力を直接体験できるオンラインデモも提供しており、ソースコードまで添付して、誠意を示しています。 オンラインデモとソースコード: https://huggingface.co/spaces/apple/fastvlm-webgpu では、MobileCLIP2とは何なのか？FastVLMと同時に、MobileCLIP2も発表されました。CLIPタイプのモデルは、テキストと画像の間の関連付けを作成するために特別に設計されています。AIに「猫」という単語が猫の写真に関連していることを教える「翻訳者」と考えることができます。 そして、「Mobile」という言葉は、その本来の設計目的、つまりモバイルデバイス向けであることを示唆しています。これは、MobileCLIP2がパフォーマンスと消費電力の点で特別に最適化されており、iPhoneやiPadなどのデバイスで実行するのに非常に適していることを意味します。 MobileCLIP2モデルセット: https://huggingface.co/collections/apple/mobileclip2-68ac947dcb035c54bcd20c47 オープンソースの裏側：「研究目的のみ」というレッドラインここまで読んで、「すごい！Appleのモデルを使って新しいアプリを開発できる！」と思ったかもしれません。 まずは落ち着いてください。 今回のAppleのオープンソースは、完全に無制限というわけではありません。ライセンス条項では、Appleは「個人的、非独占的、世界的、譲渡不可、ロイヤリティフリー、取り消し可能な限定ライセンス」を付与すると明確に記載しています。最も重要な一文は、**「研究目的のみ」（for research purposes only）**です。 この文はどういう意味でしょうか？簡単に言うと： 学術研究者： おめでとうございます。論文を発表したり、学術実験を行ったりするために、これらのモデルを自由に使用、複製、変更できます。 商用開発者： 申し訳ありませんが、これらのモデルまたはその派生物を商用製品やサービスで使用することはできません。 このレッドラインは非常に明確に引かれています。Appleは、AI分野のイノベーションを加速させるために学術界と技術を共有する意思はありますが、今のところ、これらの成果が直接商業市場に流れ込み、競合他社や独立した開発者に利用されることは望んでいません。 Appleの次の一手は？今回の動きは、AppleのAI戦略における重要な転換点と言えます。これまで、AppleのAI技術はほとんどが「噂は聞こえるが見えない」ものであり、Siriやカメラのアルゴリズムなど、自社製品に静かに統合されていました。 現在、条件付きのオープンソースを通じて、AppleはトップクラスのAI人材を惹きつけるだけでなく、グローバルな研究コミュニティの力を借りて自社のモデルを検証・改善し、同時に商用アプリケーションにおける独占的な優位性を維持することができます。 これは非常に賢い一手です。閉鎖的なエコシステムを維持しながら、オープンソースAIの波の中で確固たる地位を築き、学術界や研究分野における影響力を高めることができます。おそらくこれは、将来のより強力なオンデバイスAI機能への布石であり、将来のiPhoneやMacがよりインテリジェントな体験を持つことを可能にするでしょう。 要するに、Appleの今回の「オープンソース」は、学術界への大きな贈り物であり、AIコミュニティ全体にとっても前向きなシグナルです。商用開発者は当面この恩恵を受けることはできませんが、AI時代におけるAppleのよりオープンな可能性を確かに示しています。https://www.communeify.com/ja/blog/minicpm-v-4-5-8b-model-beats-gpt4o-vision/https://www.communeify.com/ja/blog/minicpm-v-4-5-8b-model-beats-gpt4o-vision/Tue, 26 Aug 2025 08:54:46 +0800 AI界にまたビッグニュースです！OpenBMBがわずか80億パラメータの視覚言語モデルMiniCPM-V 4.5をリリースし、多くの視覚ベンチマークテストでGPT-4oやGemini Proなどの業界の巨人たちを打ち負かしたと主張しています。これは単なる誇大広告なのか、それとも本物なのでしょうか？この記事では、このモデルの驚くべき能力、その背後にある技術、そしてオープンソースコミュニティに与える深遠な影響について詳しく解説します。 AI競争が再び激化、小規模モデルも巨人に挑戦できるのか？最近、人工知能の発展の速さは息をのむほどです。誰もがGPT-4oやGeminiなどの大規模モデルの強力な能力に驚嘆している中、MiniCPM-V 4.5という「小さな巨人」が静かに舞台に登場し、これらの業界の巨人たちに直接挑戦状を叩きつけました。 聞き間違いではありません。オープンソースコミュニティOpenBMBのこの最新モデルは、わずか80億（8B）のパラメータ規模で、総合的な視覚言語能力においてGPT-4oやQwen2.5-VL（72B）のようなヘビー級の選手を凌駕すると主張しているのです。これは少し信じがたい話ですよね？パラメータ規模が10倍近く違うモデルが、どうやってこのような越級挑戦を実現したのでしょうか？その実力を見ていきましょう。 数字が物語る：性能評価で真価が問われる口先だけでは証明になりません。データこそが最も強力な証拠です。マルチモーダルモデルの総合能力を測定する権威ある評価セットOpenCompassにおいて、MiniCPM-V 4.5は平均77.2点という驚異的な成績を収めました。 このスコアは何を意味するのでしょうか？これは、前世代のモデルを凌駕しただけでなく、複数の重要な指標において、現在広く使用されているGPT-4oやGemini Proなどのプロプライエタリモデルを上回ったことを意味します。300億パラメータ以下のモデルの中では、間違いなく現在最強の性能を誇ります。評価データは、MiniCPM-V 4.5が複数の次元で非常に強い競争力を示していることを示しています。 正直なところ、軽量級の選手がリングでヘビー級チャンピオンに匹敵する、あるいはそれ以上の力を見せつけたとき、感心せずにはいられません。 見るだけでなく、「見抜く」：3つの核心的なハイライトの解析スコアだけを見てもまだ少し抽象的かもしれません。MiniCPM-V 4.5の強力さは机上の空論ではなく、様々な具体的な応用シーンで発揮されます。 1. AI界の「千里眼」：最高レベルのOCRと文書解析ぼやけていたり、角度が悪かったりする画像の文字や、乱雑な手書きのメモに頭を悩ませたことはありませんか？MiniCPM-V 4.5はこの分野の専門家です。 LLaVA-UHDアーキテクチャのおかげで、最大180万画素の超高解像度画像を処理でき、しかもほとんどのモデルより4倍少ない視覚トークン（モデルが画像を処理する計算単位と理解できる）しか使用しません。これによる利点は2つあります。効率を向上させ、精度を保証することです。 密集した乱雑な手書きの文字で埋め尽くされた会議の議事録でさえ、MiniCPM-V 4.5はそれを正確にデジタルテキストに変換できます。権威あるOCRBenchテストでは、その性能はGPT-4oをも上回り、これは文書のデジタル化やインテリジェントなフォーム入力などの分野で大きな応用可能性を秘めています。 2. ダイナミックな世界も把握：効率的な長編動画理解能力これまで、AIに動画を理解させることは非常にリソースを消費する作業でした。処理する動画が少し長かったり、画質が高かったりすると、計算コストは急上昇します。 MiniCPM-V 4.5は、革新的な「統一3D-Resampler」技術によってこの状況を完全に変えました。最大96倍の動画トークン圧縮率を実現できます。例えば、他のモデルが1536トークンを必要とする可能性のある動画クリップを、MiniCPM-V 4.5はわずか64トークンで処理できます！ この技術的ブレークスルーにより、最大10FPS（毎秒10フレーム）のリフレッシュレートで動画を「視聴」し、理解することができます。これは人間の知覚に非常に近いです。長時間の監視カメラ映像の分析や、スポーツイベントのハイライトの素早いキャプチャなど、すべてが簡単かつ非常に効率的になりました。 3. 人間のように考える：制御可能な「速い思考」と「遅い思考」人間が問題を解決するとき、直感に頼って素早く反応すること（速い思考）もあれば、詳細な分析と論理的な推論を必要とすること（遅い思考）もあります。MiniCPM-V 4.5は、このハイブリッドな思考モデルを巧みに導入しています。 通常の高頻度タスクを処理して最適な効率を達成するための「高速思考」モードをサポートし、同時に、より複雑で多段階の推論を必要とする問題を解決するための「詳細思考」モードもサポートしています。さらに素晴らしいことに、これら2つのモードはユーザーのニーズに応じて柔軟に切り替えることができ、効率と性能を完璧に両立させています。 実地試験で真価が問われる：実際のパフォーマンスを見てみよう理論はこれくらいにして、いくつかの実生活の例を見て、その威力を感じてみましょう。 シーン1：方向音痴の救世主よくある運転シーンを想像してみてください。見知らぬ交差点に来て、次の出口までどのくらいかかるか急いで知りたいとします。このとき、モデルはあなたが撮った道路標識の写真を分析し、そこにあるすべてのテキスト情報（例えば「East Perth」や「James St & Wellington St」）を正確に識別し、さらに距離（700メートル）や一般的な都市の交通ルール（制限速度など）を組み合わせて、おおよその所要時間を素早く見積もることができます。 このような視覚認識と現実世界の常識を組み合わせた推論能力は、非常に実用的です。 シーン2：動く百科事典博物館で展示品に興味を持ったけれど、横にある説明板が読めない場合はどうしますか？写真を撮るだけで、MiniCPM-V 4.5があなたの専属解説員になります。 例えば、始祖鳥（Archaeopteryx）の化石の写真を分析すると、それが何であるかをすぐに認識するだけでなく、その生物学的な意味を詳しく説明することができます。例えば、それが恐竜と鳥類をつなぐ重要な種であり、羽毛や爪などの混合した特徴を持ち、進化論の重要な証拠であることなどです。この専門性の高さは、まるで古生物学者がそばにいるかのようです。 誰でも使える：オープンなエコシステムと便利なデプロイMiniCPM-V 4.5の最大の強みは、おそらくそのオープン性にあるでしょう。OpenBMBチームは、優れたツールは誰もが使えるようにしてこそ、その価値を最大限に発揮できることをよく知っています。 そのため、自分のノートパソコンのCPUで実行したい場合（llama.cppとollamaをサポート）でも、サーバーで高スループットの推論を行う必要がある場合（SGLangとvLLMをサポート）でも、完全なソリューションを提供しています。さらに、さまざまな量子化バージョン（int4、GGUFなど）や便利なファインチューニングツール、さらにはiOSアプリも提供されており、開発者やAI愛好家はそれを自分のプロジェクトに簡単に応用できます。 モデルはHuggingFaceで見つけることができ、完全なコードと使用ガイドはGitHubで確認できます。 まとめ：AIの未来は、より効率的でオープンなコミュニティに属するMiniCPM-V 4.5の登場は、単なる新しいモデルのリリースではありません。それは、モデルの性能がパラメータの積み重ねだけに依存するわけではないという宣言のようなものです。より優れたアーキテクチャ設計、より効率的なトレーニング方法、より賢いアルゴリズムによって、小規模モデルも驚くべきエネルギーを爆発させることができます。 オープンソースコミュニティの力がAI技術の限界を押し広げ続け、最先端技術がもはや少数のテクノロジー巨人の専売特許ではなくなっていることを証明しています。これは、多くの開発者や中小企業にとって、間違いなく心強いニュースです。よりオープンで、より効率的で、より普及したAIの時代が、静かに到来しているのかもしれません。 よくある質問（FAQ）Q1: MiniCPM-V 4.5とGPT-4oを比較した場合の主な利点は何ですか？https://www.communeify.com/ja/blog/liquid-ai-lfm2-vl-on-device-visual-ai-mobile/https://www.communeify.com/ja/blog/liquid-ai-lfm2-vl-on-device-visual-ai-mobile/Thu, 21 Aug 2025 08:54:46 +0800 常時インターネット接続が必要なAIにうんざりしていませんか？Liquid AIが発表した新しい視覚言語モデルLFM2-VLは、スマートフォンやウェアラブルなどのエッジデバイス向けに特別に設計されています。高速かつ効率的であるだけでなく、最高レベルの精度を維持し、オンデバイスAIに対する私たちの認識を完全に変えます。 スマートフォンのカメラが写真を撮るだけでなく、目の前にあるものすべてを即座に理解し、それについてあなたと会話できるとしたら、と想像したことはありますか？これはSF映画のワンシーンのように聞こえますが、長い間、強力なAIモデルはその巨大さゆえにクラウドサーバーに閉じ込められており、この夢は遠いものに思えました。 しかし今、状況は変わろうとしています。 人工知能企業のLiquid AIは最近、衝撃的な発表を行いました。それは、「オンデバイス」展開のために生まれた新しい視覚言語基盤モデルシリーズ、LFM2-VLの正式な発表です。このシリーズにはLFM2-VL-450MとLFM2-VL-1.6Bの2つのバージョンが含まれており、その目標は非常に明確です。強力なマルチモーダルAIを、スマートフォン、ラップトップ、さらにはスマートウォッチ上で、速度や精度を犠牲にすることなく効率的に直接実行できるようにすることです。 速度と知能の完璧な組み合わせ？LFM2-VLの核となる利点これまで、私たちはAIの「速度」と「知能」の間で常にトレードオフを迫られてきました。モデルが賢くなるほど、通常はより大きく、より遅くなりました。しかし、LFM2-VLはその完璧なバランスを見つけたようです。 Liquid AIによると、LFM2-VLのGPU推論速度は、同種の既存モデルの2倍です。これは何を意味するのでしょうか？AIアプリケーションの応答がより即時になり、遅延が少なくなるということです。画像の説明、視覚的な質疑応答、複雑なマルチモーダル推論など、あらゆるタスクでよりスムーズな体験が提供されます。 さまざまなデバイスのニーズに応えるため、LFM2-VLは2つの選択肢を提供しています。 LFM2-VL-450M： 4億5000万のパラメータを持ち、ウェアラブルデバイスやエントリーレベルの組み込みシステムなど、リソースが極端に制限された環境向けに設計されています。 LFM2-VL-1.6B： 16億のパラメータを持ち、軽量でありながらより強力なパフォーマンスを提供し、ハイエンドのスマートフォンや単一のGPUを搭載したデバイスでの実行に最適です。 これは、軽量のラップトップと高性能のワークステーションを持っているようなもので、タスクの要件に応じて自由に選択できます。 舞台裏の技術を解剖：「ピクセルアンシャッフリング」とネイティブ解像度では、LFM2-VLはどのようにして高速かつ強力であることを両立させているのでしょうか？その答えは、革新的なモジュラーアーキテクチャと賢い画像処理技術にあります。 簡単に言うと、このモデルは3つのコアコンポーネントで構成されています。言語モデルのバックボーン（テキストの理解と生成を担当）、視覚エンコーダー（画像を「見る」ことを担当）、そしてマルチモーダルプロジェクター（両者を接続することを担当）です。 最も重要な技術は、**「ピクセルアンシャッフリング（pixel un-shuffling）」**と呼ばれる手法です。これは一種のスマートな圧縮と考えることができます。画像を処理する際、モデルはすべてのピクセルを分析するのではなく、処理する必要のある画像情報の量を動的に削減し、最も重要な特徴のみを保持します。これにより、詳細をあまり犠牲にすることなく、画像処理速度を大幅に向上させることができます。 さらに、LFM2-VLは最大512x512ピクセルのネイティブ解像度で画像を処理できるため、従来のモデルが画像を拡大する際に発生する可能性のある歪みを回避できます。より大きな画像に遭遇した場合、画像を複数の512x512ブロックに賢く分割して個別に処理し、詳細とアスペクト比の完全性を確保します。さらに興味深いことに、1.6Bバージョンは画像全体のサムネイルを追加で生成し、「グローバルな文脈」を理解することで、木と森の両方を見ることができます。 実際のパフォーマンスは？ベンチマークデータが物語るもちろん、口先だけでは意味がありません。LFM2-VLの実際のパフォーマンスはどうなのでしょうか？データを直接見てみましょう。 ModelRealWorldQAMM-IFEvalOCRBenchMME LFM2-VL-1.6B65.2337.667421753.04LFM2-VL-450M52.2926.186551239.06InternVL3-2B65.1038.49*8312186.40SmolVLM2-2.2B57.5019.42*7251792.50 上記のベンチマーク結果（表1）から、LFM2-VL-1.6Bのパフォーマンスが、いくつかの評価において、より大きなモデルであるInternVL3-2BやSmolVLM2-2.2Bと同等、あるいはそれ以上であることが明確にわかります。https://www.communeify.com/ja/blog/meta-ai-dinov3-opensource-visual-ai-game-changer/https://www.communeify.com/ja/blog/meta-ai-dinov3-opensource-visual-ai-game-changer/Mon, 18 Aug 2025 08:54:46 +0800 Meta AIは最近、新世代の汎用画像認識モデルDINOv3をオープンソース化しました。強力な「自己教師あり学習」能力により、手動の注釈なしで様々な視覚タスクでトップレベルのパフォーマンスを達成します。環境モニタリングから医療画像まで、その応用可能性は世界中の開発者の間で熱い議論を呼んでいます。 最近、AIコミュニティで最もホットな話題は、Meta AIが最新の汎用画像認識モデルであるDINOv3を正式にオープンソース化したことです。このニュースは、世界中の開発者や研究コミュニティの間で瞬く間に波紋を広げました。このモデルの最も驚くべき点は、「自己教師あり学習」フレームワークを採用していることです。簡単に言えば、AIは画像を見て自ら学習するため、人間が「これは猫」「あれは犬」と骨の折れるラベル付けをする必要が全くありません。このブレークスルーは、コンピュータビジョンの分野に新たな扉を開いたと言えるでしょう。 「自己教師あり学習」とは何か？なぜそれが重要なのか？まず、この一見難解に聞こえる技術についてお話ししましょう。これまで、賢い画像認識モデルを訓練するには、何千時間もの手作業によるラベル付けが必要でした。エンジニアは膨大な量の画像を用意し、一枚一枚の画像に何が写っているかをモデルに教えなければなりませんでした。このプロセスは時間と労力がかかるだけでなく、信じられないほど高価でした。 しかし、DINOv3はゲームのルールを完全に変えました。 自己教師あり学習を通じて、ラベル付けされていない画像から自律的に学習し、一般化し、重要な特徴を抽出することができます。それはまるで、親がフラッシュカードで教えるのではなく、世界を観察することで物事を学ぶ赤ちゃんのようです。この革新は、データ準備の障壁とコストを大幅に削減するだけでなく、データが乏しい、あるいはラベル付けが非常に高価な分野（専門的な医療画像や希少種の識別など）で、AIに前例のない可能性を示させます。 ソーシャルメディア上の開発者もこれを認めており、多くのフィードバックは、DINOv3の様々なベンチマークテストでのパフォーマンスが、SigLIP 2やPerception Encoderのようなトップモデルに匹敵し、いくつかのタスクではそれらを上回り、その驚くべき汎用性を示していることを示しています。 見るだけでなく、細かく見る！DINOv3の高解像度な特徴DINOv3のもう一つのキラー機能は、高品質で高解像度の密な特徴表現です。これはどういう意味でしょうか？ 簡単に言えば、画像の「全体的な外観」を把握し、シーン内の非常に小さな「局所的な詳細」を捉えることができます。それは私たちが絵画を見るとき、全体的な構図や雰囲気を鑑賞できると同時に、隅に隠された画家の繊細なサインに気づくようなものです。この「遠近両用」の視覚能力により、DINOv3は様々な視覚タスクを容易に処理できます。 画像分類、物体検出、セマンティックセグメンテーション、あるいは画像検索や深度推定のようなより複雑なタスクであっても、DINOv3は強力なサポートを提供します。さらに、その能力は私たちが日常的に携帯電話で撮影する写真の処理に限定されず、衛星画像や医療画像（X線やCTスキャンなど）のような高度に専門的で複雑なデータタイプも容易に管理でき、分野横断的なAIアプリケーションの強固な基盤を築きます。 データが物語る：DINOv3は本当にどれほど強力なのか？直接データを見てみましょう。Meta AIが公開した性能比較表によると、DINOv3の性能は実に印象的です。 タスクベンチマークDINOv3DINOv2SigLIP 2PE セグメンテーションADE-20k55.949.542.738.9深度推定NYU ↓0.3090.3720.4940.436ビデオ追跡DAVIS83.376.662.949.8インスタンス検索Met55.444.613.910.6画像分類ImageNet ReaL90.489.990.590.4画像分類ObjectNet79.066.478.680.2細粒度画像分類iNaturalist 202189.886.182.787.0 表から明らかなように、