https://www.communeify.com/ja/tag/3d/Communeify - Your Community PlatformHugohttps://www.communeify.com/ja/blog/microsoft-trellis-2-opensource-4b-parameter-image-to-3d-model/https://www.communeify.com/ja/blog/microsoft-trellis-2-opensource-4b-parameter-image-to-3d-model/Thu, 18 Dec 2025 08:54:46 +0800 Microsoftの研究チームは、40億パラメータを持つ画像対3DモデルであるTRELLIS.2を新たに発表しました。革新的なO-Voxel表現とSC-VAE技術を採用しています。この記事では、1536³の解像度でどのように高精細な生成を実現しているかを解析し、PBRマテリアルの復元と幾何学構造における画期的な進歩について探ります。 Microsoft TRELLISを覚えていますか？3D生成技術の分野において、1枚の平面画像から、正確な幾何学構造とリアルな質感を兼ね備えた立体モデルを導き出すことは、開発者にとって常に大きな課題でした。Microsoftの研究チームは、清華大学や中国科学技術大学などの機関と協力し、正式に TRELLIS.2 を発表しました。これは単なるバージョン番号の更新ではありません。40億パラメータ（4B）を持つこのオープンソースモデルは、全く新しい技術アーキテクチャを通じて、過去の3D生成におけるディテールの欠落やテクスチャのぼやけといった問題点を解決しようとしています。 TRELLIS.2の中核となる利点は、効率と高画質のバランスにあります。最大1536³の解像度を持つPBR（Physically Based Rendering、物理ベースレンダリング）テクスチャアセットを生成でき、有機的な生物からハードサーフェスの機械まで、様々な複雑なシーンに適用可能です。 核となるブレークスルー：平面から立体へのネイティブな構造化潜在空間TRELLIS.2の最大のハイライトは、その「ネイティブ」な3D処理能力にあります。市場に出回っている多くのモデルは、3Dの問題を多視点画像の生成と貼り合わせに単純化する傾向がありますが、TRELLIS.2はより根本的なパスを選択しました。それは、ネイティブな3D変分オートエンコーダ（3D VAEs）の構築です。 このアーキテクチャは、16倍の空間圧縮技術を利用して、複雑な3D情報をコンパクトな潜在空間（Latent Space）にエンコードします。これは、モデルが計算を行う際、より少ないリソース消費で、より膨大な幾何学情報とテクスチャ情報を処理できることを意味します。開発者にとっては、生成効率と最終的なアセットの拡張性の間で、満足のいくバランスポイントを得られることを表しています。 O-Voxel 技術：幾何学と外観の同時かつ正確なエンコーディング生成された3Dモデルが単に「形が似ている」だけでなく、「質感がリアル」であるようにするために、TRELLIS.2は O-Voxel (Omni-Voxel) と呼ばれる新しい表現形式を導入しました。これはフィールドフリー（field-free）なスパースボクセル構造であり、幾何学的形状と複雑な外観のエンコーディング問題を同時に解決するために設計されました。 O-Voxelは2つの重要な部分に分かれて機能します： 幾何学レベル (Geometry)： 柔軟なデュアルグリッド（Dual Grids）表現を採用しています。この技術により、モデルは穴のある機械部品であれ、なびく衣服のひだであれ、任意のトポロジー構造を処理でき、エッジの鋭さを保ちながら正確に捉えることができます。 外観レベル (Appearance)： これは、多くの画像対3Dモデルが見落としがちな部分です。O-Voxelは、ベースカラー（Base Color）、メタリック（Metallic）、ラフネス（Roughness）、透明度（Alpha）を含む完全なPBR属性をサポートしています。 つまり、ユーザーが錆びた金属製の機械の画像を入力すると、生成される3Dモデルは単なる灰色の塊ではなく、金属特有の反射や錆のザラザラした質感を表現できるということです。 SC-VAE：極限の圧縮がもたらす高効率生成高解像度の3Dデータを扱う際、データ量はしばしば最大のボトルネックとなります。TRELLIS.2は、この問題を解決するために スパース圧縮3D VAE (SC-VAE) を提案しました。これはスパース残差オートエンコーディングスキーム（Sparse Residual Autoencoding scheme）を採用し、ボクセルデータを直接圧縮します。 データによると、この技術は16倍のダウンサンプリング（Downsampling）を実現し、1024³の複雑なアセットをわずか約9600個の潜在トークン（Latent Tokens）に圧縮します。この極限の圧縮率は2つの利点をもたらします： 知覚的ロスレス： データは大幅に圧縮されますが、デコード後の3Dアセットは視覚的な知覚においてディテールの損失がほとんどありません。 大規模生成： トークン数が極めて少ないため、Transformerを利用した大規模な生成モデリングが可能になり、計算のハードルが大幅に下がります。 多様な応用シーン：有機的な生物から精密機械までTRELLIS.2 公式ショーケースの事例を観察すると、このモデルの汎化能力が極めて高いことがわかります。特定の種類の物体に限定されることなく、全く異なる幾何学的特徴を持つ様々な物体を処理できます： 有機体とキャラクター (Organic & Character)： 人物の彫像やファンタジーの生き物など、モデルは筋肉のラインや毛並みのおおよその流れを捉えることができます。 ハードサーフェスと内部構造 (Hard Surface & Interior)： 機械エンジンや家具などの物体に対して、モデルは鋭いエッジを生成でき、特定の透視構造においては内部構造への理解さえ示します。 薄壁の幾何学と透明マテリアル (Thin Geometry & Transparent)： これは従来の3Dスキャンや生成の鬼門でしたが、TRELLIS.2は昆虫の羽やガラス器具などの物体を処理する際、驚くべき安定性を示しています。 TRELLIS.2 の入手方法と使用方法Microsoftは今回、非常にオープンな姿勢をとり、TRELLIS.2をオープンソースの研究プロジェクトとして公開しました。この技術を試してみたい開発者や3Dアーティストは、以下のチャネルを通じてリソースを入手できます： モデルのダウンロード： 完全な40億パラメータのモデルウェイトが Hugging Face モデルページ にアップロードされています。 オンラインデモ： ローカルにデプロイしたくない場合は、Hugging Face Spaces Demo にアクセスしてオンラインでテストできます。画像をアップロードするだけで生成可能です。 コードベース： 関連する推論コードと技術詳細はGitHubでホストされており、研究者が二次開発を行うのに便利です。 このツールの登場は、ゲーム開発、映像のプリビジュアライゼーション、VR/ARコンテンツクリエイターにとって、間違いなく強力な補助ツールとなり、コンセプトアートから3Dラフモデルまでの制作時間を大幅に短縮するでしょう。https://www.communeify.com/ja/blog/tencent-hunyuan-video-to-3d-model-for-everyone/https://www.communeify.com/ja/blog/tencent-hunyuan-video-to-3d-model-for-everyone/Thu, 23 Oct 2025 08:54:46 +0800 テンセントは、Hunyuan World Model 1.1 (WorldMirror)を正式にオープンソース化しました。これは、ユーザーがビデオや複数の画像を使用するだけで、プロ級の3Dシーンを数秒で生成できる画期的なテクノロジーです。この記事では、そのコア機能、技術アーキテクチャ、そして3D再構築の分野に革命をもたらす方法について詳しく説明します。 何気なく撮影したビデオや数枚の写真が、瞬く間に自由に探索できる3D仮想世界に変わることを想像したことがありますか？ SF映画のような話に聞こえますが、今では現実のものとなっています。 テンセントは最近、最新の「混元世界モデル1.1」（HunyuanWorld-Mirror）を正式にリリースし、オープンソース化しました。これは3D再構築技術の分野に衝撃を与えました。この新バージョンは、マルチビューとビデオ入力、シングルカード展開、生成速度の点で大幅なアップグレードを特徴としており、かつては専門家だけのものであった3D再構築技術を、一般のユーザーでも簡単に習得できるツールにすることを目指しています。 「プロフェッショナルツール」から「誰でも使える」へ、3D再構築の壁はなくなったのか？これまで、3Dモデルを作成するには、高価なソフトウェア、強力なハードウェア、そして数時間から数日かかる専門的な操作が必要でした。しかし、混元世界モデル1.1は、このゲームのルールを完全に変えました。ビデオや画像セットから、わずか数秒でプロ級の3Dシーンを直接生成できます。 この効率はどれほど素晴らしいのでしょうか？携帯電話でリビングルームを撮影し、ビデオをアップロードすると、ほぼ瞬時に正確な3Dデジタルツインが得られると想像してみてください。 実際、今年7月にリリースされた前身の混元世界モデル1.0は、すでに業界初のオープンソースのローミング可能な世界生成モデルであり、従来のコンピュータグラフィックス（CG）ワークフローと互換性がありました。そして、この1.1バージョンはさらに一歩進んで、いわゆる「マルチモーダル事前注入」と「マルチタスク統合出力」を実現し、3D再構築プロセス全体をよりインテリジェントで自動化されたものにしました。 WorldMirror 1.1の3つのコアハイライトでは、この新しいモデルのどこがそんなに強力なのでしょうか？簡単に言えば、3つの印象的な特徴にまとめることができます。 1. さまざまな入力を柔軟に処理し、情報が多いほど精度が向上混元世界モデル1.1の最も賢い点は、「マルチモーダル事前ガイダンス」メカニズムを採用していることです。これはどういう意味でしょうか？簡単に言えば、モデルは画像のピクセルを見るだけでなく、次のような追加情報も理解して利用できるということです。 カメラポーズ: 撮影中のカメラの位置と角度。 カメラ内部パラメータ: レンズの焦点距離や光学中心などのパラメータ。 深度マップ: 画像内の各点とカメラとの距離。 この情報がモデルに「注入」されると、生成された3Dシーンの幾何学的構造がより正確になり、奇妙な歪みや変形が発生しなくなります。これは、物体の外観だけでなく、物体間の距離や遠近関係も知っている画家のようなもので、結果として得られる絵は当然よりリアルになります。 2. ユニバーサル3Dビジュアル予測、一度にすべてを完了従来の3D再構築ワークフローは通常、工場の生産ラインのように各リンクが1つのタスクを処理する段階的なものでした。しかし、混元世界モデル1.1は、一度にすべてを実行できるオールインワンワークステーションのようなものです。 点群、深度マップ、カメラパラメータ、表面法線、新しいビュー合成など、複数の3D幾何学的予測を実現します。これは、モデルが1回の操作でシーンのすべての主要な3D属性を出力でき、驚くべきパフォーマンス上の利点を発揮することを示しています。 3. シングルカード展開、秒速推論速度は、混元世界モデル1.1の最も評価の高い利点の1つです。反復的な最適化を必要とする従来の3D再構築方法とは異なり、純粋な「フィードフォワードアーキテクチャ」を使用します。 従来の方法は、作品を完成させるために絶えず彫ったり、磨いたり、磨いたりする必要がある彫刻家と考えることができます。一方、フィードフォワードアーキテクチャは、設計が入力されると完成品を直接出力できる高精度の3Dプリンターのようなものです。一般的な8〜32ビューの入力の場合、モデルは推論を完了するのにわずか1秒しかかからず、リアルタイムアプリケーションの厳しい要件を完全に満たしています。 テクノロジーの背後にある秘密：どのようにしてそれを実現したのか？混元世界モデル1.1の強力なパフォーマンスは、その独自の技術アーキテクチャに由来します。これは、「マルチモーダル事前プロンプト」と「ユニバーサル幾何学的予測アーキテクチャ」を組み合わせ、「カリキュラム学習」と呼ばれる戦略で補完されており、複雑な実世界環境でもモデルが高い効率と正確な分析能力を維持できるようにします。 巧妙な動的注入メカニズムにより、モデルはさまざまな事前情報に柔軟に対応できます。完全なカメラパラメータを提供する場合でも、散在するいくつかの画像しかない場合でも、3D構造の一貫性と再構築品質を向上させるために最善を尽くします。 未来の3Dテクノロジーを直接体験いろいろ言ってきましたが、自分で試してみるのが一番です。テンセントは今回、混元世界モデル1.1を完全にオープンソース化するという非常に寛大な措置を取りました。開発者でも一般ユーザーでも、その魅力を体験する機会があります。 開発者: GitHubプロジェクトアドレスに直接アクセスし、コードリポジトリ全体を複製してローカルに展開できます。 一般ユーザー: Hugging Face Spaceオンライン体験ページを使用して、マルチビュー画像やビデオを直接アップロードし、生成された3Dシーンをリアルタイムでプレビューできます。 詳細情報: 詳細については、プロジェクトホームページをご覧ください。 このテクノロジーのリリースは、間違いなく3D再構築の分野における大きな一歩です。将来的には、仮想現実（VR）、拡張現実（AR）、ゲーム開発、映画の特殊効果、建築設計など、すべてがこのような効率的なツールの出現により新たな発展を遂げるでしょう。誰もが3Dコンテンツを作成する時代は、そう遠くないかもしれません。https://www.communeify.com/ja/blog/tencent-hunyuan-voyager-photo-to-3d-world-model/https://www.communeify.com/ja/blog/tencent-hunyuan-voyager-photo-to-3d-world-model/Fri, 05 Sep 2025 10:07:46 +0800 Tencentは、最新のHunyuan World ModelであるVoyagerを正式にオープンソース化しました。このモデルは、WorldScoreベンチマークテストで1位を獲得しただけでなく、1枚の画像から世界の一貫性を持つ3Dポイントクラウドビデオを生成し、ユーザーが没入感を持って探索できるようにします。この技術はどれほど魔法のようなものなのでしょうか？見てみましょう。 AIに1枚の写真を渡すだけで、完全な3D世界を構築してくれる、そんな世界を自由に「歩き回って」探索できると想像してみてください。これはSF映画のようですが、Tencentが新たにオープンソース化した「HunyuanWorld-Voyager」は、それを現実にしています。 このモデルは単なるおもちゃではありません。業界初のネイティブ3D再構築をサポートするワールドモデルであり、権威あるWorldScoreベンチマークテストで総合1位にランクされています。さらに驚くべきことに、ポイントクラウドビデオを直接出力でき、3Dアプリケーション、ゲーム開発、バーチャルリアリティに全く新しい可能性を開きます。 ご自身で体験したい場合は、オンラインデモが利用可能で、技術愛好家はGitHubですべてのオープンソースデータを見つけることができます。 この魔法のような技術はどのようにして実現されたのか？多くの人が、Voyagerが静止画像から動的な3D世界をどのように変換するのか疑問に思うかもしれません。実際、舞台裏では2つの重要なコアコンポーネントが機能しています。 1. 世界と一致したビデオ拡散技術まず、Voyagerは、正確にキャリブレーションされたカラービデオ（RGB）と深度ビデオシーケンスを同時に生成できる統一されたアーキテクチャを採用しています。これはどういう意味でしょうか？簡単に言うと、表示されるシーンを「描く」だけでなく、シーン内の各オブジェクトの距離を同時に「理解」します。これにより、この仮想世界を移動する際に、すべてのオブジェクトの位置とスケールが正しく保たれ、奇妙な歪みや反りが発生せず、グローバルなシーンの一貫性が保証されます。 2. 長距離の世界探査能力単一のシーンだけでは不十分です。「世界」を創造するには、常に拡張する必要があります。Voyagerは、効率的な「世界バックアップメカニズム」を提案しています。このメカニズムは、AIに超強力なメモリを搭載するようなもので、ポイントクラウドのクリーニングと自己回帰推論機能を融合して、生成されたシーンのすべての詳細を記憶します。 これにより、さらに遠くを探索する必要がある場合、AIはこのメモリに基づいてシーンを反復的に外側に拡張できます。グローバルな認知技術を通じて、古いシーンと新しいシーンの間にシームレスな接続が保証され、非常に滑らかなビデオが作成されます。 成功の裏側：巨大なデータトレーニングエンジンこのような強力なAIモデルをトレーニングするには、膨大な量のデータが必要です。この目的のために、Tencentチームはスケーラブルなデータ構築エンジンを構築しました。 このエンジンは非常にインテリジェントです。入力されたビデオのカメラ位置、ポーズ、深度情報を完全に自動で推定し、手動での注釈付けの必要性を完全に排除します。これにより効率が大幅に向上し、大規模で高品質なトレーニングデータの構築が可能になります。Voyagerはこのエンジンに基づいており、現実世界でキャプチャされたビデオとUnreal Engineでレンダリングされたリソースを統合して、10万を超えるビデオクリップを含む巨大なデータセットを作成しました。 仮想世界の品質を客観的に評価する方法は？これらすべてを踏まえて、Voyagerによって生成された世界が本当に「良い」ものであり、単に見栄えが良いだけのものではないことをどのようにして知ることができるのでしょうか？これには、いくつかの客観的な評価基準が必要です。次の表には、いくつかの専門用語が表示されます。心配しないでください、それらは実際には理解しやすいものです。 ビデオ/画質を測定するための3つの主要な指標AIがビデオを生成する場合、それを「本物の」ビデオと比較する必要があります。この目的のために、次の3つの指標が使用されます。 ピーク信号対雑音比（PSNR）↑： これを「ピクセルレベルの比較」と考えることができます。生成された画像と実際の画像の各ピクセルを1つずつ比較します。スコアが高いほど（矢印↑は高いほど良いことを意味します）、2つの画像のピクセル差が小さくなり、歪みが少なくなります。 構造的類似性（SSIM）↑： この指標はPSNRよりも一歩進んでいます。ピクセルだけでなく、明るさ、コントラスト、オブジェクトのエッジなど、人間の目が見る「構造」にもっと関心があります。SSIMスコアが高いほど（↑）、人間の目には元の画像に似ているように感じられます。 学習済み知覚的画像パッチ類似性（LPIPS）↓： これは「最も賢い」指標です。別のニューラルネットワークを使用して人間の視覚知覚を模倣し、2つの画像の類似性を判断します。人間の目には敏感ですが、従来の指標では見過ごされる可能性のある微妙な違いを捉えるのに優れています。したがって、このスコアは低いほど良く（矢印↓）、AIの目には2つの画像の「感じ」が近いことを意味します。 さて、この知識を持ってVoyagerのパフォーマンスを見てみましょう。 論より証拠：パフォーマンス比較ビデオ生成品質の比較他の4つのオープンソースモデル（Swerve、ViewCrafter、See3D、FlexWorld）との比較では、Voyagerはすべての主要な指標で最高のパフォーマンスを示しました。 手法ピーク信号対雑音比（PSNR）↑構造的類似性（SSIM）↑学習済み知覚的画像パッチ類似性（LPIPS）↓ Swerve16.6480.6130.349ViewCrafter16.5120.6360.332See3D18.1890.6940.290FlexWorld18.2780.6930.281Voyager18.7510.7150.277 データから、Voyagerが最高のPSNRおよびSSIMスコアと最低のLPIPSスコアを持っていることは明らかです。これは、生成されたビデオがピクセルレベルで現実に最も近いだけでなく、人間の目とAIの知覚においても最も現実的であることを意味します。https://www.communeify.com/ja/blog/matrix-game-2-0-opensource-realtime-interactive-world-model/https://www.communeify.com/ja/blog/matrix-game-2-0-opensource-realtime-interactive-world-model/Thu, 14 Aug 2025 08:54:46 +0800 Skywork AIが発表したMatrix-Game 2.0は、世界初のオープンソース、リアルタイム、長時間対話可能なワールドモデルとして、その驚異的な性能で仮想世界の生成と対話に対する我々の想像を覆しています。このモデルは、毎秒25フレーム（FPS）の速度で高画質ビデオをリアルタイムに生成できるだけでなく、数分間の連続した対話も実現します。本稿では、Matrix-Game 2.0の中核技術、重要なブレークスルー、そしてゲーム、シミュレーション訓練、メタバースなどの分野への深い影響について掘り下げていきます。 2025年8月、人工知能の分野は大きなブレークスルーを迎えました。スタートアップ企業Skywork AIがリリースしたMatrix-Game 2.0が、全世界にオープンソースとして公開されました。これは単なる新しいモデルの登場ではなく、新しい時代の幕開けとなる可能性があります。あなたのあらゆる指示にリアルタイムで応答し、生き生きとした仮想世界を動的に生成するAIを想像してみてください。今、それが手の届くところにあります。 最近DeepMindがリリースしたもののオープンソース化されていないGenie 3モデルとは異なり、Matrix-Game 2.0は完全にオープンなルートを選択し、モデルの重みとコードリポジトリをすべて公開し、対話型ワールドモデル研究全体の進展を促進することを目指しています。この動きは、世界中の開発者や研究者にとって大きな活力となることは間違いありません。 ワールドモデルとは何か？なぜそれほど重要なのか？Matrix-Game 2.0を深く理解する前に、まず**ワールドモデル (World Model)**という概念を明確にしておきましょう。簡単に言えば、ワールドモデルとは、世界の仕組みを理解し、シミュレートできるAIモデルのことです。単に画像を生成するだけでなく、物理法則、空間関係、因果関係を理解することができます。あなたがそれと対話すると、あなたの行動の結果を予測し、論理的な後続シーンを生成することができます。 この技術の重要性は言うまでもありません。より没入感のあるビデオゲームの作成から、自動運転やロボット工学のための効率的なシミュレーション訓練環境の提供、そして私たちが待ち望んでいる「メタバース」の構築まで、ワールドモデルは不可欠なインフラです。 Matrix-Game 2.0の3つの核心的ブレークスルーMatrix-Game 2.0が注目を集めているのは、主に3つの重要な分野で革命的な進歩を遂げたためです。これらのブレークスルーは、既存のモデルが抱えるリアルタイム性、対話性、データ規模における多くの課題をまとめて解決します。 1. リアルタイム蒸留技術：25 FPSの滑らかな対話体験過去のビデオ生成モデルは、多くの場合、長い計算時間を必要とし、リアルタイムの対話を実現するのは困難でした。Matrix-Game 2.0は、革新的な**「リアルタイム蒸留技術 (Real-Time Distillation)」**によって、この状況を完全に変えました。 効率的な少数ステップ拡散（few-step diffusion）メカニズムを採用し、複数の最適化戦略を組み合わせています。 因果的拡散モデル蒸留 (Causal Diffusion Model Distillation): 過去のフレームを参照して新しいフレームを生成することで、シーケンスの遅延を大幅に削減しました。 分布マッチング蒸留 (Distribution Matching Distillation): モデルの訓練時と実際の推論時でデータ分布を一致させることで、より安定した生成結果を得ることができます。 KVキャッシュメカニズム (KV Cache Mechanism): 過去の情報の重複計算を回避し、モデルが単一のGPU上で無制限の長さのビデオをスムーズに生成できるようにします。 これらの努力の結果、Matrix-Game 2.0は複雑な環境において、25 FPSの安定したフレームレートで高画質ビデオを数分間にわたって継続的に生成することができます。これは、ユーザーがシルクのように滑らかでシームレスなリアルタイム対話を享受できることを意味し、これまでにない没入感と使いやすさをもたらします。 2. 正確なアクション注入：あなたのマウスとキーボードが魔法の杖にリアルタイム生成が基礎であるとすれば、正確な対話は魂です。Matrix-Game 2.0は、革新的な**「正確なアクション注入 (Precise Action Injection)」**モジュールを導入し、ユーザーの操作が生成されたビデオにリアルタイムかつ正確に反映されるようにしました。 この**「マウス/キーボードからフレームへ (mouse/keyboard-to-frame)」**のモジュールは、ユーザーの入力コマンド（移動、ジャンプ、視点回転など）を各フレームの生成プロセスに直接埋め込むことができます。これは、あなたがもはやビデオの受動的な視聴者ではなく、仮想世界の真の主導者であることを意味します。『グランド・セフト・オート』（GTA）風の都市を駆け抜けたり、『マインクラフト』のようなブロックの世界を探検したりする場合でも、あなたの一つ一つのアクションに対して、リアルタイムで物理的に論理的な応答が得られます。 3. 大量の対話型データパイプライン：仮想ゲームから栄養を吸収高品質のAIモデルには、大量で質の高い訓練データが不可欠です。そのために、Skywork AIはスケーラブルなデータ生産システムを構築し、Unreal Engine (UE)と『グランド・セフト・オートV』(GTA5)という2つのトップクラスのゲームエンジンを利用して、約1200時間に及ぶ高品質の対話型ビデオデータを生成しました。 これらのデータは、リアルな映像と多様なシーンだけでなく、さらに重要なことに、各フレームに正確な対話情報が含まれています。ゲームの世界から学ぶこの方法は、Matrix-Game 2.0が複雑な物理的ダイナミクスと対話行動をより深く理解することを可能にし、その強力な生成能力の強固な基盤を築きました。 ハードウェア要件とモデル詳細もちろん、このような強力なモデルを動かすには、それに対応するハードウェアサポートも必要です。公式データとコミュニティの議論によると、リアルタイムの対話体験を実現するための推奨ハードウェア構成は、24GBのVRAMを搭載したグラフィックカードと64GBのシステムメモリです。 Matrix-Game 2.0 (1.8B)は、18億のパラメータを持つモデルです。有名なWanXモデルをベースに派生開発され、テキストブランチを削除し、アクションモジュールを追加することで、視覚コンテンツとユーザーの行動に基づいて次のフレームを予測することに特化しています。 未来の無限の可能性：ゲームから汎用人工知能へMatrix-Game 2.0のオープンソース化は、開発者に強力なツールを提供するだけでなく、いくつかの最先端分野の発展に新たな扉を開きます。 次世代ゲームエンジン： 開発者はこのモデルを利用して、動的で対話可能なゲーム世界を迅速に構築し、開発コストとサイクルを大幅に削減できます。 身体性AI（Embodied AI）訓練： ロボットや自動運転システムに、安全で効率的、かつ低コストのシミュレーション訓練プラットフォームを提供し、AIが仮想世界で物理世界との対話を学ぶことを可能にします。 バーチャルヒューマンとメタバース： よりリアルで対話性の高いバーチャルアバターとバーチャル空間を創造し、メタバースの実現を加速させます。 映像コンテンツ制作： 映画やアニメーションに、シーンの迅速な生成と効果のプレビューツールを提供し、コンテンツ制作プロセスを革新します。 Skywork AIのこの動きは、オープンソースとオープンサイエンスを通じて人工知能の民主化を推進するという同社の決意を強調しています。Matrix-Game 2.0のリリースにより、世界中の開発者が共同で参加し、協力して構築する次世代の仮想世界プラットフォームが加速的に到来することが予測されます。https://www.communeify.com/ja/blog/matrix-3d-image-text-to-3d-panoramic-world/https://www.communeify.com/ja/blog/matrix-3d-image-text-to-3d-panoramic-world/Thu, 14 Aug 2025 08:54:46 +0800 狭い3Dシーン生成に飽き飽きしていませんか？Skywork AIがオープンソースで公開したMatrix-3Dモデルは、革新的なパノラマ動画生成技術により、1枚の画像や一文から360度自由に探索できる壮大な3D世界を構築できます。AI界のこの新しい寵児がどれほどすごいのか、一緒に見ていきましょう！ ある日、たった一文、一枚の画像で、自分だけの、自由に散策できる仮想世界を創造できると想像したことがありますか？これはSF映画の筋書きのように聞こえますが、今、この夢はMatrix-3DというAIモデルによって現実のものとなりつつあります。 最近、Skywork AIが発表したこのオープンソースプロジェクトは、AIコミュニティと開発者の間で大きな話題を呼んでいます。Matrix-3Dは、静的な画像や固定視点の短い動画しか生成できないような普通のモデルではありません。その目標ははるかに野心的で、360度自由に探索できる広大でシームレスな3D世界を直接生成することです。これは、AIが単なる描画ツールではなく、「世界シミュレーター」に進化していることを意味します。 もはや「見る」だけじゃない、真に「中に入る」：Matrix-3Dは何が違うのか？これまで、多くのAI 3D生成技術は、まるで小さな窓から仮想シーンを覗き込んでいるかのようでした。窓の外の景色は見えますが、振り返って後ろを見ることも、建物の反対側に回り込むこともできませんでした。生成されるシーンの範囲は限られており、あらかじめ設定された視点を超えると、煩わしい境界線や歪みが生じ、没入感を著しく損なっていました。 Matrix-3Dは、このゲームのルールを根本から変えました。核となる考え方として「パノラマ」を採用し、真に「中に入れる」空間を創造することを目標としています。これは、風景写真を見ることから、VRヘッドセットを装着してその世界を実際に歩き回ることにアップグレードするようなものです。 このモデルのどこがすごいのでしょうか？主にいくつかの驚くべき特徴があります。 広大で無限のシーン： 市場に出回っている既存のモデル（WorldLabsなど）と比較して、Matrix-3Dはより大きく、より完全な仮想環境を生成でき、視点の束縛から解放され、真の360度全方向探索を実現します。 超高度な自由度の制御： テキストや画像の入力に対応しているだけでなく、カメラの移動軌跡をカスタマイズすることもできます。監督のように、AIに特定のルートに沿って飛行するシーン動画を生成させ、それを自由に探索できる3D空間に変えることを想像してみてください。 強力な汎用性： チームが独自に開発した3Dデータとビデオモデルに基づいて、Matrix-3Dは多様で高品質なシーンを生成できます。幻想的な浮遊島であろうと、印象派風の冬の雪景色であろうと、お手の物です。 魚と熊の手をどうやって両立させるか？Matrix-3Dの「二重軌道」再構築マジック3D生成の分野では、常に難しい問題が存在していました。生成速度とモデルの品質は、両立が難しいように思われます。素早く粗いモデルを生成するか、多くの時間を費やして精巧な作品を待つかのどちらかです。 Matrix-3Dは、「二重軌道」設計でこの問題を巧みに解決し、ユーザーに2つの選択肢を提供します。 迅速かつ正確な「フィードフォワード再構築モデル」 (Feed-forward Reconstruction Model): これは「速度優先」モードと理解できます。大規模な再構築モデルを介して、生成されたパノラマビデオから3D属性を直接予測および復元します。このプロセスは非常に効率的で、最短10秒で3Dシーンの再構築を完了できます。効果をすばやくプレビューしたり、複数回の反復を行ったりする必要がある場合、このモードはまさに天の恵みです。 丹念に作り上げる「最適化ベースのパイプライン」 (Optimization-based Pipeline): これは「品質優先」モードです。単一のシーンに対して詳細な最適化を行い、モデルの精度と詳細が最高レベルに達するようにします。時間はかかりますが、その見返りとして、驚くべき視覚効果と幾何学的精度が得られます。 例えるなら、素早くスケッチを描き出すスケッチ画家と、丹念に彫琢する油絵の巨匠の両方を同時に手に入れたようなものです。自分のニーズに合わせて、いつでも最適なツールを選択できます。 AIも学校に通う必要がある：Matrix-Panoデータセットの舞台裏ことわざにあるように、名伯楽が高弟を育てます。どんなに強力なAIモデルでも、訓練には大量で高品質なデータが必要です。Matrix-3Dの開発中、研究チームは厄介な問題に遭遇しました。市場には、彼らのニーズを完全に満たすデータセットがまったく存在しなかったのです。 既存の3Dデータセットは、規模が不十分であったり、品質にばらつきがあったりします。さらに重要なことに、カメラの軌跡や深度マップといった重要な注釈情報が一般的に欠けていました。 どうする？なければ、自分で作ればいい！ こうして、Matrix-Panoデータセットが誕生しました。これは、11万6000を超える高品質の静的パノラマビデオシーケンスを含む、大規模な合成パノラマビデオデータセットです。各ビデオには、正確な3D探索軌跡、深度マップ、テキスト注釈が付いており、3Dワールドモデルの訓練のために生まれた「教科書」と呼ぶにふさわしいものです。このデータセットは、Matrix-3Dを成功に導いただけでなく、それ自体がAIコミュニティ全体への大きな貢献となりました。 私も遊べる？Matrix-3Dのハードウェア要件と将来の展望ここまで見て、きっと試してみたくなったでしょう？しかし、このような強力なワールドモデルを動かすには、ハードウェア要件が当然ながら低くありません。 公式情報によると、現在480p解像度のシーンを生成するには40Gのビデオメモリ（VRAM）が必要であり、720pではなんと60Gも必要です。これは、ほとんどの一般ユーザーにとっては確かに高いハードルです。 しかし、良いニュースがあります。Skywork AIチームは、まもなくより軽量なモデルバージョンをリリースすると約束しており、720pの生成タスクを実行するには24GのVRAM（NVIDIA RTX 4090グラフィックカードなど）しか必要ありません。 これは、近い将来、より多くの開発者やクリエイターが自分のコンピュータで世界を創造する楽しみを体験できるようになることを意味します。 適切なハードウェアをお持ちで、すぐに試してみたい場合は、公式のGitHubおよびHugging Faceページにアクセスしてください。公式は非常に詳細なインストールと使用ガイドを提供しており、ワンクリック生成スクリプトさえあり、入門の難易度を大幅に下げています。 まとめMatrix-3Dのオープンソース化は、単に面白いツールをリリースしただけではありません。それは、AI生成コンテンツの新時代が到来したことを宣言する、宣言のようなものです。AIがコンテンツの生成者から、環境のシミュレーター、そして世界の構築者へと変貌を遂げていることを私たちに見せてくれます。 Matrix-3Dのようなワールドモデルが発展し普及し続けるにつれて、近い将来、誰もが自分の仮想世界の「創造主」になれると信じるに足る理由があります。ゲームシーンの作成、映画やテレビの特殊効果の制作、メタバースの礎の構築など、この技術は無限の可能性を解き放つでしょう。