Microsoft TRELLIS：AI 驅動的高品質 3D 資產生成平台

簡介

Microsoft TRELLIS 是一種基於 AI 的先進 3D 模型生成工具，可將文字或圖像提示轉換為精細的 3D 資產。它支援多種輸出格式、本地編輯和大規模預訓練模型，為遊戲開發、虛擬實境等領域帶來革命性的 3D 內容創作體驗。

圖片轉自 https://trellis3d.github.io/

Microsoft TRELLIS：AI 驅動的高品質 3D 資產生成平台

Microsoft TRELLIS 是一種突破性的 AI 驅動模型，旨在以卓越的品質和效率生成 3D 資產。它採用創新的方法，使用者只需提供文字描述或圖像，TRELLIS 就能將其轉換為複雜且逼真的 3D 模型。此工具支援多種輸出格式，例如輻射場、3D 高斯函數和傳統網格，使其在 3D 渲染和視覺化方面具有極高的靈活性。TRELLIS 的核心技術是一種稱為 SLAT（結構化潛在表示）的技術，它透過將幾何和外觀資訊編碼到錨定在稀疏 3D 網格上的局部潛在變數中，實現多功能輸出格式的解碼。這些潛在變數是從強大的視覺基礎模型提取的多視圖影像特徵中融合和處理的。

主要特點：

智慧 AI 生成： TRELLIS 運用強大的人工智慧技術，精準解讀使用者提供的文字指令或圖像，並自動生成細緻的 3D 模型，大幅簡化了 3D 建模流程。

多樣化輸出格式： 支援輻射場、3D 高斯函數和傳統網格等多種格式，滿足不同應用場景的需求，使用者可根據專案需求選擇最合適的格式。

卓越的品質： TRELLIS 以生成具有複雜幾何形狀和逼真紋理的高品質 3D 資產而聞名，超越了以往的 3D 生成方法。其訓練基於從四個公共資料集中收集的約 50 萬個高品質 3D 資產，並採用了多達 20 億個參數的預訓練模型。

便捷的本地編輯： 提供本地編輯功能，使用者可輕鬆修改生成的 3D 模型，進行客製化調整和變體創建，增加了創作的彈性和自由度。支援細節變化和區域特定編輯等免調校編輯策略。

結構化潛在空間： TRELLIS 的核心是基於結構化 3D 潛在空間的生成方法。它透過在潛在空間設計中引入明確的稀疏 3D 結構，並使用強大的視覺基礎模型進行資訊編碼，來實現跨各種 3D 表示形式的高品質生成。此方法包含兩階段生成流程：首先生成稀疏結構，然後生成附加到其中的局部潛在變數。建模則採用整流流模型。

超越現有技術： 透過重建和生成結果的比較，TRELLIS 在所有評估指標和生成品質方面均展現出優於其他基準和先前方法的表現。消融研究也驗證了此方法設計的有效性。

應用領域：

TRELLIS 的強大功能使其廣泛適用於各種需要高品質 3D 內容的領域，包括：

遊戲開發： 快速生成遊戲中的角色、場景和道具等 3D 模型，加速遊戲開發流程。

虛擬實境 (VR) 和擴增實境 (AR)： 創建沉浸式體驗所需的逼真 3D 環境和物件。

電影和動畫製作： 生成高品質的 3D 角色、特效和場景。

產品設計和原型製作： 快速創建產品的 3D 模型，用於設計評估和展示。

總結：

Microsoft TRELLIS 的推出代表了 3D 資產生成技術的重大突破。它結合了先進的 AI 技術、多樣化的輸出格式、便捷的本地編輯功能和大規模的預訓練模型，為使用者提供了一個強大且多功能的 3D 內容創作平台。無論是遊戲開發者、虛擬實境設計師還是其他需要 3D 內容的專業人士，都能透過 TRELLIS 釋放無限的創意潛力。