https://www.communeify.com/tw/tag/segment/Communeify - Your Community PlatformHugohttps://www.communeify.com/tw/blog/sensenova-vision-7b-mot-unified-multimodal-generation/https://www.communeify.com/tw/blog/sensenova-vision-7b-mot-unified-multimodal-generation/Mon, 13 Jul 2026 11:52:00 +0800SenseNova-Vision-7B-MoT 技術報告：視覺感知與統一多模態生成技術 本期將深入解析最新開源的 SenseNova-Vision-7B-MoT 模型。有別於傳統依賴多種特定任務預測頭（Task-specific heads）的電腦視覺系統，它創新地將各類複雜的視覺任務轉化為純文字、影像或圖文混合的生成過程。該模型涵蓋四大核心領域：結構化視覺理解、密集幾何預測、圖像分割與多視角視覺幾何。透過自然語言指令，開發者能輕鬆獲得高適應力的多模態輸出。帶您了解這項基於 5000 萬筆指令語料庫訓練的前沿技術。 1. 報告摘要與釋出概覽SenseNova-Vision-7B-MoT 的問世，標誌著計算機視覺 (CV) 範式的重大轉型。作為資深架構師，我們認為該模型的核心貢獻在於將傳統依賴特定任務預測頭（Task-specific heads）的碎片化感知任務，重構為「統一多模態生成」過程。這種設計不僅簡化了系統複雜度，更賦予了模型在單一共享介面下處理極其異構任務的能力。 核心理念：視覺即統一多模態生成 (Vision as Unified Multimodal Generation) SenseNova-Vision 將感知任務重新定義為統一模型空間內的文本生成、圖像生成或圖文混合生成，捨棄了為特定任務定制解碼器或損失函數的傳統做法。 主要貢獻 (Key Contributions) 統一視覺任務表述：透過將異構任務映射至原生的文本與視覺輸出空間，實現了架構上的大一統。 無特定任務頭設計：移除獨立的偵測器、分割器或幾何預測分支，模型展現出極強的泛化能力。 SenseNova-Vision-Corpus-50M：建構了包含 5,000 萬條數據的指令響應語料庫，這是實現「指令驅動感知」的數據基石。 跨領域 SOTA 表現：在從 2D 結構化理解到 3D 多視角幾何的多元基準測試中，均達到或超越了專門化模型的效能。 2. 核心架構：統一的輸入與輸出空間SenseNova-Vision 的卓越效源於其原生支持 Interleaved V+L (交錯文本與視覺輸出) 的架構設計。不同於以往模型僅能輸出單一模態，該架構能根據自然語言指令，在單一解碼序列中動態生成文本標籤與視覺映射圖。 硬體與訓練設計規格根據技術架構，模型在處理高解析度輸入時採用了雙流編碼配置： 高解析度編碼體系：包含專門處理語義特徵的 Semantic Encoder (980) 與捕捉像素細節的 Latent Encoder (1024)。 混合任務聯合訓練 (Mixed-Task Joint Training)：這是實現統一感知的核心訓練機制。模型同時受交叉熵損失 (CE Loss) 與 Rectified-Flow 目標函數監督，後者專門優化視覺輸出分支的生成品質。 統一解碼器：採用無特定任務頭 (No Task-Specific Heads) 設計，所有輸出均由共享的解碼器空間生成。 目標類型與輸出形式對比 目標類型 (Target Type)代表任務輸出形式 (Output Form) 結構化文本 (Structured text)偵測 (Detection)、Referring 定位、OCR、GUI Grounding、關鍵點、相機參數帶有歸一化坐標或結構化欄位的文本記錄稠密圖像 (Dense image)深度估計、表面法向量、點雲圖、二值/顏色編碼遮罩類圖像的目標映射圖 (Image-like target maps)混合文本圖像 (Mixed text-image)多實例分割、具基地的對話分割 (GCS)、組合感知文本標籤加上原生的視覺遮罩或映射圖 3. 四大核心任務領域深度解析模型透過將異構標記轉換為統一架構中的輸出，架構原生支援 (Natively supports) 以下四大感知族群：https://www.communeify.com/tw/blog/meta-sam-3d-static-photo-to-3d-world-model/https://www.communeify.com/tw/blog/meta-sam-3d-static-photo-to-3d-world-model/Thu, 20 Nov 2025 08:54:46 +0800 繼SAM 2發布後的一年多，Meta 同步發表了新一代視覺模型 SAM 3 與 SAM 3D。前者能聽懂指令並在影片中精準追蹤物體，後者則能將平面照片瞬間轉化為立體模型。這兩項技術的結合，不僅改變了影像編輯的邏輯，更讓電腦視覺從「識別」進化到了「空間理解」。本文將帶您一探這兩大模型的技術核心、實際應用以及它們如何改變我們的數位生活。 想像一下，你正拿著手機拍攝家裡的寵物狗在草地上奔跑的影片。過去，如果你想在影片中把狗狗單獨「摳」出來，加上特效，可能需要逐幀修圖，或者依賴不怎麼聰明的自動選取工具。 但現在，情況完全不同了。 Meta 就在稍早發布了兩項重磅更新：SAM 3 (Segment Anything Model 3) 和 SAM 3D。這不僅僅是版本號的跳轉，而是一種質的飛躍。如果說之前的 AI 像是一個剛學會認圖的孩子，那麼現在的 SAM 3 已經學會了聽懂大人的指令，甚至具備了記憶力，而 SAM 3D 則讓它擁有了空間感，知道物體在三維世界裡長什麼樣。 這兩項技術正在悄悄改變創作者剪輯影片的方式，以及我們在網路上購物、看世界的體驗。讓我們把這兩塊拼圖拼在一起，看看 Meta 到底端出了什麼好菜。 SAM 3：聽得懂人話的視覺大師先從 SAM 3 說起。它的前輩 SAM 1 和 SAM 2 已經證明了「萬物皆可分割」的能力，但 SAM 3 變得更聰明、更直覺。 最明顯的進化在於溝通方式。以前你可能需要在那裡點點點，或者畫個框框告訴 AI 你要選什麼。現在？你只需要打字說：「選取那隻企鵝」或者「把所有穿紅衣服的人標出來」。SAM 3 引入了開放詞彙（Open Vocabulary）的理解能力，這意味著它能把你的文字指令和眼前的畫面連結起來。 除此之外，它在處理影片時的表現也讓人印象深刻。影片中最難搞的就是物體會動、會轉身、甚至會被遮擋後又出現。SAM 3 延續並強化了記憶機制，即便那隻企鵝游到了冰山後面再游出來，AI 依然認得它是同一隻企鵝，不會跟丟。這對於正在使用 Instagram 創作短影音的人來說，絕對是個好消息。Meta 甚至計畫將這項技術整合進 Instagram 的「Edits」功能中，讓手機剪輯變得像魔法一樣簡單。 SAM 3D：從平面跳進立體空間如果 SAM 3 是負責「看清」物體，那麼 SAM 3D 就是負責「重塑」物體。 一直以來，從單張 2D 照片還原出 3D 模型都是電腦視覺領域的聖杯。過去的模型多半是用合成數據訓練的，也就是用電腦繪製的完美 3D 模型來教 AI。但現實世界是雜亂的，光線不均勻，物體互相遮擋。