WeVisOne-VL 深度解析：騰訊微信視覺團隊開源「從目標到像素」的統一視覺感知模型
在電腦視覺與多模態大模型的演進歷程中，如何讓單一模型同時勝任粗粒度的「目標定位」與精細至髮絲邊緣的「像素級分割與摳圖」，一直是業界落地應用的核心痛點。騰訊微信視覺團隊（WeChat Vision, Tencent Inc.）正式開源了 WeVisOne-VL（WeChat Vision All-in-One），一款基於 Qwen3-VL 打造的統一視覺語言基礎模型（VLM）。透過結構化的 Next-Token Prediction 與僅 9.6M 參數的超輕量級像素解碼器，WeVisOne-VL 在無需依賴 SAM（Segment Anything Model）等大型外部模型的情況下，將目標檢測、指代定位、計數、指點、OCR、指代分割與連續 Alpha 摳圖整合進單一模型中，並在超過 30 項權威基準測試中取得領先表現（專案主頁、arXiv 技術報告）。
單一模型貫穿七大視覺任務，實現從點、框到 Alpha Matte 的任意粒度感知
傳統視覺系統往往需要串聯專用檢測器（如 GroundingDINO）、OCR 引擎（如 PP-OCR）與大型分割網路（如 SAM2），不僅部署管線繁瑣、顯存開銷高昂，且各模組間容易累積誤差；而現有通用視覺語言大模型（VLMs）則常在密集場景漏檢、邊界定位不準，或在面對不存在的目標查詢時產生嚴重幻覺（arXiv 論文 HTML 版）。
WeVisOne-VL 提供了 2B（WeVisOne-VL-2B）與 4B（WeVisOne-VL-4B，Hugging Face 模型卡標示總參數約 5B，BF16 格式）兩個開源權重版本，具備三大核心突破：
- All-in-One 全任務統一感知：單一模型同時囊括目標級感知（Object-level Perception）（開放詞彙目標檢測、自然語言指代定位、目標計數、目標指點、OCR 文字定位與識別）以及像素級感知（Pixel-level Perception）（指代分割、可提示連續 Alpha 摳圖，支援文本類別／指代描述提示，亦可透過給定邊界框作為序列前綴進行框提示摳圖），使用者可依需求自由指定點、框、二值掩碼或連續 Alpha Matte 等輸出粒度（中文官方文檔、arXiv 論文 HTML 版）。
- 9.6M 輕量級像素解碼器免除 SAM 依賴：內建僅 9,609,764 個參數（約 9.6M） 的像素解碼器（
mask_decoder.pt），直接復用 Qwen3-VL 視覺編碼器的多尺度特徵來生成全解析度掩碼與連續透明度遮罩，徹底省去額外掛載龐大分割主幹網路的算力負擔（WeVisOne-VL-4B 模型卡）。 - 高達 96.4% 的可靠目標拒識能力：當使用者查詢的目標在圖像中並不存在時，模型會明確返回
None，而非強行框出錯誤區域。在 WeRef-Bench 拒識測試中，WeVisOne-VL-4B 達到 96.4% 的拒識率，遠超最強開源基線的 73.0%（GitHub 專案庫）。
| 任務類別 | API 任務標識 (task) | 輸入查詢 (query) | 輸出幾何格式 (Output) |
|---|---|---|---|
| 開放詞彙目標檢測 | detection | 類別名稱列表（如 ["sofa", "lamp"]） | 邊界框（Boxes） |
| 自然語言指代定位 | referring | 自然語言指代描述 | 邊界框（Boxes）或 None |
| 目標指點 | point | 類別名稱或指代描述 | 座標點（Points） |
| 目標計數 | count_box / count_point | 類別名稱或指代描述 | 邊界框／座標點 + 總數量（Count） |
| OCR 文字識別與定位 | ocr / ocr_grounding | –（全圖識別）或待查找文本 | 識別文本 + 邊界框（Text + Boxes） |
| 指代實例分割 | segmentation | 類別名稱或指代描述 | 邊界框 + 二值掩碼（Binary Masks） |
| 可提示圖像摳圖 | matting | 類別名稱或指代描述（評測亦支援框前綴提示） | 邊界框 + 連續透明度遮罩（Alpha Mattes） |
專用座標 Token 與輕量像素解碼器協同，直接將自回歸序列轉化為精細像素輸出
WeVisOne-VL 在架構設計上將「離散序列生成」與「密集像素預測」緊密結合，避免傳統多模態模型因冗長文字座標造成的推理延遲（arXiv 論文 HTML 版）。
1. 結構化任務格式：座標即 Token，<OBJ> 喚醒像素解碼
模型在詞彙表中引入了 1,001 個專用座標 Token（<0> 至 <1000>）來表示歸一化空間座標（專案主頁）：
- 高效緊湊的幾何編碼：預測一個邊界框
[x0, y0, x1, y1]僅需消耗 4 個 Token，預測一個指點座標[x0, y0]僅需 2 個 Token；若目標不存在則直接輸出None（專案主頁）。 - 實例橋接 Token
<OBJ>：針對分割與摳圖等密集預測任務，模型在輸出每個目標框的四個座標 Token 後，會緊接著在<box>標籤內生成一個特殊實例 Token<OBJ>（Token ID 為152678），例如<ref>dog</ref><box><13><274><399><949><OBJ></box>。每一個<OBJ>Token 的隱藏狀態（Hidden State）即作為該目標實例的潛在語義表徵，直接傳遞給下游像素解碼器（WeVisOne-VL-4B 模型卡、專案主頁）。
2. 三階段輕量像素解碼器架構（9.6M 參數）
像素解碼器接收 <OBJ> 隱藏狀態、對應的預測邊界框以及 Qwen3-VL ViT 的多層視覺特徵，透過三個核心模組輸出全解析度結果（WeVisOne-VL-4B 模型卡、arXiv 論文 HTML 版）：
- 視覺特徵適配器（Visual Feature Adapter）：抽取 Qwen3-VL ViT 在 Token 合併（Pre-merging）前的 4 個層級中間特徵，結合 2D 位置編碼與可學習層級嵌入，經由深度可分離卷積（DWConv + PWConv）與前饋網路（FFN）構建共享的多尺度像素特徵記憶庫（專案主頁、arXiv 論文 HTML 版）。
- 框引導查詢解碼器（Box-Guided Query Decoder）：不同於 Deformable DETR 使用靜態學習嵌入，WeVisOne-VL 直接以
<OBJ>隱藏狀態初始化內容查詢（Content Query），並將預測框經傅立葉編碼（Fourier Encoding）後作為位置查詢（Positional Query），通過 6 個可變形交叉注意力（Deformable Cross-Attention）區塊在參考框範圍內精準聚合多尺度特徵（arXiv 論文 HTML 版）。 - 實例條件密集預測頭（Instance-Conditioned Dense Prediction Head）：自頂向下融合多層特徵並上採樣至
512×512，同時將原圖縮放至1024×1024經雙層 CNN 提取512×512淺層邊緣紋理特徵後逐元素相加；接著由實例查詢透過 MLP 生成動態卷積核（Dynamic Kernel）預測初始掩碼，最後透過FullCanvasAlphaCascadeHead在S/4、S/2到S/1（Stride 1，即1024×1024）三個尺度上進行由粗到細的級聯細化，輸出髮絲級全解析度連續 Alpha Matte（WeVisOne-VL-4B 模型卡、arXiv 論文 HTML 版）。
知識圖譜驅動億級數據引擎，結合三階段課程學習與 GRPO 強化學習
為了支撐跨任務、跨粒度的精準視覺感知，研究團隊構建了自演進的 WeVisOne-VL Data Engine (WDE)，整合 GRIT、CC3M、LAION、SA-1B 等公開數據集，累積標註超過 1 億張圖像（100M+ images） 與約 36 億個邊界框（3.6B bounding boxes）（arXiv 論文 HTML 版）。
1. 自演進數據引擎與開源摳圖打標器 Mask2Alpha
- 知識圖譜與多專家互補標註：以 Wikipedia 與 WordNet 初始化共享知識圖譜，涵蓋類別概念與複合指代描述（並使用 Tokenize Anything 與 Qwen3-VL 挖掘概念與指代語句）；利用 SAM3 與自研 DINO 架構開放詞彙檢測器並行生成候選框，再由 Qwen3-VL 驗證圖像與查詢語義的一致性，隨後透過 SAM2 生成實例級二值分割掩碼（arXiv 論文 HTML 版）。
- 專用摳圖管線與 Mask2Alpha 開源：針對高昂的連續 Alpha 標註成本，團隊結合 BiRefNet 與 MatAnyone2 篩選初始候選，並在凍結的 SAM2.1-Base+ 上訓練了專用摳圖打標模型 Mask2Alpha（已於 GitHub 倉庫
mask2alpha分支開源），成功將二值掩碼轉化為高品質連續 Alpha Matte，為訓練語料庫中 1.298 億個 WDE 實例（加上 30 萬公開數據共約 1.3 億樣本）提供精細邊界監督（GitHub 專案庫、arXiv 論文 HTML 版）。 - 困難負樣本與錯誤閉環反饋：每輪訓練後自動分析模型漏檢、指代混淆與假陽性預測，針對模型誤檢的無目標查詢構建困難負樣本（Hard Negatives），持續強化模型的拒識能力與密集場景召回率（arXiv 論文 HTML 版）。
2. 三階段 SFT、像素解碼器專項訓練與混合任務 GRPO 管線
根據專案主頁與arXiv 論文第 4 節及附錄 A、B，完整訓練流程由三階段課程式監督微調（SFT）、像素解碼器預熱與摳圖精調，以及混合任務強化學習（RL）組成：
| 訓練階段 | 訓練樣本規模 / 步數 | 可訓練模組 | 視覺 Token 數量 / 序列長度 | 階段核心目標與訓練細節 |
|---|---|---|---|---|
| SFT Stage 1：任務對齊 | 9,020 萬（90.2M） / 13,000 步 | LLM（凍結視覺編碼器與投影層） | 16–512 / 4,096 | 建立指令遵循能力，學習專用座標 Token 與 <OBJ> 格式，單類別限制最多 50 個框／點以防早期重複崩潰（arXiv 論文 HTML 版） |
| SFT Stage 2：高解析度與密集感知 | 4,050 萬（40.5M） / 8,995 步 | VLM 全模組（視覺編碼器 + 投影層 + LLM） | 64–1,960 / 8,192 | 提升最大解析度並將單次預測上限擴展至 500 個框／點，大幅提升微小與擁擠目標召回率（OCR 使用 16–256 視覺 Token）（arXiv 論文 HTML 版） |
| SFT Stage 3（Step A）：分割解碼器預熱 | 2.5 億（250M 分割樣本） / 100,000 步 | VLM + 隨機初始化像素解碼器 | 16–1,024 / 8,192 | 以 512×512 解析度預熱像素解碼器；完成後僅保留解碼器權重與 <OBJ> 詞嵌入，掛載回原 SFT-S2 模型（arXiv 論文 HTML 版） |
| SFT Stage 3（Step B）：Token–像素聯合訓練 | 4,180 萬（41.8M） / 9,062 步 | VLM（LLM 採用 LoRA $r=128, \alpha=256$）+ 像素解碼器 | 64–1,960 / 8,192 | 以 1:1 比例交替進行 Next-Token Prediction 與實例分割監督，兼顧定位精度與像素遮罩品質（專案主頁、arXiv 論文 HTML 版） |
| RL 階段：混合任務 GRPO | 17.8 萬（178K） / 593 步 | LLM（FSDP2 + vLLM） | 64–1,960 / 4,096 + 4,096 | 基於不確定性評分篩選約 14 萬樣本並補充定位／指點數據至 17.8 萬，透過匈牙利匹配與 $\mathrm{IoU}^3$ 獎勵優化完整輸出並抑制幻覺（arXiv 論文 HTML 版） |
| 像素解碼器摳圖精調（Matting Fine-tuning） | 1.3 億（130M 摳圖樣本） / 100,000 步 | 僅像素解碼器（凍結 VLM） | 16–1,024 / 8,192 | 依 1:4 批次比例混合公開與 WDE 摳圖數據，在 1024×1024 解析度下專門微調解碼器與級聯細化分支，實現連續 Alpha Matte 預測（arXiv 論文 HTML 版） |
橫掃 30+ 項權威基準評測，全面超越同級別通用 VLM 與專用視覺模型
在貪心解碼（Greedy Decoding，temperature=0）且每張圖最多使用 1,960 個視覺 Token 的設定下，WeVisOne-VL-4B 與 WeVisOne-VL-2B 在七大類任務中全面擊敗 9B 以內的 Qwen3-VL / Qwen3.5、Rex-Omni-3B、LocateAnything-3B 以及多款專用模型（如 GroundingDINO-T、PP-OCRv5、LISA-13B、SAM2-Matting）（GitHub 專案庫、arXiv 論文 HTML 版）。
| 評測任務類別 | 基準數據集（Benchmark） | 評估指標 | 最強開源基線表現 | WeVisOne-VL-2B | WeVisOne-VL-4B |
|---|---|---|---|---|---|
| 長尾目標檢測 | LVIS | F1 Mean ↑ | 50.7 (LocateAnything-3B) | 53.3 | 55.3 |
| 密集與微小目標檢測 | Dense200 / VisDrone | F1 Mean ↑ | 58.7 / 39.9 (LocateAnything-3B) | 61.4 / 40.4 | 71.3 / 44.7 |
| 通用目標檢測 | COCO | F1 Mean ↑ | 56.6 (GroundingDINO-T) / 54.7 (LocateAnything-3B) | 55.2 | 57.1 |
| 指代目標檢測 | RefCOCOg test | F1 Mean ↑ | 77.6 (LocateAnything-3B) | 78.2 | 81.8 |
| 無目標查詢拒識 | WeRef-Bench | Rejection Rate (%) ↑ | 73.0 (LocateAnything-3B) | 92.9 | 96.4 |
| 自然場景目標計數 | PixMo-Count test / CountQA | Exact-Match Acc (%) ↑ | 82.8 / 52.4 (LocateAnything-3B) | 88.1 / 47.9 | 89.6 / 57.1 |
| 密集混合計數 | MixCount test | Exact-Match Acc (%) ↑ | 15.2 (LocateAnything-3B) | 32.2 | 40.4 |
| 目標指點 | PointBench / PixMo-Points | F1@Point (README 標記為 Acc) ↑ | 69.9 / 72.9 (Rex-Omni-3B) | 62.9 / 73.2 | 71.9 / 74.7 |
| 彎曲與票據文字 OCR | TotalText / SROIE | F1 Mean ↑ | 43.3 (LocateAnything-3B) / 58.6 (PP-OCRv5) | 42.5 / 62.1 | 52.0 / 68.1 |
| 複雜推理指代分割 | ReasonSeg val | gIoU ↑ | 65.0 (LISA-13B ft) | 60.9 | 71.2 |
| 指代分割與拒識 | RefCOCO testA / Ref-ZOM Rej | cIoU ↑ / Rej (%) ↑ | 83.0 (UniPixel-7B) / 41.9 (GSVA-7B) | 82.9 / 62.4 | 84.5 / 86.0 |
| 框提示人像摳圖 | P3M-500-NP (Box) | MAD ($\times 10^3$) ↓ | 15.4 (SAM2-Matting SAM3) | 6.6 | 7.3 |
| 文本提示指代摳圖 | WeRefMat (Referring) | MAD ($\times 10^3$) ↓ | 22.4 (Qwen3.5-9B + SAM2-Matting) | 15.8 | 9.8 |
支援原生套件、Transformers 與 vLLM 多後端部署，幾行程式碼即可啟動全任務推理
WeVisOne-VL 提供極為簡潔的 Python API，並全面相容 Hugging Face transformers、vLLM、SGLang 與本地 Gradio Web UI（WeVisOne-VL-4B 模型卡）。
1. 環境安裝
git clone https://github.com/Tencent/WeVisOne-VL.git && cd WeVisOne-VL
conda create -n wevisone-vl python=3.10 -y && conda activate wevisone-vl
pip install -r requirements.txt && pip install -v -e .
2. 使用官方 wevisone_vl 套件進行目標檢測與圖像摳圖
from PIL import Image
from wevisone_vl import WeVisOneVL
from wevisone_vl.visualization import save_result
# 載入 4B 模型（支援 backend="transformers" 或 backend="vllm"，亦可設定 device="auto", dtype="bfloat16"）
model = WeVisOneVL("tencent/WeVisOne-VL-4B", backend="transformers")
# model = WeVisOneVL("tencent/WeVisOne-VL-2B", backend="transformers") # 若使用 2B 模型請改用此行
# 範例 1：開放詞彙目標檢測（Object-level Perception）
image = Image.open("demo/examples/images/livingroom.jpg").convert("RGB")
result = model.predict(image, task="detection", query=["sofa", "pillow", "coffee table", "lamp"])
save_result("outputs/detection", image, result)
# 範例 2：可提示連續 Alpha 摳圖（Pixel-level Perception）
image = Image.open("demo/examples/images/seabreeze.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person")
print(result.response, len(result.masks))
save_result("outputs/matting", image, result)
3. 本地啟動互動式 Gradio Web Demo 與高效能伺服器
# 本地啟動 Gradio 互動介面（預設使用 Transformers 後端）
CUDA_VISIBLE_DEVICES=0 python demo/app.py --model tencent/WeVisOne-VL-4B
# 使用 vLLM 後端加速並開啟自訂端口與公開分享連結
CUDA_VISIBLE_DEVICES=0 python demo/app.py \
--model tencent/WeVisOne-VL-4B --backend vllm \
--server-name 0.0.0.0 --server-port 8080 --share
此外，若僅需進行標準圖文對話或結構化座標生成，亦可直接透過 vllm serve "tencent/WeVisOne-VL-4B"、sglang.launch_server 或 docker model run hf.co/tencent/WeVisOne-VL-4B 部署為相容 OpenAI API 的推理服務（WeVisOne-VL-4B 模型卡）。
實務應用限制與部署注意事項
根據官方技術報告與模型卡說明，開發者在實際場景部署時應留意以下邊界條件（WeVisOne-VL-4B 模型卡、arXiv 論文第 8 節）：
- 複雜透明與極端遮擋敏感度：精細的 Alpha 摳圖邊界仍受輸入圖像解析度、嚴重遮擋、複雜半透明材質以及提示詞表述方式（Prompt Phrasing）影響。
- 無顯式思維鏈（CoT）與單輪圖像限制：為確保線上推理效率，模型直接輸出結構化座標與 Token，不生成顯式 Chain-of-Thought 推理過程；目前像素解碼器專注於單輪靜態圖像感知，尚不支援影片網格（Video Grids）輸入。
- 通用對話能力取捨與模糊指令挑戰：由於訓練聚焦於基礎視覺感知任務，通用開放問答數據比例相對受限；面對真實世界中含糊或猶豫的自然語言描述時，仍需進一步結合多輪 Agent 推理框架以提升意圖理解。
- 開源合規與使用規範：程式碼與模型權重採用 Apache License 2.0 授權，定位於視覺定位、OCR、分割與摳圖等技術研究與應用，不適用於未經授權的個人身份識別或高風險自主決策系統。
相關資源與連結
- GitHub 官方程式碼庫（含英文文檔、推理套件與評測管線）：Tencent/WeVisOne-VL
- GitHub 簡體中文官方說明文檔：WeVisOne-VL README_zh-CN.md
- 官方互動式專案主頁（含 Token 逐字生成幾何視覺化演示）：WeVisOne-VL Project Page
- Hugging Face 4B 模型權重與部署指南：tencent/WeVisOne-VL-4B
- Hugging Face 2B 輕量模型權重：tencent/WeVisOne-VL-2B
- Hugging Face 官方模型與論文合集：WeVisOne-VL Collection
- arXiv 技術報告預印本（論文摘要與 PDF）：WeVisOne-VL: Unified Visual Perception from Objects to Pixels (arXiv:2610.31329)
- arXiv 完整 HTML 論文（含數據引擎與解碼器數學公式推導）：arXiv HTML 2610.31329v2
- Hugging Face Papers 社群討論頁：Papers 2610.31329
- ModelScope 魔搭社群 4B 模型鏡像：tencent-community/WeVisOne-VL-4B