Sperid Labs 發布 Iris-3B：跳過 VAE 潛空間、直接生成原生像素的 3B 開源視覺模型
在當前的圖像生成領域，絕大多數主流模型（如 Stable Diffusion 與 FLUX 系列）都依賴變分自編碼器（VAE），先將圖片壓縮至較小的「潛空間（Latent Space）」進行擴散或流匹配（Flow Matching）運算，最後再透過解碼器還原成像素畫面。這種做法雖然降低了運算成本，卻也容易因為有損壓縮與紋理偏差（Texture Bias）而流失微小細節。
空間 AI 研究實驗室 Sperid Labs 於 2026 年 10 月正式發表並開源 Iris-3B。這是一款擁有 30 億（3B）參數的像素空間擴散 Transformer（Pixel-Space Diffusion Transformer），完全捨棄了 VAE 與潛空間設計，由網路直接輸出每一個原生 RGB 像素，最高支援約百萬像素（1024×1024 及多種原生長寬比）的圖像生成。除了文字生圖（Text-to-Image）之外，研究團隊也將同一個像素空間主幹網路（Backbone）微調用於單眼深度估計（Monocular Depth Estimation）與 4 倍影像修復放大（Image Restoration & Upscaling），探索生成式先驗（Generative Prior）作為通用視覺基礎模型（如取代 DINOv2）的潛力。
全套模型權重、訓練與微調程式碼、蒸餾配方以及研究論文《Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning》均已透過 Apache 2.0 授權開源。
核心架構：無需 VAE 的像素空間流匹配 Transformer
根據 Sperid Labs 官方研究頁面與 Hugging Face 模型卡說明，Iris-3B 採用流匹配（Rectified Flow Matching）訓練目標，並透過區塊標記（Patch Tokens）與專屬解碼頭直接在像素空間運作：
- 區塊切分與主幹網路（Trunk）：模型將輸入影像切分為 16×16 像素的區塊（Patch），使每個 Token 涵蓋的空間範圍與傳統潛空間編解碼器相當。主幹網路採用雙流與單流混合的 Diffusion Transformer（DiT）設計，包含 8 個雙流區塊（Dual-stream blocks，文字與影像 Token 各自保留獨立權重）以及隨後 16 個寬度為 2560 的單流區塊（Single-stream blocks）。
- 像素 Transformer 解碼頭（PiT Head）：主幹網路輸出的 Patch Token 不經過 VAE，而是交由一個借鑑自 PixelDiT 的 4 層輕量級像素 Transformer（PiT）解碼頭，直接將每個 16×16 區塊還原為原生 RGB 像素。
- 文字編碼與位置編碼：文字條件由凍結權重的 4B 參數模型
Qwen3-VL-4B-Instruct提供；位置資訊則採用無須綁定特定解析度參數的二維軸向旋轉位置編碼（2D Axial RoPE）。這讓同一組模型權重能直接適應不同訓練階段與最高約 100 萬像素（1 Megapixel）的任意長寬比。 - 三階段漸進式訓練：模型從零開始遵循
256 → 512 → 1024像素的漸進式課程學習（Curriculum Learning），最後在 1024 像素解析度下進行監督式微調（SFT），總計訓練 66.5 萬步（665K steps）。
Iris-3B Turbo：4 步極速蒸餾版本，H100 生成僅需 0.7 秒
針對即時互動與高速推論需求，研究團隊同步釋出了 4 步蒸餾版本 Iris-3B Turbo（權重收錄於 Hugging Face 儲存庫的 turbo/ 目錄下）。
Iris-3B Turbo 採用軌跡分佈匹配（Trajectory Distribution Matching, TDM）技術進行兩階段無資料（Data-free）蒸餾，全程僅需文字提示詞而無需真實圖片。蒸餾過程對全部 30 億參數進行完整微調（Full fine-tune，非 LoRA），並將 CFG 3.5 的無分類器引導（Classifier-Free Guidance）直接內化至權重中。
在推論階段，Iris-3B Turbo 每一步僅需單次前向傳播（Single forward pass），無須設定 --cfg-scale 或負面提示詞，在單張 NVIDIA H100 GPU（Batch 4）上生成一張 1024×1024 影像僅需約 0.7 秒。此外，社群開發者 pentacoxian-dev 也貢獻了基於 DMD2 蒸餾的 4 步輕量級 460 MB 適配器 iris-3b-turbo-lora。
官方同時在文件中列出 Iris-3B Turbo 的已知限制：在生成密集或長篇幅的圖片內嵌文字時，穩定度略低於基礎版模型；不同隨機種子（Seed）之間的畫面多樣性較低；在平塗或向量風格背景中偶爾會出現細微顆粒感。
基準測試表現：以 3B 規模匹敵大型潛空間模型
根據 Sperid Labs 官方測試資料，在 1024×1024 解析度、不經過提示詞改寫（No prompt rewriting）與多次抽樣篩選（No best-of-N）的標準評估下，Iris-3B 與 Iris-3B Turbo 的表現與多款參數量龐大的主流潛空間模型相當，甚至在 OneIG-Bench 指標上追平 200 億參數的 Qwen-Image：
| 模型名稱 | 參數量 / 類型 | GenEval | DPG-Bench | LongText-Bench (EN) | OneIG-Bench (EN) |
|---|---|---|---|---|---|
| SDXL | 潛空間模型 | — | 74.65 | — | 0.316 |
| SD3 Medium | 潛空間模型 | 0.620 | 84.08 | — | — |
| FLUX.1-dev | 12B（潛空間） | 0.660 | 83.80 | 0.607 | 0.434 |
| SD3.5 Large | 潛空間模型 | 0.710 | — | — | 0.462 |
| Lumina-Image 2.0 | 潛空間模型 | 0.730 | 87.20 | — | 0.353 |
| Janus-Pro-7B | 7B（多模態） | 0.800 | 84.19 | 0.019 | 0.267 |
| HiDream-I1-Full | 潛空間模型 | 0.830 | 85.89 | 0.543 | 0.477 |
| Z-Image 6B* | 6B（含提示詞改寫） | 0.840 | 88.10 | 0.935 | 0.546 |
| Qwen-Image 20B | 20B（潛空間） | 0.870 | 88.30 | 0.943 | 0.539 |
| Iris-3B | 3B（像素空間，100 步） | 0.798 | 86.52 | 0.857 | 0.540 |
| Iris-3B Turbo | 3B（像素空間，4 步） | 0.820 | 86.68 | 0.804 | 0.516 |
| iris-3b-turbo-lora | 3B + LoRA（社群 4 步） | 0.760 | 85.05 | 0.733 | 0.486 |
從資料中可以看到，4 步蒸餾的 Iris-3B Turbo 在提示詞遵循度（GenEval 0.820、DPG-Bench 86.68）上略高於基礎版模型，而基礎版 Iris-3B 則在長文字渲染（LongText-Bench 0.857）與生成多樣性上更具優勢。
單一主幹、三種任務：通用視覺學習與誠實的實驗結論
Iris-3B 的另一項研究重點，是驗證像素空間生成模型能否在不修改網路架構的前提下，直接微調為密集視覺預測（Dense Vision Tasks）的通用視覺學習器。推理時僅需輸入空白提示詞（Empty Prompt），無須載入文字編碼器，且單次前向傳播即可完成：
- 單眼深度估計（Monocular Depth Estimation）：以相對對數深度（Relative log depth）直接迴歸訓練 10,000 步。在 NYUv2、KITTI、ETH3D、ScanNet 與 DIODE 五大資料集的零樣本（Zero-shot，遵循 Marigold V2 協定）平均測試中，達到
AbsRel 0.071與δ1 0.946的表現。 - 4 倍影像修復與超解析度（4x Image Restoration & Upscaling）：採用單步對抗式修復（HYPIR 配方）訓練 10,000 步並輸出 EMA 權重，針對大圖可自動切分為重疊的 1024×1024 視窗處理。在 DIV2K 4× 驗證集上達到
LPIPS 0.292與PSNR 20.68。
值得肯定的是，研究團隊在論文中也誠實公開了一項重要的「負面實驗結果（Negative Result）」：團隊將潛空間模型 FLUX.2 Klein base 4B 移除 VAE 並轉換至像素空間進行對照實驗，發現在相同的訓練預算下，像素空間生成先驗在「單眼深度估計」與「4 倍影像修復」這兩項下游任務上，並未顯著優於維持潛空間架構的 FLUX.2 Klein 微調版本。作者指出，像素空間真正的細節優勢，預計會在影像編輯（Image Editing）與參考圖生成（Reference-based Generation）這類最容易受 VAE 壓縮誤差影響的任務中接受下一步檢驗。
快速上手與本地部署指南
Iris-3B 全系列採用 Apache 2.0 授權開源，支援具備 CUDA 的 NVIDIA GPU，環境需求為 Python 3.11+ 與 PyTorch 2.7.1+。文字生圖基礎權重約 12 GB（depth/ 與 upscaler/ 微調權重各約 12 GB，turbo/ 權重約 6 GB），首次執行時會自動下載 Qwen3-VL-4B-Instruct 文字編碼器。
1. 安裝程式碼環境
git clone https://github.com/speridlabs/iris-3b.git
cd iris-3b
pip install -e .
2. 下載權重並執行文字生圖（基礎版 / Turbo 版）
# 下載基礎版文字生圖權重（約 12 GB）
hf download speridlabs/iris-3b --local-dir iris-3b --exclude "depth/*" "upscaler/*" "turbo/*"
# 使用基礎版生成 1024x1024 影像（預設 CFG 3、100 步）
python scripts/sample.py --checkpoint iris-3b \
--prompt "a red fox sleeping in fresh snow, golden hour"
# 下載並使用 4 步極速版 Iris-3B Turbo（約 6 GB）
hf download speridlabs/iris-3b --include "turbo/*" --local-dir iris-3b
python scripts/sample.py --checkpoint iris-3b/turbo \
--prompt "a red fox sleeping in fresh snow, golden hour"
3. 執行單眼深度估計與 4 倍影像修復放大
# 單眼深度估計（輸出 .npy 與彩色深度圖 .png）
python scripts/depth.py photo.jpg --out depth_out
# 4 倍影像修復與超解析度放大（輸出 <name>_x4.png）
python scripts/upscale.py photo.jpg --out upscaled
相關連結與資源整理
以下整理 Iris-3B 官方研究頁面、程式碼儲存庫、模型權重與線上互動展示空間連結，方便直接查閱或線上試玩：
- 官方研究專案頁（Sperid Labs）：https://speridlabs.com/research/iris（包含高解析度生成畫廊、架構圖解、3D 點雲深度互動檢視器與修復前後對比滑桿）
- GitHub 開源程式碼儲存庫：https://github.com/speridlabs/iris-3b（提供完整訓練、微調、TDM 蒸餾腳本
scripts/distill.py與推論工具） - Hugging Face 模型權重庫：https://huggingface.co/speridlabs/iris-3b（包含基礎模型、
turbo/、depth/與upscaler/完整 Safetensors 權重與設定檔） - Hugging Face 互動展示空間（Iris-3B Demo）：https://huggingface.co/spaces/speridlabs/iris-3b（支援文字生圖、深度估計與影像修復互動測試）
- Hugging Face 極速版展示空間（Iris-3B Turbo Demo）：https://huggingface.co/spaces/speridlabs/iris-3b-turbo（體驗 4 步 TDM 蒸餾模型的即時生成速度）
- arXiv 研究論文：https://arxiv.org/abs/2610.09450（論文標題：Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning）