OpenMOSS 開源 MOSS-Image 5B 文生圖模型：原生支援 JSON 結構化排版與雙語長文渲染

由上海創智學院（SII）、復旦大學、上海交通大學與 MOSI Intelligence 組成的 OpenMOSS 團隊，於 2026 年 10 月 16 日在 MOSS-Image 官方專案頁面與 Hugging Face 正式開源 MOSS-Image 文生圖模型家族。該系列以 50 億參數（5B）的單流擴散 Transformer（Single-Stream DiT）為核心，同時釋出預訓練基礎模型 MOSS-Image-Base、監督微調模型 MOSS-Image-SFT 以及免安裝的 Hugging Face Spaces 線上互動 Demo。

相較於傳統開源文生圖模型在面對密集文字與多元素版面時容易出現字元扭曲或構圖混亂，MOSS-Image 在單一文本條件路徑中同時整合了自然語言描述、Booru 風格標籤序列（Tag Sequences）與 JSON 結構化版面控制。模型支援最長 4,096 個 Token 的輸入脈絡，能處理中英雙語長文渲染、海報設計、資訊圖表（Infographics）與 UI 介面生成，模型權重與推論程式碼均採用 Apache-2.0 授權條款開放商用與微調。

結合意圖感知提示詞代理與 5B DiT 解決圖文排版痛點

根據官方發布的《MOSS-Image Technical Report》技術報告，生成包含密集資訊的視覺設計（如知識圖卡、商業海報或白板筆記）面臨兩項相互耦合的挑戰：文字與空間渲染能力（Rendering），以及從簡短指令轉化為具體版面規格的能力（Specification）。單純依賴提示詞擴寫無法保證底層模型能精確拼寫長文，而僅具備渲染能力的模型在面對「設計一張無尾熊知識資訊圖表」這類簡短指令時，往往缺乏合理的資訊層級與空間配置。

MOSS-Image 透過兩大模組協同運作解決上述問題：

支援文字與空間約束的 5B 單流 DiT 生成器：從頭預訓練 50 億參數的擴散 Transformer，將自然語言描述與結構化 JSON 版面座標統一於相同的文本條件介面（Text-Conditioning Pathway）中學習，使模型能直接聽懂邊界框（Bounding Box）座標與多行文字換行指令。
意圖感知代理提示詞增強模組（Agentic Prompt Enhancer）：在推論階段，MOSS-Image Prompt Enhancer 提示詞技能根據使用者輸入的媒介類型（如海報、資訊圖表或 UI）進行任務路由，自動檢索背景知識與視覺參考，並將少於十個字元的簡短需求轉換為包含逐字文本、元素描述、邊界框座標與排版層級的 JSON 規格。

採用 Qwen3.5-9B 與 FLUX.2 VAE 建構單流 5B 擴散架構

在底層模型架構與預訓練流程上，官方技術報告揭露了多項針對長文本與複雜構圖的設計細節：

1. 骨幹網路與四維旋轉位置編碼（4D RoPE）

MOSS-Image 的 5B 單流 DiT 骨幹由 42 層區塊組成，共同處理來自凍結權重的 Qwen3.5-9B 文本編碼器 Token，以及來自凍結權重的 FLUX.2 VAE（採用 FLUX.2 small 解碼器）影像潛在表徵（Latents）。每個 DiT 區塊內部採用聯合自注意力機制（Joint Self-Attention）、共享時間步調變（Shared Modulation）與具備平滑飽和上限的 SiTU-GLU 前饋網路層。

在位置編碼方面，查詢（Query）與鍵（Key）注意力頭被劃分為四個獨立旋轉的子空間 p = (r, t, w, h)，分別對應參考索引（Reference Index）、序列位置（Sequence Position）、影像寬度（Width）與高度（Height）。預留的參考索引軸 r 在純文生圖模式下固定為 0，同時為未來擴充參考影像條件生成（Reference-Conditioned Generation）保留了無須修改位置編碼的架構彈性。

2. 「標註而非過濾」的 32 億張預訓練資料策略

OpenMOSS 團隊整合了 ReLAION、OmniCorpus、DataComp 等 16 個公開圖文資料集，經由 SSCD 去重與自研 AI 生成影像偵測器清理後，將語料庫由約 55 億張縮減並保留了 32 億張（3.2B）真實影像。

值得留意的是，團隊在資料準備階段採取「廣泛保留並明確標註（Annotate rather than filter）」策略，不再進行額外的畫質或美學過濾。官方初步實驗顯示，過度過濾會使 OneIG 文本渲染評分從 0.52 大幅滑落至 0.12。因此，團隊選擇保留帶有浮水印、模糊人臉或壓縮瑕疵的影像，並將「左下角有浮水印」、「畫面模糊且有像素顆粒感」等屬性直接寫入訓練標註中，讓模型學會區分畫面內容與視覺瑕疵。

3. 多粒度重標註與保留換行結構

訓練資料結合了原始網頁標註（佔 20%）與透過 Gemma 4 重新生成的短、中、長三種語意粒度標註（佔 80%，三種長度平均為 21、77 與 235 個 Token，按 1:1:1 比例採樣）。針對畫面中的可見文字，標註流程會逐字轉錄並嚴格保留換行符號（Line Breaks），將文字的段落分行視為版面結構的一部分進行監督學習。

4. 四階段漸進式訓練與 Muon–AdamW 混合優化器

模型預訓練分為四個階段逐步提升解析度與文本長度上限，最終階段支援最高 4,096 個文本 Token 與長寬為 16 倍數的動態長寬比影像。全程採用 Muon–AdamW 混合優化器，根據官方在 1B 模型的消融實驗，該優化器比純 AdamW 減少了 28.6% 至 33.2% 的訓練步數即達到相同的去噪損失（Denoising Loss）。

預訓練階段	影像解析度設定	文本 Token 上限	訓練步數（Steps）
Stage 1	256 px 等級	320	2,100,000
Stage 2	512 px，隨後混合 256 / 512 px	512 → 1,024 → 2,048	2,100,000
Stage 3	動態長寬比混合，總面積 ≤ 1024²	4,096	370,000
Stage 4	動態長寬比混合，總面積最高約 2 × 1024²	4,096	520,000

以 JSON 中心相對座標精準控制畫面元素與文字落點

根據 MOSS-Image 官方專案頁面與官方使用者指南，使用者除了輸入自然語言描述或 Booru 標籤（建議排序為 Quality, Score, Meta, Year, Character, Series, Artist, General）之外，還能直接傳入結構化 JSON 字串進行原生版面控制（Layout-to-Image Generation）。

JSON 提示詞由描述整體畫面的 summary 與定義個別區域的 items 陣列組成。每個元素可標記為文字（text）、角色（character）或物件（object），並透過 bbox 指定邊界框座標。其座標系統有兩項關鍵設計：

座標格式（bbox_format: "yxyx"）：遵循 [y_min, x_min, y_max, x_max] 順序。
中心絕對像素座標空間（bbox_coord_space: "abs_centralized"）：以畫布正中心為原點 (0, 0) 計算像素偏移量。例如在 1024 × 1024 畫布上，座標範圍為 -512 至 +512。官方實驗證實，以畫布中心為原點的絕對像素座標，在面對未見過的解析度時，泛化能力明顯優於正規化至 [0, 1000] 的相對座標。

以下為官方提供的旅遊海報 JSON 版面提示詞範例：

{
  "summary": {
    "meta": ["poster"],
    "canvas": "single",
    "caption": "A minimalist travel poster with a cream background, a blue mountain illustration, and the title EXPLORE at the top."
  },
  "items": [
    {
      "label": "text",
      "caption": "Large dark-blue uppercase title centered at the top.",
      "text": "EXPLORE",
      "bbox": [-416, -384, -288, 384]
    },
    {
      "label": "object",
      "caption": "A flat blue mountain illustration in the lower center.",
      "bbox": [-192, -288, 384, 288]
    }
  ],
  "bbox_coord_space": "abs_centralized",
  "bbox_format": "yxyx"
}

由於版面結構被明確拆解為資料欄位，使用者只需修改單一 item 的文字內容或調整 bbox 數值，就能在不依賴原圖條件輸入（Image-to-Image）的情況下，針對特定區塊進行零樣本內容替換或位置重排，同時維持整體海報設計風格。

提供預訓練 Base 與精選微調 SFT 雙版本權重滿足不同部署需求

OpenMOSS 團隊同步釋出了兩款共享相同架構與推論 Pipeline 的模型權重，開發者可根據使用情境選擇對應版本：

模型名稱	定位與特性說明	適用場景	模型權重連結
MOSS-Image-Base	保留完整預訓練分佈訊號，未經過步數蒸餾，具備廣泛的視覺風格覆蓋率與可塑性。	作為自訂領域微調、LoRA 訓練的基礎起點，或探索多樣化生成風格。	MOSS-Image-Base
MOSS-Image-SFT	基於 Base 模型在精選高品質資料集上進行監督微調（Supervised Fine-Tuning），提升文字分組清晰度與版面組織條理。	直接用於日常文生圖、商業海報排版、白板筆記與密集文字圖卡生成。	MOSS-Image-SFT

在模型檔案配置上，DiT 轉換器與文本編碼器預設使用 bfloat16 精度（DiT 權重約 10.2 GB，Qwen3.5-9B 文本編碼器約 16.8 GB），而 VAE 與初始雜訊則採用 float32 精度以確保解碼品質。

在雙語長文渲染與複雜版面評測刷新開源模型紀錄

為了解決現有 LongTextBench 平均字數僅 120.3 字元、各家模型得分已趨近飽和的問題，OpenMOSS 團隊在技術報告中提出了兩項新基準測試：

LongLongTextBench（LLTB）：涵蓋中英文各 120 個文學長文渲染任務（分短、中、長三組），單篇目標文字平均達 1,339.8 個字元（最短 444 字元、最長 2,863 字元），總字元數達 321,545 字，規模約為 LongTextBench 的 11.1 倍。
RealLayoutArena（RLA）：包含 20 張海報、20 張資訊圖表與 21 個 UI 介面共 61 項真實設計任務，採用盲測成對人類偏好評估（Bradley–Terry Elo 評分），檢驗系統從簡短指令生成完整版面設計的端到端表現。

1. LLTB 雙語長文渲染與 7Bench 版面控制表現

在未搭配提示詞增強代理的純骨幹模型測試中，MOSS-Image 於 LLTB 取得 96.3% 的平均文字覆蓋率（Mean-6），在所有開源權重模型中排名第一，領先第二名 Qwen Image 2512（64.9%）達 31.4 個百分點，並與閉源模型 Nano Banana Pro（96.6%）及 GPT Image 2（99.0%）相當接近。在衡量物件位置精準度的 7Bench 版面控制基準上，MOSS-Image 的檢測目標平均交並比（mIoU_det）達到 0.88、Layout AUC 達 0.70，大幅超越 Ideogram 4.0（0.44 / 0.20）與 GPT Image 2（0.30 / 0.16）。

評測模型	授權性質	LLTB 英文 (短/中/長 %)	LLTB 中文 (短/中/長 %)	LLTB Mean-6 平均 (%) ↑	7Bench mIoU_det ↑	7Bench AUC ↑
GPT Image 2	閉源商業	99.8 / 99.8 / 97.3	99.4 / 99.2 / 98.2	99.0	0.30	0.16
Nano Banana Pro	閉源商業	98.8 / 99.6 / 97.4	98.1 / 94.2 / 91.4	96.6	0.33	0.16
Qwen Image 3.0 Pro	閉源商業	89.8 / 94.3 / 96.2	98.9 / 97.9 / 88.5	94.3	0.31	0.18
Seedream 5.0 Pro	閉源商業	92.8 / 85.8 / 41.7	69.8 / 28.3 / 13.3	55.3	0.33	0.18
MOSS-Image (5B)	開源 (Apache-2.0)	98.0 / 97.1 / 97.1	96.3 / 96.7 / 92.4	96.3	0.88	0.70
Qwen Image 2512	開源權重	88.8 / 86.7 / 48.1	89.9 / 44.4 / 31.3	64.9	—	—
Ideogram 4.0	商業/公開測試	44.9 / 97.9 / 97.5	48.8 / 59.9 / 31.8	63.5	0.44	0.20
ERNIE Image	開源/公開權重	69.5 / 63.7 / 48.1	79.6 / 43.2 / 30.2	55.7	—	—
SenseNova U1	開源/公開權重	69.9 / 45.7 / 22.8	72.4 / 33.9 / 18.7	43.9	—	—
Z-Image Base	開源權重	51.4 / 42.3 / 24.9	70.4 / 31.8 / 24.3	40.8	—	—
FLUX.2	開源權重	34.1 / 19.6 / 4.8	6.1 / 3.2 / 2.9	11.8	—	—

2. RealLayoutArena 端到端與共享提示詞對決

在 RealLayoutArena（RLA） 的端到端系統盲測中，結合 Layout PE 代理的 MOSS-Image 取得 1698.70 Elo，於九套參測系統中位居第二，僅次於閉源的 GPT Image 2（1844.35 Elo），並領先 Seedream 5.0 Pro（1661.16 Elo）、Qwen Image 3.0 Pro + PE（1614.84 Elo）與 Nano Banana Pro（1590.19 Elo）。

若固定使用相同的增強版自然語言提示詞（Shared Enhanced Natural Prompts）公平比較各家生成骨幹，MOSS-Image 骨幹則以 1807.34 Elo 拿下第一，高於 ERNIE Image（1748.51 Elo）、SenseNova U1（1689.23 Elo）、Qwen Image 2512（1537.9 Elo）與 FLUX.2（1466.4 Elo）。消融實驗同時證實，採用 JSON layout 格式輸入可獲得最高的 1622.87 Elo，顯著優於相同內容的自然語言描述（1506.20 Elo）與原始簡短指令（1081.70 Elo）。

支援 Diffusers、Gradio 與 ComfyUI 多種本地推論工作流

使用者除了直接前往 Hugging Face Spaces 上的 MOSS-Image 線上 Demo 免安裝體驗之外，也能透過 Python Diffusers、Gradio 或 ComfyUI 在本地端部署。

1. 官方推薦採樣參數設定

根據 MOSS-Image-SFT 模型卡與社群技術整理，官方建議的標準推論參數如下：

採樣器（Sampler）：Flow-matching Euler
推論步數（Steps）：50 步或以上
分類器自由引導（CFG Scale）：3.0（建議範圍 3.0 至 6.0）
時間步偏移（Shift）：5
負分支層跳過（Layer Skipping）：預設於第 22 層（0-based 索引，設定 uncond_skip_layers=[22]）進行負分支跳過；第 24 與 26 層亦有幫助。若關閉層跳過（設為 []），畫面寫實感會略微提升，但精細文字或小細節較容易崩壞。
建議解析度：支援 0.25M（512 × 512）至 4M 像素，推薦使用 1M（1024 × 1024）、1.5M（如 1456 × 1024）或 2M（如 1456 × 1456）像素，長寬數值須為 16 的正整數倍。

2. Python Diffusers 快速上手範例

環境需配置 Python 3.10 以上版本與支援 CUDA 的 PyTorch（建議 2.9+），安裝依賴套件後即可透過 DiffusionPipeline 自動下載並載入模型：

pip install "diffusers>=0.38" "transformers>=5.3" "accelerate>=1.10" "safetensors>=0.6" "Pillow>=10"

import torch
from diffusers import DiffusionPipeline

# 載入 MOSS-Image-SFT 或 MOSS-Image-Base
pipe = DiffusionPipeline.from_pretrained(
    "OpenMOSS-Team/MOSS-Image-SFT",
    custom_pipeline="pipeline_moss_image",
    trust_remote_code=True,
    torch_dtype={"default": torch.bfloat16, "vae": torch.float32},
)
pipe.scheduler = type(pipe.scheduler).from_config(pipe.scheduler.config)
pipe.to("cuda")

prompt = (
    "A wide view of a refrigerator beside a kitchen counter with a fruit bowl. "
    "A small sticky note on the refrigerator door is handwritten in Chinese: "
    "“\n记得买牛奶和鸡蛋！\n牛奶两盒，鸡蛋一打。\n顺便带一袋面包。”"
)

image = pipe(
    prompt,
    height=1456,
    width=1456,
    num_inference_steps=50,
    guidance_scale=3.0,
    uncond_skip_layers=[22],
    generator=torch.Generator("cpu").manual_seed(42),
).images[0]

image.save("refrigerator_note.png")

若要在本地啟動支援記憶體管理模式（GPU Resident、Component、Sequential CPU Offload）的 Gradio 網頁介面，可複製官方 GitHub 儲存庫（OpenMOSS/MOSS-Image）後執行：

git clone https://github.com/OpenMOSS/MOSS-Image.git
cd MOSS-Image
pip install -e '.[ui]'
python gradio_app.py --model OpenMOSS-Team/MOSS-Image-SFT

3. ComfyUI 原生節點與社群量化/加速生態

MOSS-Image 發布當日即獲得 ComfyUI 官方與開源社群支援：

ComfyUI 原生與外掛支援：可透過 ComfyUI Manager 搜尋安裝官方插件，或更新至最新核心版本使用 MOSS-Image Layout Prompt 節點。
Comfy-Org 單檔重打包與 INT8 量化權重：Comfy-Org/MOSS-Image 倉庫提供了可直接放入 ComfyUI 資料夾的單一檔案權重，包含 bf16 原版（10.2 GB）與 int8_convrot 量化版 DiT（5.4 GB），以及 qwen3.5_9b_int8_convrot（9.8 GB）與 qwen3.5_9b_w4a8_gptq（7.3 GB）量化文本編碼器，大幅降低顯示卡記憶體（VRAM）門檻。
社群少步數蒸餾 LoRA：針對預設 50 步推論耗時較長的問題，社群開發者已釋出 8 步 DMD 蒸餾 LoRA（lodestones/MOSS-Image-SFT-8-steps-dmd）與 4 步適配器等加速方案，可在 ComfyUI 中將生成步數壓縮至 8 到 11 步。

常見問題（FAQ）

MOSS-Image-Base 與 MOSS-Image-SFT 應該如何選擇？

若目標是直接生成海報、資訊圖表、帶文字插畫或日常圖片，建議優先下載 MOSS-Image-SFT，它在文字分組清晰度與版面結構上經過精選資料微調，視覺表現更穩定。若計畫訓練特定畫風、角色或專屬領域的 LoRA 模型，則建議以保留完整預訓練訊號的 MOSS-Image-Base 作為訓練基底。

為什麼提示詞中加入換行符號（`\n`）會影響圖片裡的文字渲染品質？

MOSS-Image 在預訓練階段保留了影像中可見文字的真實換行結構。根據官方技術報告的消融觀察，在提示詞中明確加入換行符號，能幫助模型在擴散去噪的早期階段更快確立每一行的字元分配與排版位置，進而減少多行長文的漏字或字體重疊現象。

目前 MOSS-Image 支援參考圖控制（Image-to-Image）或局部重繪嗎？

目前釋出的 5B 骨幹僅支援純文本條件輸入（包含自然語言與 JSON 版面座標），尚不支援直接輸入參考圖片或對現有圖片進行局部編輯。不過，使用者若透過 JSON 版面模式生成圖片，可在固定隨機種子（Seed）與其餘元素座標的前提下，單獨修改特定區塊的文字或描述來達成零樣本版面微調。

OpenMOSS 開源 MOSS-Image 5B 文生圖模型：原生支援 JSON 結構化排版與雙語長文渲染

OpenMOSS 開源 MOSS-Image 5B 文生圖模型：原生支援 JSON 結構化排版與雙語長文渲染

結合意圖感知提示詞代理與 5B DiT 解決圖文排版痛點

採用 Qwen3.5-9B 與 FLUX.2 VAE 建構單流 5B 擴散架構

1. 骨幹網路與四維旋轉位置編碼（4D RoPE）

2. 「標註而非過濾」的 32 億張預訓練資料策略

3. 多粒度重標註與保留換行結構

4. 四階段漸進式訓練與 Muon–AdamW 混合優化器

以 JSON 中心相對座標精準控制畫面元素與文字落點

提供預訓練 Base 與精選微調 SFT 雙版本權重滿足不同部署需求

在雙語長文渲染與複雜版面評測刷新開源模型紀錄

1. LLTB 雙語長文渲染與 7Bench 版面控制表現

2. RealLayoutArena 端到端與共享提示詞對決

支援 Diffusers、Gradio 與 ComfyUI 多種本地推論工作流

1. 官方推薦採樣參數設定

2. Python Diffusers 快速上手範例

3. ComfyUI 原生節點與社群量化/加速生態

常見問題（FAQ）

MOSS-Image-Base 與 MOSS-Image-SFT 應該如何選擇？

為什麼提示詞中加入換行符號（`\n`）會影響圖片裡的文字渲染品質？

目前 MOSS-Image 支援參考圖控制（Image-to-Image）或局部重繪嗎？

相關連結

Leaving Website

OpenMOSS 開源 MOSS-Image 5B 文生圖模型：原生支援 JSON 結構化排版與雙語長文渲染

結合意圖感知提示詞代理與 5B DiT 解決圖文排版痛點

採用 Qwen3.5-9B 與 FLUX.2 VAE 建構單流 5B 擴散架構

1. 骨幹網路與四維旋轉位置編碼（4D RoPE）

2. 「標註而非過濾」的 32 億張預訓練資料策略

3. 多粒度重標註與保留換行結構

4. 四階段漸進式訓練與 Muon–AdamW 混合優化器

以 JSON 中心相對座標精準控制畫面元素與文字落點

提供預訓練 Base 與精選微調 SFT 雙版本權重滿足不同部署需求

在雙語長文渲染與複雜版面評測刷新開源模型紀錄

1. LLTB 雙語長文渲染與 7Bench 版面控制表現

2. RealLayoutArena 端到端與共享提示詞對決

支援 Diffusers、Gradio 與 ComfyUI 多種本地推論工作流

1. 官方推薦採樣參數設定

2. Python Diffusers 快速上手範例

3. ComfyUI 原生節點與社群量化/加速生態

常見問題（FAQ）

MOSS-Image-Base 與 MOSS-Image-SFT 應該如何選擇？

為什麼提示詞中加入換行符號（\n）會影響圖片裡的文字渲染品質？

目前 MOSS-Image 支援參考圖控制（Image-to-Image）或局部重繪嗎？

相關連結

Leaving Website

為什麼提示詞中加入換行符號（`\n`）會影響圖片裡的文字渲染品質？