Liquid AI 發布 LFM3 多模態模型家族：2B 級三混合架構、六大全模態與決策模型、邊緣推論與本地部署完整指南

文章摘要：Liquid AI 於 2026 年 10 月 27 日正式發布第三代液態基礎模型家族 LFM3（Liquid Foundation Models 3），並同步於 Hugging Face 官方技術部落格 與 Hugging Face LFM3 模型合集 釋出開放權重（Open-Weight）。LFM3 以「專精化智慧（Specialized Intelligence）」為設計核心，透過 22 兆（22T）Tokens 預訓練的單一共享骨幹 LFM3-1.7B-Base，一次衍生出涵蓋文字（LFM3-1.7B）、視覺與影片（LFM3-VL-2B）、18 語音訊（LFM3-Audio-2B）、全模態（LFM3-Omni-2B） 以及 單次前向結構化決策（d1-2B 與 d1-Omni-2B） 的六款 2B 級別模型。在 4-bit 量化下，文字模型僅需約 1 GB 記憶體即可在手機、筆電或樹莓派等邊緣裝置本地運行，同時支援最高 256K Tokens 上下文視窗與單張 GPU 微調。本文整合 Liquid AI 官方發布報告、Hugging Face 技術文章與各模型卡資料，完整解析 LFM3 的三混合（Tri-Hybrid）層級架構、自研視覺與 LiquidCodec 音訊編碼器、基準測試表現、Python 實戰程式碼與授權規範。

LFM3 核心設計理念與四大技術升級

根據 Liquid AI 官方發布文章 與 Hugging Face 官方部落格 說明，大型雲端通用模型雖然涵蓋廣泛知識，但在特定企業任務或邊緣端部署時往往面臨延遲高、成本高與微調困難等限制。LFM3 改採「單一共享骨幹、多模態專精分支」的架構策略，相較前代 LFM2 與 LFM2.5 系列帶來四項主要改變：

1. 更高的單位參數效能（More Capability per Parameter）：採用結合門控短卷積、滑動視窗注意力與全局注意力的全新「三混合（Tri-Hybrid）」架構，搭配 22T Tokens 預訓練與四階段後訓練配方。旗艦文字模型 LFM3-1.7B 的參數規模較前代 LFM2.5-2.6B 減少 35%（1.73B 對比 2.6B），卻在官方 29 項綜合基準測試中取得 49.37 的平均分，超越前代的 31.55 分與參數規模大五倍以上的 Qwen3.5-9B（47.24 分）。

2. 單一骨幹涵蓋全模態與決策任務（Every Modality, One Backbone）：過去 LFM2 與 LFM2.5 的文字、視覺與音訊模型分別在不同時間軸演進，LFM3 則將六款 2B 級別模型統一建立在 LFM3-1.7B-Base 骨幹上。這讓量化方案、推論引擎優化（如 llama.cpp、MLX、vLLM、SGLang）與微調工具鏈能直接跨模態通用，並首次加入支援原生影片輸入的視覺模型 LFM3-VL-2B 與旗下首款全模態模型 LFM3-Omni-2B。

3. 專為邊緣裝置打造的高速長上下文推論（Built for the Edge）：文字模型在 4-bit 精度下僅佔用約 1 GB 記憶體，支援 256K Tokens 上下文視窗。受惠於以卷積與局部滑動視窗為主的層級配置，在 128K Tokens 滿載上下文時，LFM3-1.7B 的 KV Cache 僅需 1.6 GB（對照組 Qwen3.5-4B 需 4.3 GB、MiniCPM5-2B 需 5.6 GB）。同時搭配全新自研的 164M 視覺編碼器、全因果音訊編碼器與 LiquidCodec 語音編解碼器，大幅降低裝置端多模態預填充與串流語音合成延遲。

4. 單卡 GPU 快速領域特化（Made to be Specialized）：全系列模型皆可在單張 GPU 上透過 Hugging Face TRL 完成監督式微調（SFT）、直接偏好優化（DPO）、群組相對策略優化（GRPO）或持續預訓練（CPT），並同步公開 10 份可直接在 Google Colab 執行的端到端微調筆記本，涵蓋結構化 JSON 抽取、工具搜尋、語音指令轉函式呼叫、醫療影像語音問答與機器人視覺語言動作（VLA）控制。

底層架構拆解：Tri-Hybrid 三混合骨幹與硬體迴路搜尋

在 LFM2 世代中，Liquid AI 驗證了「門控短卷積（Gated Short Convolutions）＋注意力機制」的混合設計能在終端裝置上兼顧推論速度與生成品質。到了 LFM3，研究團隊為了支援需要長上下文與高密集指令遵循的代理（Agentic）工作流，擴大了自動化「硬體在環架構搜尋（Hardware-in-the-Loop Architecture Search）」的測試範圍。

搜尋環境從 LFM2 時期的「1 支手機與 1 台筆電 CPU」，擴展為橫跨 14 種裝置與後端組合的實機迴路：包含智慧型手機（Samsung Galaxy S26 Ultra、OnePlus 15）、單板電腦（Raspberry Pi 5）、筆記型電腦（Apple M4 Max、AMD Ryzen AI）、Arm 與 x86 雲端伺服器 CPU、資料中心 GPU 以及 Qualcomm Hexagon NPU。任何架構改動都必須在不犧牲實機推論速度的前提下提升品質，才會被保留下來。

1. 24 層三混合層級排列（Tri-Hybrid Layer Mix）

根據 Liquid AI 官方技術說明 與 LFM3-1.7B-Base 模型卡，骨幹網路共由 24 層組成，交錯配置三種序列運算子：

• 門控短卷積層（Gated Short Convolution，共 13 層）：佔總層數一半以上，是維持低記憶體佔用與高速解碼的核心。其一維卷積（Conv1D）的卷積核大小（Kernel Size）由 LFM2 的 3 擴大至 7，運算流程為將輸入線性投影至 $B, x, C$，執行 $B \times x$ 後通過 Conv1D，再乘上門控 $C$ 並透過線性層輸出。
• 滑動視窗分組查詢注意力（Sliding-Window GQA / SWA，共 5 層）：為了在不拖慢長上下文速度的前提下增加模型表達能力，團隊將部分卷積層替換為視窗大小 256 Tokens 的滑動視窗注意力，作為卷積與全局注意力之間的低成本局部上下文層。
• 全局分組查詢注意力（Full Attention GQA，共 6 層）：負責跨全序列的長距離資訊檢索與狀態整合。

24 層由下而上的確切排列模式為：C - C - F - C - S - C - F - C - S - C - F - C - S - C - F - C - S - C - F - C - S - C - F - C（其中 C 代表門控短卷積、F 代表全局注意力、S 代表滑動視窗注意力）。官方測試顯示，以每單位參數計算，LFM3-1.7B 在短提示詞下的邊緣裝置推論速度與 LFM2-1.2B 持平，而在 8K Tokens 上下文長度下則比前代快約 25%。

2. 兩階段 22T Tokens 預訓練與分岔式後訓練管線

根據 LFM3-1.7B 模型卡 與 Hugging Face 技術文章，LFM3-1.7B-Base 的訓練分為預訓練與中期訓練兩階段，總計處理 22 兆（22T）Tokens：

• 主預訓練階段（Main Pre-training，約 18.5T Tokens）：相較於 LFM2（約 15T Tokens），大幅增加了科學論文、儲存庫級別（Repository-level）程式碼、跨領域知識來源與高比例的數學推導語料。
• 中期訓練階段（Mid-training，最後 3.5T Tokens）：使用精心篩選的高品質語料，加入高比例的代理執行軌跡（Agentic Traces）與多樣化工具呼叫範例，並在此階段將上下文視窗正式擴展至 256K Tokens。

完成 LFM3-1.7B-Base 後，六款模型沿著各自的後訓練路徑分支演化：

自研多模態編碼器：164M 混合視覺編碼器與 LiquidCodec 語音分詞器

為了讓 2B 級別模型在行動裝置與無獨顯筆電上流暢處理影像、影片與即時語音，Liquid AI 放棄直接套用第三方通用編碼器，改為從頭打造兩套基於 LFM 混合設計的自研編碼器：

1. 自研 164M 視覺編碼器（運算量較 SigLIP2 降低 3 倍）

根據 LFM3-VL-2B 模型卡 與 Hugging Face 技術文章，LFM3-VL-2B 由 1.73B 語言骨幹、164M 視覺編碼器與 25M 投影器（Projector）組成（總計 1.92B 參數）：

• 14 層混合結構：視覺編碼器包含 8 層門控深度可分離二維卷積（Gated Depthwise 2D Convolutions） 與 6 層雙向注意力（Bidirectional Attention），採用 16 × 16 像素區塊（Patches）搭配 2D 旋轉位置編碼（2D RoPE）。
• 原生解析度與 2×2 區塊合併：影像與影片皆以原生解析度處理，每 2 × 2 的視覺區塊會打包為 1 個語言 Token。
• 影片雙幀時間切片壓縮：預設以每秒 2 幀（2 fps）對影片取樣（LFM3-VL-2B 預設取 4 至 768 幀，LFM3-Omni-2B 預設取 4 至 384 幀），編碼器會將每對相鄰取樣幀聯合嵌入為單一時間切片（Temporal Slice），將影片的時間序列長度直接減半。
• 能效比表現：相較於前代 LFM-VL 使用的 SigLIP2 編碼器，新編碼器所需的運算量減少為 1/3；在搭配相同 LFM2.5-230M 語言骨幹進行的對照測試中，其準確率與 Qwen3.5-2B 的視覺編碼器持平，但所需的浮點運算次數（FLOPs）減少了 2.2 倍。

2. 全因果音訊編碼器與 LiquidCodec（單核 CPU 達 87 倍即時語音合成）

根據 LFM3-Audio-2B 模型卡，音訊管線包含兩項關鍵創新：

• 全因果音訊編碼器（Causal Audio Encoder）：結合滑動視窗注意力與短卷積層，將記憶體佔用鎖定在固定範圍內。由於採全因果設計，模型可在使用者仍在說話時同步進行增量預填充（Incremental Prefill），使用者話音剛落，模型的首個 Token 反應時間（Time to First Token, TTFT）最低僅需 50 毫秒（ms）。
• LiquidCodec 音訊分詞器與平行語音預測：建立於 LFM3 架構上的自研語音 Tokenizer，將每 80 ms 的語音表示為 12 個離散 Token。不同於前代 LFM Audio 依序逐一預測音訊 Token，LFM3 改採迭代式平行預測（Parallel Speech Prediction），在 Apple M4 Max 的單一 CPU 執行緒上即可達到約 87 倍即時速度（87× real time） 的流式語音解碼（輸出採樣率為 24 kHz）。

六大模型規格、基準測試與邊緣推論資料全解析

1. LFM3-1.7B：專為本地代理（Local Agents）與工具搜尋打造的文字模型

LFM3-1.7B 經過四階段後訓練：第一階段為 1.75T Tokens 的監督式微調（SFT）；第二階段為涵蓋數學、程式碼、SQL 與結構化輸出的混合強化學習（Mixed RL，並在獎勵中加入長度懲罰以保持回答精簡）；第三階段為多領域在策略蒸餾（MOPD），將程式碼、數學、工具調用、長上下文、代理任務與企業工作流共 6 個專精 RL 教師模型蒸餾回單一學生模型；第四階段則直接放入 Hermes Agent、Pi 與 OpenClaw 等真實代理框架中進行 Agentic RL 訓練。

（1）官方 29 項基準測試橫向對比

根據 Liquid AI 官方部落格 與 LFM3-1.7B 模型卡 公布的評測結果（均以 vLLM 在 BF16 精度與最大上下文長度下測試），LFM3-1.7B 與同級及跨級模型的對比如下：

從評測結果可觀察到三個明確特徵：

• 瀏覽器與企業應用代理表現突出：在 WebArena-Verified（38.42 vs 28.94）、AutomationBench（41.29 vs 15.10）與 LiveClaw（45.60 vs 35.77）上，1.73B 的 LFM3-1.7B 超越了 9.7B 的 Qwen3.5-9B；在四項指令遵循測試（IFEval、IFBench、IFStruct、Multi-IF）與 BFCL V4、ToolSandbox 工具調用測試中也全部居首。此外，MacPaw 工程團隊在真實 macOS 環境的 65 項日常代理任務測試中指出，LFM3-1.7B 的任務成功率達 64%（對照組 Qwen3.5-2B 為 48%），每項任務消耗的 Token 數減少 58%，且陷入死迴圈的比例低於 1%（對照組為 15%）。
• 極高的拒答防幻覺傾向：在衡量知識幻覺的 AA-Omniscience 測試中，LFM3-1.7B 的非幻覺率高達 92.93%，使其成為表中唯一取得正綜合分（+0.50）的模型，代表模型在面對超出自身參數記憶的問題時，傾向誠實拒答而非編造答案。
• 明確的能力邊界（需搭配檢索、不建議用於複雜代理編程）：官方在 LFM3-1.7B 模型卡 中明確提醒，受限於 1.7B 參數體積，該模型在純記憶型知識問答（如無工具 HLE 7.17 分）與多步驟軟體工程代理（如 Terminal-Bench 2.1 12.92 分）上仍不及大型模型；但當接入搜尋工具後，其 HLE 分數可翻倍提升至 13.90 分。因此官方建議在知識密集場景務必搭配檢索（RAG / Search），並將其定位為本地日常代理與工具路由引擎。

（2）邊緣裝置與資料中心 GPU 推論實測

根據 Liquid AI 官方部落格 測試資料，在 llama.cpp 使用 Q4_0 GGUF 權重、輸入 32K Tokens 上下文、生成 100 Tokens 的條件下，LFM3-1.7B 在三種代表性終端硬體上的預填充（Prefill）速度皆快 2.5 倍以上，解碼（Decode）速度皆快 1.8 至 2.8 倍，且記憶體佔用最低：

在伺服器端，單張 NVIDIA B300 GPU 以 SGLang 0.5.22 運行 BF16 精度（1,024 輸入 / 256 輸出）並處理 1,024 個併發請求時，LFM3-1.7B 的輸出吞吐量高達 41,710 tokens/s（相當於單卡每日產出 36 億 Tokens），領先 MiniCPM5-2B（32,170 tok/s）、Gemma 4 E4B（16,050 tok/s）、Qwen3.5-4B（14,160 tok/s）與 Qwen3.5-9B（10,140 tok/s）。官方更藉此展示了同時並行啟動超過 300,000 個 LFM3-1.7B 代理檢索分析安隆（Enron）電子郵件檔案庫的規模化應用。

2. LFM3-VL-2B：支援影片輸入、思考推理與空間定位的視覺語言模型

LFM3-VL-2B（1.92B 參數，128K 上下文視窗）是首款支援原生影片輸入與 <think>...</think> 逐步推理的 LFM 視覺模型。根據 LFM3-VL-2B 模型卡，在涵蓋 10 大類別共 62 項視覺基準測試中，LFM3-VL-2B 的總平均分從前代 LFM2.5-VL-3B（3.1B 參數）的 57.6 分躍升至 71.4 分，領先所有同量級模型至少 7.4 分，並與參數規模大六倍以上的 Gemma 4 12B（71.7 分） 相當，同時超越 Gemini 3.5 Flash Lite（70.0 分）：

尤其在視覺空間定位（77.3 分）、具身空間推理（64.4 分） 與 GUI 介面理解（83.1 分，其中 ScreenSpot-v2 Desktop 達 94.6、Mobile 達 92.2） 三個專案上，LFM3-VL-2B 超越表中所有對照模型（包含 Gemma 4 12B 與 GPT-5.6 Luna）。在單張 NVIDIA B300 GPU 上以 SGLang 併發 1,024 個圖文請求時，其輸出吞吐量更突破 12,000 tokens/s。

3. LFM3-Audio-2B：18 語種串流語音對話、ASR/TTS 與口語工具調用

LFM3-Audio-2B（2.0B 參數，32K 上下文視窗）支援文字或 16 kHz 音訊輸入，並可輸出純文字、24 kHz 語音或「文字與語音交錯串流（Interleaved Text and Speech）」。支援包含中文、英文（美式/英式）、日文、韓文、法文、德文、西班牙文、葡萄牙文、義大利文、俄文、阿拉伯文、土耳其文等 18 種語言的語音辨識（ASR）、語音合成（TTS）與語音翻譯（目前即時串流語音對話與 LiveASR 僅支援英文）。

根據 LFM3-Audio-2B 模型卡 公布的基準資料：

4. LFM3-Omni-2B：同時看圖、看有聲影片、聽語音並開口回答的全模態模型

LFM3-Omni-2B（2.17B 參數，32K 上下文視窗，非思考模型）是 Liquid AI 首款端到端全模態模型，在單一模型中同時整合了 LFM3 骨幹、視覺編碼器、因果音訊編碼器與 LiquidCodec，可直接取代過去需要分開串接的「ASR + VLM + LLM + TTS」四段式管線。當傳入包含音軌的影片時，模型會將每對取樣畫面與對應時間段的音訊交錯排列，同步理解畫面動作與聲音事件。

根據 LFM3-Omni-2B 模型卡，在音視訊同步理解（Video + Audio Understanding） 基準測試中，2.2B 參數的 LFM3-Omni-2B 超越了總參數高達 10.7B 的 Qwen2.5-Omni-7B 與 8B 的 Gemma 4 E4B：

5. d1-2B 與 d1-Omni-2B：單次前向傳播、毫秒級輸出的結構化決策模型

在許多企業後端流程（如客服工單分流、內容審核、發票欄位擷取、工廠瑕疵篩檢）中，系統真正需要的並不是一段自然語言回覆，而是明確的分類、數值與可信度機率。為此，Liquid AI 推出基於 LFM3-VL-2B 的 d1-2B 與加入音訊支援的 d1-Omni-2B。

這兩款模型透過 model.system_one(state, questions, media=...) 介面運作，完全不進行自回歸 Token 生成（output_tokens: 0），而是針對同一個輸入狀態（文字、JSON、照片、影片或錄音），在單次前向傳播（Single Forward Pass） 中同時回答多達 16 個（可透過 set_size 調整）具名問題，並附帶經過校準的機率值（Calibrated Probabilities）：

• 支援 7 大型別化問題（Question Types）：
  1. noul：是非題（Yes/No），直接回傳 P(yes) 機率。
  2. choice（單選）：從定義的選項與標準中選出最符合的一項，並回傳各選項機率與信心值。
  3. choice + multiple: True（複選）：挑出所有符合條件的選項，並給出每個選項各自的 P(yes) 機率。
  4. score（有序評分）：在 2 至 10 個有序等級中評估中位數等級與機率分佈。
  5. text、number、date（精準欄位抽取）：從文件或發票中讀取文字、帶單位數值或 ISO 8601 日期，並回傳原文位置區間（span）與是否存在（found < 0.5 時自動回傳 None）。
  6. number + range（區間估計）：針對數量或指標給出中位數估計值與 (p10, p90) 信賴區間。
  7. box、boxes（視覺目標定位与計數）：在圖片中標出單一物件或最多 16 個同類物件的正規化邊界框座標 {'top', 'bottom', 'left', 'right'} 與總數量（count）。
• 超越前代 d1-3B 的準確率與毫秒級延遲：根據 d1-2B 模型卡，d1-2B 參數減少三分之一，卻在 ImajevBench v2.0-lite 上從 d1-3B 的 64.0 分大幅提升至 75.5 分，WorkflowEvals 達 81.6 分，Decision Bench v4 達 85.2 分；而 d1-Omni-2B 在問題改由真人語音提問時，準確率與文字提問差距不到 0.5 個百分點，並在 FLEURS 43 語種語音識別達 92.5%、ESC-50 環境聲音事件辨識達 84.5%。在單次前向編譯（model.compile()）後，單一問題決策在 AMD MI325X 上僅需 3.7 至 3.8 ms，在 NVIDIA H100 PCIe 上僅需 5.7 至 5.8 ms，在 Apple M5 Pro 上亦僅需 18.6 至 21.1 ms。

專精化微調與機器人 VLA 實戰案例

Liquid AI 官方部落格 與 Hugging Face 技術文章 展示了兩個將 2B 模型微調為領域專家的指標案例：

1. 風力發電機葉片瑕疵檢測（單張 A100 微調數小時超越前沿大模型）：研究團隊使用約 3,000 張公開的風機葉片巡檢照片，在單張 NVIDIA A100 GPU 上花費數小時對 LFM3-VL-2B 進行 SFT 與 GRPO 微調。未微調前，LFM3-VL-2B 與大型前沿模型 GPT-6 Luna 的零樣本瑕疵分類準確率皆低於 10%（偵測 F1 分數分別僅 0.003 與 0.01）；完成單卡微調後，LFM3-VL-2B 的分類準確率躍升至 67%，偵測 F1 提升至 0.11。
2. 三大機器人模型與即時視覺語言動作控制（Robotics VLA）：團隊將 LFM3-VL-2B 特化為三款互補的機器人控制模型：
   • 任務編排器（Orchestrator）：透過工具呼叫操作機械臂，能以點選（Pointing）定位畫面物件、呼叫深度感測工具測量距離、啟動路徑規劃器，並在後續攝影機畫面中驗證執行結果。
   • 視覺導航器（Navigator）：根據近期 RGB 畫面與路線描述，僅用 5 個 Tokens 即預測出空間目標與航點軌跡（Waypoint Trajectory）。
   • 操作視覺語言動作模型（Manipulation VLA）：在單次前向傳播中將影像、自然語言指令與機器人關節狀態直接映射為 8 步連續動作區塊（8-step chunks of continuous actions）。跨 15 種機器人本體（Embodiments）聯合訓練後，該模型在四項 LIBERO 基準套件取得 96.2% 的平均成功率，在 RoboCasa-GR1 桌面操作任務取得 45.7% 成功率；部署於嵌入式邊緣硬體 NVIDIA Jetson AGX Orin（搭配 TensorRT FP16）時，生成一組動作區塊的延遲低於 50 ms。

此外，官方在 Hugging Face 技術文章 中整理了 10 份單卡 GPU 微調 Colab 筆記本：

本地部署、推論框架與 Python 實戰指南

LFM3 全系列首日即提供 BF16、FP8、NVFP4、GGUF、MLX（Apple Silicon 4-bit）與 ONNX 等多元檢查點格式，支援 Transformers、llama.cpp、vLLM、SGLang、Ollama、LM Studio 與 Docker Model Runner。

1. LFM3-1.7B 文字推論與延遲工具搜尋（Deferred Tool Search）

根據 Liquid AI 官方技術文件，一般對話、代理與工具調用建議設定 temperature=0.1, top_k=50, repetition_penalty=1.1；若為數學與科學推理，則建議改用 temperature=1.0, top_p=0.95, top_k=20, repetition_penalty=1.0。

# 安裝最新版 transformers：pip install -U transformers torch accelerate
from transformers import pipeline

generator = pipeline(
    "text-generation",
    model="LiquidAI/LFM3-1.7B",
    trust_remote_code=True,
)
messages = [{"role": "user", "content": "What is C. elegans?"}]
output = generator(
    messages,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.1,
    max_new_tokens=2048,
)
print(output[0]["generated_text"][-1]["content"])

針對擁有數千個工具的代理環境，LFM3-1.7B 與 LFM3-VL-2B 原生支援 defer_loading=True（延遲載入工具定義）。各工具的完整 Schema 平時不會塞入提示詞中消耗上下文，直到代理呼叫 search_tools 並回傳 {"type": "tool_reference", "name": "get_weather"} 時，Chat Template 才會動態將該工具定義插入 <additional_tools> 區塊中，並以 XML 格式（<tool_call><function=name><parameter=key>value</parameter></function></tool_call>）生成呼叫指令。

2. LFM3-VL-2B 影像與影片理解（Transformers & llama.cpp）

在本地端使用 llama.cpp（需 b11960 或支援 LFM3 之更新版本）啟動 OpenAI 相容視覺伺服器：

llama serve -hf LiquidAI/LFM3-VL-2B-GGUF:Q4_0 \\
  --temp 0.1 --top-p 1.0 --top-k 50 --min-p 0.0 --repeat-penalty 1.1 \\
  --no-reasoning-preserve --port 8080

使用 Python transformers>=5.21.0 進行影像推理：

# pip install "transformers>=5.21.0" torch torchvision pillow
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "LiquidAI/LFM3-VL-2B"
model = AutoModelForImageTextToText.from_pretrained(
    model_id, dtype=torch.bfloat16, device_map="auto", trust_remote_code=True
)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://placecats.com/300/200"},
            {"type": "text", "text": "Describe this image."},
        ],
    }
]
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

with torch.inference_mode():
    output_ids = model.generate(
        **inputs,
        do_sample=True,
        temperature=0.1,
        top_k=50,
        repetition_penalty=1.1,
        max_new_tokens=16384,  # 預留充足上限供 <think> 逐步推理使用
    )
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
print(processor.batch_decode(generated_ids, skip_special_tokens=True)[0])

3. LFM3-Audio-2B 與 LFM3-Omni-2B 跨模態語音互動

使用 LFM3-Omni-2B 直接以語音錄音（question.wav）針對一張照片（photo.jpg）提問，或傳入含音軌影片（設定 load_audio_from_video=True 與 processor_kwargs={"use_audio_in_video": True}）：

# pip install "transformers>=5.20.2" torch torchvision torchcodec accelerate pillow librosa soundfile
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "LiquidAI/LFM3-Omni-2B"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

model = AutoModelForMultimodalLM.from_pretrained(
    model_id, dtype=dtype, device_map=device, trust_remote_code=True
).eval()
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)

conversation = [
    {
        "role": "system",
        "content": "Answer questions about the provided image. Base every answer only on what can be seen. Respond with text.",
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "photo.jpg"},
            {"type": "audio", "audio": "question.wav"},
        ],
    },
]
inputs = processor.apply_chat_template(
    conversation,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(device)

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=1024, generation_mode="text")
print(
    processor.decode(
        outputs.sequences[0, inputs["input_ids"].shape[1] : outputs.sequence_lengths[0]],
        skip_special_tokens=True,
    )
)

若需要模型同時輸出文字與 24 kHz 語音檔案，只需將系統提示詞設為 "Respond with interleaved text and audio."、傳入 generation_mode="interleaved"，再呼叫 processor.audio_tokenizer.decode(outputs.audio_codes[:1, :, :outputs.audio_lengths[0]]) 即可透過 LiquidCodec 還原出語音波形。

4. d1-2B 單次前向多問題客服工單決策

根據 d1-2B 模型卡，在單次 system_one 呼叫中同時完成是非判斷、負責團隊單選分流、多標籤主題分類與緊急程度評分：

# pip install "transformers>=5.19" torch torchvision pillow
import torch
from transformers import AutoModel

device = "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu"
dtype = torch.float32 if device == "cpu" else torch.bfloat16
model = AutoModel.from_pretrained("LiquidAI/d1-2B", trust_remote_code=True, dtype=dtype).to(device)

questions = {
    "refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},
    "team": {
        "type": "choice",
        "instructions": "Which team should handle this?",
        "criteria": {
            "billing": "Charges, refunds, invoices",
            "shipping": "Delivery and parcels",
            "technical": "App or site faults",
        },
    },
    "topics": {
        "type": "choice",
        "multiple": True,
        "instructions": "Which topics does the message raise?",
        "criteria": {
            "billing": "Payments and charges",
            "delivery": "Shipping and parcels",
            "login": "Signing in to the account",
        },
    },
    "urgency": {
        "type": "score",
        "instructions": "How urgent is this ticket?",
        "criteria": ["low", "medium", "high"],
    },
}

out = model.system_one(
    "I was charged twice and my parcel never arrived. Please refund one charge.",
    questions,
)
a = out["answers"]
urgency = a["urgency"]["legend"][str(int(a["urgency"]["score"]))]
print(round(a["refund"]["noul"], 2), a["team"]["choice"], a["topics"]["choices"], urgency)
# 輸出：1.0 billing ['billing', 'delivery'] medium

首發硬體與生態合作夥伴、LFM Open License v1.0 商用門檻

1. 晶片、邊緣硬體與企業測試夥伴

根據 Liquid AI 官方發布部落格 與 Unite.AI 報導，LFM3 首日獲得多家軟硬體夥伴支援：

• 邊緣與晶片合作夥伴：AMD（針對搭載 Ryzen AI 處理器的 AI PC 進行本地最佳化）、Qualcomm（透過 Qualcomm AI Hub 與 GenieX 支援 Snapdragon 處理器裝置）、Ambarella（安霸）（繼 LFM2.5-VL 後，於 Cooper Model Garden 平台啟用 LFM3 邊緣視覺晶片支援）、Arm、Intel（透過 OpenVINO 支援）與 NVIDIA。
• 雲端與推論平台夥伴：OpenRouter、Vercel，以及提供實機評估與預發布測試的 Mercedes-Benz（用於 MB.OS 車載語音與視覺助理）、Shopify 與 MacPaw。

2. LFM Open License v1.0 授權條款與 1,000 萬美元集團營收上限

LFM3 全系列權重均採用 LFM Open License v1.0 開放權重授權。根據授權條文與 RuneLab 企業合規指南 分析，企業與開發者在導入前需確認以下條件：

• 年營收低於 1,000 萬美元免費商用：學術研究、個人非商業用途，以及年總營收低於 1,000 萬美元（US$10M） 的新創公司與中小企業，可免費將 LFM3 用於商業環境，且微調後的衍生權重可保留於企業內部不強制開源。
• 集團共同控制（Common Control）合併計算規則：授權條款中的「法律實體（Legal Entity）」定義涵蓋使用方本身以及控制該實體、受該實體控制或處於共同控制下的所有關聯企業（如母公司、控股集團與兄弟子公司）。若一家小型研發子公司的獨立營收低於 1,000 萬美元，但其所屬母集團的合併年營收達 1,000 萬美元以上，則不適用免費商用條款，須事先向 Liquid AI 洽談企業商業授權。

相關連結與資源彙整

官方發布與技術指南

• Liquid AI 官方發布部落格（Introducing LFM3: Every Modality for Specialized Intelligence）：https://www.liquid.ai/blog/lfm3
• Hugging Face 官方技術部落格（Build specialized multimodal models with LFM3）：https://huggingface.co/blog/LiquidAI/lfm3
• Liquid AI 官方模型總覽頁：https://www.liquid.ai/models
• Liquid AI 官方開發者文件（LFM3-1.7B Docs）：https://docs.liquid.ai/lfm/models/lfm3-1.7b
• Liquid AI 完整模型支援矩陣文件：https://docs.liquid.ai/lfm/models/complete-library

Hugging Face 官方模型權重與 GGUF 倉庫

• Hugging Face LFM3 官方模型合集（Collection）：https://huggingface.co/collections/LiquidAI/lfm3
• LiquidAI/LFM3-1.7B-Base（預訓練共享基座模型）：https://huggingface.co/LiquidAI/LFM3-1.7B-Base
• LiquidAI/LFM3-1.7B（文字與本地代理模型）：https://huggingface.co/LiquidAI/LFM3-1.7B
• LiquidAI/LFM3-1.7B-GGUF（文字模型 GGUF 量化權重）：https://huggingface.co/LiquidAI/LFM3-1.7B-GGUF
• LiquidAI/LFM3-VL-2B（支援影片與思考的視覺語言模型）：https://huggingface.co/LiquidAI/LFM3-VL-2B
• LiquidAI/LFM3-VL-2B-GGUF（視覺模型 GGUF 量化權重）：https://huggingface.co/LiquidAI/LFM3-VL-2B-GGUF
• LiquidAI/LFM3-Audio-2B（18 語種語音對話與工具調用模型）：https://huggingface.co/LiquidAI/LFM3-Audio-2B
• LiquidAI/LFM3-Audio-2B-GGUF（音訊模型 GGUF 量化權重）：https://huggingface.co/LiquidAI/LFM3-Audio-2B-GGUF
• LiquidAI/LFM3-Omni-2B（視覺＋音訊＋文字全模態模型）：https://huggingface.co/LiquidAI/LFM3-Omni-2B
• LiquidAI/LFM3-Omni-2B-GGUF（全模態模型 GGUF 量化權重）：https://huggingface.co/LiquidAI/LFM3-Omni-2B-GGUF
• LiquidAI/d1-2B（文字與視覺單次前向結構化決策模型）：https://huggingface.co/LiquidAI/d1-2B
• LiquidAI/d1-Omni-2B（含音訊之全模態單次前向結構化決策模型）：https://huggingface.co/LiquidAI/d1-Omni-2B
• LFM Open License v1.0 授權條款全文：https://huggingface.co/LiquidAI/LFM3-1.7B/blob/main/LICENSE

第三方本地部署與深度評測參考

• Local AI Zone：LFM3 三混合多模態家族技術深度剖析：https://local-ai-zone.github.io/blog/lfm3-deep-dive.html
• RuneLab：LFM3 2B 邊緣模型企業部署指南與 $10M 授權條款解析：https://runelab.ai/en/blog/post/lfm3-small-open-models-enterprise
• LM Studio：LFM3 本地推論模型頁：https://lmstudio.ai/models/lfm3
• Ollama：lfm3-omni 模型庫：https://ollama.com/library/lfm3-omni