Ricursive Intelligence 發布 Ripple-65B Preview：以 3,200 萬美元總研發成本打造 65B 稠密開源模型，Terminal-Bench 2.1 拿下 80.52 分
由前 Google DeepMind 與 Anthropic 研究員、AlphaChip 共同發明人 Anna Goldie（執行長）與 Azalia Mirhoseini（技術長）創立的 AI 晶片設計新創 Ricursive Intelligence，於 2026 年 11 月 4 日正式透過 官方部落格 與 X 官方貼文 發布首款開放權重語言模型 Ripple-65B Preview。這款 650 億參數（65B）的稠密（Dense）Transformer 模型採用 Apache 2.0 授權釋出，從零開始在 12 兆（12T）tokens 上完成預訓練，並支援最高 100 萬（1,048,576）tokens 的上下文視窗（Hugging Face 模型卡）。
根據官方公布的評測數據，Ripple-65B Preview 在代理式編程（Agentic Coding）基準測試 Terminal-Bench 2.1 取得 80.52 分，在 SWE-bench Pro v2.0 Hard 取得 79.1 分，於這兩項指標上超越總參數規模達 501B 至 975B 的美國開放權重混合專家（MoE）模型（Ricursive 官方部落格）。
源自 AI 晶片設計平台的通用開源模型與 3,200 萬美元研發成本
Ricursive Intelligence 的核心業務是結合硬體、軟體與模型協同優化的自改進系統，用於自動化半導體與 AI 晶片設計。根據 VentureBeat 報導，該公司於 2026 年 1 月完成由 Lightspeed 領投、NVIDIA 旗下 NVentures、DST Global 與 Sequoia 參投的 3 億美元 A 輪融資，估值達 40 億美元。此次開源的 Ripple-65B Preview 是其內部晶片設計平台專用模型的通用衍生版本（Ricursive 官方部落格）。
在研發成本與算力效率上，官方披露整個專案從零開始的完整研發支出（Full R&D Cost）為 3,200 萬美元，團隊估算約為前一代美國開放權重代理編程領先模型成本的十分之一（Ricursive 官方部落格）。這筆 3,200 萬美元預算涵蓋了所有研發階段（daily.dev 技術摘要）：
- 前期實驗與資料工程：包含預訓練模型階梯（Model Ladder）開發、資料配比實驗、評測系統建置、除錯與合成資料管線開發（Ricursive 官方部落格）。
- 完整訓練與後訓練迭代：涵蓋後訓練配方研發，以及最終的預訓練（Hero Pretraining）與後訓練執行成本（Ricursive 官方部落格）。
- 精簡團隊與極高樣本效率：核心開發團隊在研發期間僅由 1 人擴編至 5 人（Hugging Face 模型卡），且在強化學習（RL）階段僅使用 140 萬次推演（1.4M rollouts）即達到 Terminal-Bench 2.1 的 80.5 分，推演次數約比 Reflection Beam（超過 1 億次 rollouts）少 70 倍（Ricursive 官方部落格）。
放棄 MoE 改採 80 層「窄而深」稠密架構，訓練維持 40% MFU
不同於當前多數美國開源模型採用數百億至近兆參數的混合專家（MoE）架構，Ricursive Intelligence 選擇打造 65B 稠密 Transformer 模型，以降低預訓練與後訓練的基礎設施複雜度，同時讓模型能部署於單機或邊緣工作站（Hugging Face 模型卡）。
在模型結構與訓練配方上，團隊從 Allen Institute for AI (AI2) 的 Olmo 3 基線出發，經過 v1.0 至 v1.6 多輪階梯實驗（Model Laddering），最終轉向類似 Gemma 3N 的「窄而深（Thin-and-Deep）」架構設計（Ricursive 官方部落格）：
| 架構與訓練項目 | Ripple-65B Preview 規格與設計細節 | 資料來源 |
|---|---|---|
| 模型規模與型態 | 65B 稠密（Dense）Transformer（精確儲存參數為 64,782,689,360） | Hugging Face 模型卡、OrcaRouter 分析 |
| 網路深度與寬度 | 共 80 層（64 層滑動視窗注意力 + 16 層全域注意力），隱藏層維度 d_model = 5120，FFN 維度 40960 | AtomicChat GGUF 模型卡、vLLM Recipes |
| 注意力機制配置 | 80 個查詢頭（Query Heads）、8 個鍵值頭（KV Heads），頭維度 128；每 4 層 1,024-token 滑動視窗注意力（SWA）搭配 1 層無位置編碼（Global NoPE）全域注意力 | vLLM Recipes、AtomicChat GGUF 模型卡 |
| 關鍵穩定與推理設計 | 引入 Pre+Post Norm（PeriNorm，每層 4 個 RMSNorm）、Sigmoid 門控注意力（Gated Attention）、FFN 激活值截斷（Activation Clipping）與殘差值混合（Value Residuals） | Ricursive 官方部落格、ModelCloud GPTQ 模型卡 |
| 程式碼計算效率提升 | 相較於 Olmo 3 基線，在 4B 規模下程式碼計算效率（dolma_stack CE）提升 16 倍，在完整規模訓練中最高達 55 倍 | Hugging Face 模型卡、Ricursive 官方部落格 |
| 硬體利用率與推理速度 | 在不使用自訂算子（Custom Kernels）與不進行量化（純 BF16）下維持 40% MFU；於 2 張 NVIDIA B200 GPU（Batch=8）上可達 250 tokens/s | Hugging Face 模型卡 |
六階段完整訓練流程：從 12T 預訓練到混合領域強化學習
根據 Hugging Face 模型卡 揭露的訓練細節，團隊在預訓練階段刻意保持資料純淨，僅使用極少量合成資料，主要依賴高品質自然英文與程式碼語料；直到中期訓練（Midtraining）才大幅引入自建的高品質合成資料，使合成資料配方的迭代不會阻塞預訓練進度。
完整訓練分為六個階段（Hugging Face 模型卡）：
| 訓練階段 (Stage) | 訓練資料量 (Tokens) | 訓練步數 (Steps) | 序列長度 (Seqlen) | 批次大小 (Batch Size) | 資料來源 |
|---|---|---|---|---|---|
| 預訓練 (Pretrain) | 12T | 877,500 | 8K | 1,408 → 3,072 | Hugging Face 模型卡 |
| 中期訓練 (Midtrain) | 200B | 8,000 | 64K | 384 | Hugging Face 模型卡 |
| 長上下文擴展 (Long Context) | 6.5B | 389 | 2M | 8 | Hugging Face 模型卡 |
| 監督式微調 (SFT) | 183B | 7,274 | 128K | 192 | Hugging Face 模型卡 |
| 長上下文微調 (LC SFT) | 13.5B | 802 | 2M | 8 | Hugging Face 模型卡 |
| 強化學習 (Mixed Domain RL) | N/A | 700 | 128K | 2,048 | Hugging Face 模型卡 |
在強化學習階段，團隊並未購買外部後訓練資料，而是結合截斷重要性採樣（Truncated Importance Sampling）、分數中心化（Score Centering）與線性長度懲罰（Linear Length Penalty），在長程合成環境中隨模型能力提升動態加入更高難度的任務（Ricursive 官方部落格）。
基準測試表現：Terminal-Bench 2.1 與 SWE-bench Pro v2.0 Hard 居美國開源模型之首，但非全項目領先
根據 Hugging Face 模型卡 公布的測試結果（全數以 BF16 精度與最高推理強度執行），Ripple-65B Preview 與美國主流大型 MoE 開放權重模型對比如下：
| 評測項目 (Benchmark) | Ripple-65B Preview (65B Dense) | Reflection Beam (501B MoE / 23B Active) | Meta Muse Spark Open (816B MoE / 42B Active) | Thinking Machines Inkling (975B MoE / 41B Active) | NVIDIA Nemotron 3 Ultra (550B MoE / 55B Active) | 資料來源 |
|---|---|---|---|---|---|---|
| Terminal-Bench 2.1 (官方自報) | 80.5 | 80.1 | 76.4 | 63.8 | 56.4 | Hugging Face 模型卡 |
| Terminal-Bench 2.1 (Terminus 2) | 80.5 | 70.8 | 78.7 | 56.2 | 55.1 | Hugging Face 模型卡 |
| SWE-bench Pro v2.0 Hard | 79.1 | 76.5 | 72.4 | 39.6 | 30.7 | Hugging Face 模型卡 |
| SWE-bench Verified | 76.5 | 81.6 | 78.7 | 77.6 | 71.9 | Hugging Face 模型卡 |
| SWE-bench Pro v1.0 | 61.42 | 66.1 | 58.2 | 54.3 | 46.9 | Hugging Face 模型卡 |
| DeepSWE 1.1 | 44.3 | 43.3 | 60.0 | 1.8 (部落格列 5.0) | 0.2 (部落格列 0.6) | Hugging Face 模型卡、Ricursive 官方部落格 |
| MCP Atlas | 71.67 | 80.8 | 89.2 | 76.0 | 62.2 | Hugging Face 模型卡 |
| AutomationBench (Public) | 36.4 | 39.3 | 42.4 | 14.6 | 8.4 | Hugging Face 模型卡 |
| GPQA Diamond | 85.2 | 90.6 | 89.0 | 87.2 | 87.0 | Hugging Face 模型卡 |
| MMLU-Pro | 84.2 | 76.5 | 87.9 | 87.3 | 86.8 | Hugging Face 模型卡 |
| AIME 2025 | 98.3 | 99.6 | 100.0 | 91.7 | 94.2 | Hugging Face 模型卡 |
| HMMT Feb 2026 | 90.5 | 93.9 | 93.9 | 86.3 | 80.3 | Hugging Face 模型卡 |
| FORTRESS Adversarial (安全) | 83.8 | 92.1 | 94.2 | 78.0 | 79.3 | Hugging Face 模型卡 |
| AA-LCR (長上下文) | 75.0 | 78.2 | 80.7 | 78.3 | 65.4 | Hugging Face 模型卡 |
針對上述基準測試，VentureBeat 與 AICoder 的分析指出了幾個閱讀數據時應留意的細節：
- 領先範圍限定於「美國開放權重模型」：官方宣稱的 SOTA 比較對象僅限於美國實驗室發布的開放權重模型，並未納入部分分數更高的中國開源模型或閉源商業模型（daily.dev 技術摘要）。此外，Cognition 同日發布的 SWE-2 Flash（基於 Thinking Machines 的 Inkling-Small，總參數 276B、激活參數 12B）宣稱在代理編程評測中超越美國開源模型，但其權重並未公開釋出（FourWeekMBA 報導、DecoHack AI 早報）。
- 部分指標仍落後於大型 MoE 對手：雖然 Ripple-65B Preview 在 Terminal-Bench 2.1（80.5）與 SWE-bench Pro v2.0 Hard（79.1）名列第一，但在 DeepSWE 1.1（44.3 對比 Meta Muse Spark Open 的 60.0）與 SWE-bench Verified（76.5 對比 Reflection Beam 的 81.6）上則落後於總參數大 8 至 12 倍的對手（AICoder 報導）。
- 總參數與激活參數的差異：Ripple-65B Preview 的總參數量（65B）雖遠小於 Reflection Beam（501B）或 Muse Spark Open（816B），但因為採用稠密架構，每次生成 token 時激活的參數量為完整的 65B，高於 Beam 的 23B 或 Muse Spark Open 的 42B 激活參數（VentureBeat 報導）。
開源權重版本、本地部署與 API 價格資訊
Ricursive Intelligence 在 Hugging Face 上以 Apache 2.0 授權（允許免費商用、修改與再分發，無營收或月活使用者門檻限制）同步釋出了四個官方模型倉庫（OrcaRouter 分析）：
- ricursiveAI/Ripple-65B-Preview：主力的 BF16 指令微調版（Instruction-tuned），檔案大小約 129.6 GB（共 16 個分片），所有官方指令基準分數皆以此版本測試（OrcaRouter 分析）。
- ricursiveAI/Ripple-65B-Preview-NVFP4：針對本地與單卡部署提供的實驗性 NVFP4 量化版，對 MLP 層進行 NVFP4 量化並保留 BF16 注意力層，可放入單張 NVIDIA B200/B300 或配備 128 GB 統一記憶體的 NVIDIA DGX Spark 桌面工作站（NVFP4 模型卡、vLLM Recipes）。
- ricursiveAI/Ripple-65B-Base-Preview：純預訓練基座模型（未包含中期訓練與合成問答資料），在 MMLU (5-shot) 得分為 83.7、HumanEval (0-shot) 為 70.9、MBPP Sanitized (3-shot) 為 81.5，適合需要自行進行後訓練與微調的團隊（Base 模型卡）。
- ricursiveAI/Ripple-65B-Preview-DFlash2：4.04B 參數的 BF16 推測解碼（Speculative Decoding）草稿模型（Drafter），每次可平行起草 16 個 tokens 並交由 65B 主模型驗證，用以加速推理生成（DFlash2 模型卡）。
在本地部署與雲端 API 支援方面，開發者需注意不同環境的上下文視窗與框架支援現況：
- 上下文長度依部署環境而異：雙卡 B200 伺服器配置預設支援完整的 1,048,576 tokens（1M），但官方針對 NVIDIA DGX Spark 提供的本地執行腳本預設上限為 131,072 tokens（128K）（DEV Community 實測分析）。
- 雲端 API 價格與通道：目前 OpenRouter (由 GMICloud 提供端點) 已公開計價，每百萬輸入 tokens 為 0.20 美元（快取輸入為 0.05 美元）、每百萬輸出 tokens 為 0.60 美元，但該端點當前的上下文上限列為 16,384 tokens（VentureBeat 報導）。此外，模型亦支援或即將上線於 Together AI、GMI Cloud、Fireworks 與 Wiro AI。
- 社群量化與推理引擎支援：官方支援透過 vLLM 與 SGLang（啟用
--reasoning-parser ripple與--tool-call-parser ripple）部署（Hugging Face 推理說明）。社群亦已釋出 AtomicChat GGUF 量化版（需搭配llama.cppPR #31692 分支編譯）以及 ModelCloud 4-bit GPTQ (W4A16) 量化版。
相關連結
官方發布與模型倉庫
- Ricursive Intelligence 官方發布文章：Introducing Ripple-65B Preview
- Ricursive Intelligence 官方 X (Twitter) 發布貼文
- Hugging Face 主模型 (BF16 Instruct)：ricursiveAI/Ripple-65B-Preview
- Hugging Face 量化模型 (NVFP4 Instruct)：ricursiveAI/Ripple-65B-Preview-NVFP4
- Hugging Face 基座模型 (BF16 Base)：ricursiveAI/Ripple-65B-Base-Preview
- Hugging Face 推測解碼草稿模型 (DFlash2)：ricursiveAI/Ripple-65B-Preview-DFlash2
- Hugging Face 官方推理伺服器設定指南 (SGLang / Reasoning & Tool Parsers)
- Ricursive Intelligence 組織主頁 (Hugging Face)
推理部署、社群量化與 API 平台
- vLLM 官方部署配方：ricursiveAI/Ripple-65B-Preview
- OpenRouter API 模型頁面：ricursiveai/ripple-65b-preview
- OpenRouter (GMICloud 端點)：gmicloud/ripple-65b-preview
- 社群 GGUF 量化版 (llama.cpp)：AtomicChat/Ripple-65B-Preview-GGUF
- 社群 GPTQ 4-bit 量化版：ModelCloud/Ripple-65B-Preview-GPTQ-W4A16-v2
第三方深度報導與技術評析
- VentureBeat：Ex-Googlers’ new Apache 2.0 model Ripple-65B Preview claims the U.S. open coding lead on two major benchmarks
- AICoder：Ricursive Open-Sources Ripple-65B Preview: A 65B Dense Model Pretrained From Scratch
- MarkTechPost：A 65B Dense Open-Weight Model Scoring 80.5 on Terminal-Bench 2.1
- DEV Community：Ripple-65B Is an Open Coder With 1M Context. Its DGX Spark Script Stops at 128K
- OrcaRouter：Ripple-65B vs Ripple-65B Preview: One Name, No Model
- DecoHack 橘鴉 AI 早報 (2026-11-05)