解密 MuScriptor：Kyutai 與 Mirelo 聯手打造最強開源音樂轉錄模型

MuScriptor：開啟開源多樂器音樂轉錄的新紀元 —— 深度技術解析與指南

1. 文章前言與核心描述

MuScriptor 是一款於 2026 年近日正式發布的革命性開源多樂器轉錄模型，旨在將複雜的音訊檔案精準轉換為高品質的 MIDI 格式。

與過往高度依賴「MIDI 合成音訊」進行訓練的傳統模型不同，MuScriptor 的核心價值在於其對真實錄音環境的卓越適應力，有效解決了合成數據模型在面對現實音軌時常出現的雜音干擾與動態細節丟失問題。該模型展現了極強的跨曲風適應能力，能廣泛支援包括流行、古典及重金屬在內的多樣化音樂流派，為音樂數位化與智慧化注入全新動力。

2. 開發團隊與技術背景

MuScriptor 由知名人工智慧研究機構 Kyutai 與 Mirelo 團隊共同研發。研發動機源於當前音訊處理領域中，模型對於真實錄音環境的「脆弱性」。開發團隊致力於打破合成數據的限制，建立一個能應對複雜聲學環境的強大系統。

開發團隊表示：「我們的技術願景是建立一個能克服環境雜音、精準擷取真實演奏細節，並將其轉化為標準化 MIDI 格式的強大開源系統，以滿足專業音樂製作與學術研究對真實錄音轉錄的高品質需求。」

3. 海量真實錄音數據：17 萬首音樂的訓練基石

MuScriptor 的卓越性能源於其大規模且真實的微調（Fine-tuning）數據。研發團隊徹底摒棄了過往模型常用的單純 MIDI 合成數據，轉而採用真實世界的素材作為訓練基石：

• 訓練規模： 採用高達 17 萬首 真實音樂錄音。
• 總時長： 累計訓練時長約 1.1 萬小時。
• 技術優勢： 透過大規模真實錄音的訓練，模型能有效捕捉樂器的共鳴、力度變化及環境聲學特徵，顯著提升在現實錄音場景中的辨識精度與抗噪能力。

4. 訓練架構與優化過程

為確保模型在處理多樣化音樂時的穩定性與轉錄精準度，MuScriptor 採用了純解碼器（decoder-only）的 Transformer 架構，並建立系統化的開發框架與三階段優化路徑，確保模型具備從單一音軌到多樂器複雜組合的強大轉換邏輯：

1. 第一階段：合成資料預訓練（Synthetic Pre-training） 針對數據進行高標準的頻譜分析與標註準備，使用高達 145 萬首 合成的 MIDI 檔案進行基礎架構訓練，強化模型對多樣化音樂流派（流行、古典、重金屬）的通用特徵提取能力。
2. 第二階段：真實資料微調（Real-world Fine-tuning） 導入 17 萬首真實錄音 與高度對齊的標註資料。針對真實環境中的動態範圍與雜訊特徵進行深度優化，這是有效擺脫合成數據脆弱性、提升轉錄品質最關鍵的步驟。
3. 第三階段：強化學習後訓練（RL Post-training） 精選 300 首高品質音軌，利用 GRPO 風格的策略梯度方法（Policy Gradient） 進行後期優化。此階段專注於解決轉錄中的頑疾，大幅減少了模型「漏抓音符」的問題，進一步確立最終轉錄的精準度與穩健性。

5. 模型規格與支援資源

MuScriptor 目前提供三種不同規模的模型版本，以適應從終端應用到大規模研究的不同算力需求：

官方相關資源連結

• 官方線上 Demo 網站： https://muscriptor.kyutai.org/
• 官方部落格技術發布： https://kyutai.org/blog/2026-07-10-muscriptor/ （獲取技術詳情與最新白皮書的首選管道）
• GitHub 原始碼庫： https://github.com/muscriptor/muscriptor
• Hugging Face 模型庫： https://huggingface.co/MuScriptor

6. 使用者實戰建議：提升轉錄穩定度的秘訣

💡 操作注意 (Note)： 雖然 MuScriptor 具備在完全未知樂器狀況下進行轉錄的能力，但為達成最高精度的轉錄效果，官方強烈建議使用者在處理音訊前事先提供樂器清單給模型作為條件設定（Conditioning）。

由於模型在底層是逐段處理 5 秒的音頻片段，預先標註樂器種類能有效消除模型在複雜頻譜中的模糊辨識空間，避免模型在不同片段間對樂器身分的判斷產生前後不一致（Flicker）的錯誤，進而大幅提升轉錄的整體穩定性。

7. MuScriptor 快速問與答 (Q&A)

Q1：MuScriptor 是什麼？由哪個團隊所開發？

A： MuScriptor 是一個開源的多樂器音樂轉錄模型，由 Kyutai 與 Mirelo 團隊共同開發。它的主要功能是將輸入的音樂音檔（無論是流行、古典或重金屬等任何流派）精準地轉換成標準 MIDI 格式，將音訊中每一種樂器的音符與節奏完整抓取出來。

Q2：它與過去的傳統音樂轉錄模型（如 MT3）最大的差異為何？

A： 過去的轉錄模型（如 2022 年發布的 MT3）大多高度依賴「MIDI 合成數據」進行訓練，導致模型在面對真實世界複雜的錄音環境時相當脆弱，容易受到雜音干擾並丟失動態細節。 MuScriptor 徹底打破這項限制，完全基於 **17 萬首、總長約 1.1 萬小時的「真實音樂錄音」**進行微調訓練，因此具備極強的抗噪能力、真實樂器共鳴捕捉精度與更優異的細節呈現。

Q3：它支援哪些音樂類型？

A： 受益於海量真實數據與多階段的優化訓練，它支援包含流行、古典及重金屬在內的多樣化流派，在面對編制複雜或高張力的曲風時，同樣具備極佳的跨曲風泛化與特徵提取能力。

Q4：轉換後的檔案格式是什麼？後續如何使用？

A： 轉換結果為標準的 MIDI 格式。這使得音樂創作者、編曲師能夠非常方便地將其匯入任何數位音訊工作站（DAW，如 Logic Pro、Ableton Live、Cubase 等）中，進行二次創作、更換音色、音符修正或樂譜編輯。

Q5：MuScriptor 的訓練架構與過程包含哪些關鍵階段？

A： 模型採用純解碼器（decoder-only）的 Transformer 架構，主要經歷了三個關鍵訓練階段：

1. 合成資料預訓練： 使用 145 萬首合成的 MIDI 檔案進行通用特徵提取。
2. 真實資料微調： 導入 17 萬首真實錄音與對齊標註，跨越合成與真實的鴻溝。
3. 強化學習後訓練（RL Post-training）： 精選 300 首高品質音軌，利用 GRPO 風格的策略梯度方法優化，大幅減少了模型「漏抓音符」的痛點。

Q6：如何讓模型的轉換結果更趨穩定？有什麼操作建議？

A： 提供具體的樂器清單是關鍵。透過預先給予樂器清單作為條件設定，能讓模型在多樂器交織的情況下，更精準地鎖定特定樂器的音高與節奏軌跡，解決 5 秒音訊切片處理時可能產生的樂器判斷前後不一（Flicker）的問題。

Q7：這款模型目前有什麼技術局限性（Limitations）？

A： 由於標記化（Tokenization）機制的底層限制，MuScriptor 目前無法呈現由**「同一種樂器」在「同一時間」彈奏出「相同音高」的重疊音符**。例如：若錄音中編排了兩把吉他同時彈奏完全一模一樣的音，模型在抓取時將無法將其區分為兩個獨立的事件，而會視為單一事件。

8. 結語與未來展望

MuScriptor 於 2026 年 7 月 10 日的正式發布，標誌著開源音訊處理技術的重要里程碑。它不僅有效解決了長久以來真實錄音轉錄的脆弱性問題，更為全球音樂製作人、編曲師與 AI 研究者提供了強大的工具基石。

Kyutai 與 Mirelo 團隊充分展現了開源社群共建與共享的精神。隨著 GitHub 原始碼與 Hugging Face 模型資源的全面開放，我們期待技術社群能進一步開發出更多基於此架構的創新外掛與應用，共同推動全球音樂數位化與智慧化的深度變革。