阿里 ThinkSound 開源：AI 配音不再「看圖說話」，用「思維鏈」聽懂影片的潛台詞*

想像一下，AI 不僅能為影片配上聲音，更能理解畫面中的每一個動態細節，從鳥兒振翅到樹葉搖曳，並允許你像導演一樣即時修改音效。阿里巴巴開源的 ThinkSound 模型，透過創新的「思維鏈」技術，正讓這一切成為現實，徹底改變我們對 AI 音訊生成的想像。

你有沒有過這種經驗？觀看一段 AI 生成的影片，畫面很精彩，但聲音卻總覺得哪裡「不對勁」。鳥鳴聲突兀地響起，卻與鳥兒飛翔的動作對不上拍；汽車駛過的音效，也缺少了由遠及近的層次感。這種音畫不同步的狀況，正是傳統 AI 配音技術的罩門。

過去的視訊轉音訊（Video-to-Audio）模型，就像一個只會「看圖說話」的實習生。你給它一段影片，它辨識出畫面裡有「貓頭鷹」，然後就配上一段單調的「貓頭鷹叫聲」。至於貓頭鷹是什麼時候拍動翅膀、什麼時候飛離樹枝、翅膀拍動又帶起了什麼環境聲響——抱歉，這些細節它通通無法理解。

但現在，情況有了顛覆性的改變。阿里巴巴語音 AI 團隊開源了全球首個支援「鍊式推理」的音訊生成模型——ThinkSound。它不再是簡單地看圖配音，而是真正學會了「思考」，能夠結構化地理解影片的動態敘事，生成與畫面高度同步、細節豐富的空間音訊。

傳統 AI 配音的瓶頸：只會「看」，不會「聽」

讓我們先來看看問題出在哪。傳統的端對端模型在處理影片時，往往會忽略聲音與視覺事件在時間和空間上的關聯。它們的運作模式比較單一：辨識物件 → 生成對應聲音。

以上圖中的貓頭鷹為例，傳統模型接收到的指令可能是「貓頭鷹在叫」。於是，它輸出的音訊就只有單一的鳥鳴聲。對於影片中依序發生的「棲息鳴叫 (t1)」、「準備振翅 (t2)」、「飛離枝頭並帶動樹葉搖晃 (t3)」等一系列連貫動作，它完全無法捕捉。結果就是，音訊失去了時間感，也缺乏複雜的細節，聽起來既不真實也無生氣。

ThinkSound 的革命：引入「思維鏈」，讓 AI 學會思考

ThinkSound 的最大突破，就是首次將「思維鏈」（Chain-of-Thought, CoT）技術引入了音訊生成領域。那麼，什麼是思維鏈呢？

簡單來說，它就像是給 AI 安裝了一個「內心獨白」的機制。在生成音訊之前，ThinkSound 會先對影片進行一連串的思考和規劃。

同樣是貓頭鷹的例子，ThinkSound 的處理流程是這樣的：

1. 結構化分析： 模型會先在腦中形成一條推理鏈：「首先，貓頭鷹在樹枝上發出鳴叫。接著，它拍動翅膀準備起飛。最後，它飛離樹枝，這個動作同時引起了樹葉的沙沙聲。」
2. 生成音訊： 基於這個結構化的「劇本」，ThinkSound 會依序生成對應的音訊：鳥鳴聲 → 翅膀拍動聲 → 樹葉搖曳聲。

看出來了嗎？透過思維鏈，AI 不再是隨機拼湊聲音，而是能理解事件的先後順序和因果關係，從而創造出與畫面完美同步、富有層次的音景。

不只是生成，更是互動式編輯：你的影片，你來指揮

ThinkSound 的強大之處還不止於此。它不僅能生成，還允許使用者進行「互動式」的逐步編輯，讓你成為音效的總指揮。

這個過程同樣是分階段的，而且充滿彈性：

• 第一階段： AI 已經根據思維鏈生成了包含鳥鳴、振翅和樹葉聲的基礎音訊。
• 第二階段（可選）： 如果你覺得樹葉的聲音太搶戲，可以透過自然語言下達指令：「提取貓頭鷹發出的聲音，避免加入樹木的聲音。」模型會結合視覺定位技術（如 Grounded-SAM-2），精準地將貓頭鷹的聲音分離出來，生成更純粹的音訊。
• 第三階段（可選）： 如果你還想讓場景更豐富，可以繼續下指令：「加入更多其他鳥類的鳴叫聲，但要保留原本貓頭鷹叫聲的特色。」模型就會在不影響主體音效的前提下，疊加上新的背景音。

這種互動式的生成與編輯能力，賦予了創作者前所未有的控制權，無論是影視後期製作還是個人內容創作，都能更精準地實現腦中的聲音想像。

餵養 AI 的「精神食糧」：高品質資料集 AudioCoT

一個聰明的模型背後，必然有海量的優質「教材」。為了訓練 ThinkSound 的結構化推理能力，阿里團隊建構了一個名為 AudioCoT 的多模態資料集。

這個資料集規模驚人，包含了 2531.8 小時 的高品質音訊樣本，整合了來自 VGGSound、AudioSet 等多個來源的真實場景聲音，從動物鳴叫到機械運轉，無所不包。更重要的是，這個資料集經過了精心的設計，包含了大量「物件級」和「指令級」的樣本，專門用來訓練模型處理像「提取A聲音，同時避免B聲音干擾」這類複雜的指令。

開源的力量：ThinkSound 的未來與潛力

實驗數據顯示，ThinkSound 的性能表現非常出色，在 VGGSound 測試集上的核心指標較主流方法提升超過 15%，在 MovieGen Audio Bench 測試中也大幅領先 Meta 的同類模型。

更令人興奮的是，阿里語音 AI 團隊已將 ThinkSound 的程式碼與預訓練權重完全開源，開發者可以在 GitHub、HuggingFace 及魔搭社群免費取得。這無疑將極大加速音訊生成領域的技術普及。

• GitHub 位址： https://github.com/FunAudioLLM/ThinkSound
• HuggingFace 位址： https://huggingface.co/spaces/FunAudioLLM/ThinkSound

需要注意的是，目前的開源版本僅供研究和教育目的使用，若要進行商業用途，需要聯繫作者獲得授權。

展望未來，ThinkSound 的潛力無窮。它不僅能為影視音效製作、音訊後期處理提供強大的新工具，更有可能被應用於遊戲開發、虛擬實境（VR）等需要沉浸式體驗的場景，重新定義人機互動中的聲音邊界。

這項技術的開源，代表著 AI 正在從一個單純的執行工具，進化為一個能夠理解情境、與人協作的創意夥伴。對於所有內容創作者而言，一個更智慧、更高效的聲音創作時代，已經到來。