AI 如何提升日文漫畫文字辨識？一個新 OCR 模型的應用

對於許多漫畫讀者和開發者來說，準確辨識漫畫中的文字一直是一項挑戰。最近，一個專為日本漫畫微調的 AI 文字辨識（OCR）模型，將辨識準確率從 27% 提升至 70%，為漫畫翻譯和相關應用提供了新的可能性。

對於喜歡直接閱讀原文漫畫的讀者來說，語言隔閡往往是第一個挑戰。而對於想透過工具輔助閱讀或進行翻譯的人來說，如何讓電腦準確「讀懂」漫畫中的文字，則是一個重要的技術問題。

這背後的核心技術，稱為光學字元辨識（Optical Character Recognition, OCR）。雖然現今的 OCR 技術在處理標準文件時已相當成熟，但一旦應用場景換成漫畫，就會面臨許多困難。

為什麼辨識漫畫文字這麼困難？

漫畫的文字呈現方式與一般文件有很大的不同，這為 OCR 技術帶來了幾個主要的挑戰：

• 多變的字體風格： 漫畫家常會使用各種藝術字體來傳達角色的情緒或聲音的張力，這些非標準化的字體對電腦來說難以辨識。
• 不規則的排版： 對話框內的文字可以是直書、橫書，甚至傾斜排列，增加了定位和辨識的複雜度。
• 複雜的背景干擾： 文字經常疊加在豐富的畫面或效果線上，不像白紙黑字那樣清晰分明。
• 特殊的漫畫符號： 大量的擬聲詞和效果字是漫畫獨有的表達方式，通用型的 OCR 模型通常沒有針對這些內容進行訓練。

因為這些因素，大多數通用的 OCR 工具在處理漫畫時，辨識結果的準確率並不理想。

專為漫畫設計的 PaddleOCR-VL-For-Manga 模型

為了解決這個問題，有開發者針對日本漫畫的特性，推出了一個名為「PaddleOCR-VL-For-Manga」的特製 AI 模型。

這個專案的基礎是百度 PaddlePaddle 團隊所開發的視覺語言模型 PaddleOCR-VL。為了讓它能更好地適應漫畫場景，開發者進行了所謂的「微調」（Fine-tuning），也就是用特定領域的資料對模型進行額外訓練。

訓練資料主要來自 Manga109-s 資料集，並輔以 150 萬個額外生成的合成樣本。透過這些專門的漫畫資料，模型得以學習如何辨識漫畫中各種特殊的文字風格和版面配置。

關於 Manga109-s 資料集

Manga109 是一個由學術機構彙編、包含 109 部日本漫畫的研究用資料集。其中的 Manga109-s 子集特別授權可用於商業開發，為相關應用的研究提供了寶貴的資源。

辨識成果：準確率從 27% 提升至 70%

經過這次專門的微調，模型的表現有了顯著的提升。

根據開發者公布的資訊，原版模型在漫畫上的完整句子辨識準確率約為 27%，而經過微調的「PaddleOCR-VL-For-Manga」模型，準確率則提高到了 70%。這項進展意味著，模型能更完整地辨識出對話框中的句子，而不僅僅是零碎的單詞。

新模型在處理漫畫對話泡泡和風格化字體方面表現不錯。不過，開發者也指出，模型在區分「全形」與「半形」字元時仍有改善空間。儘管如此，這依然是漫畫 OCR 技術領域一個值得關注的發展。

如何使用這個模型？

這個模型是開源的，對這項技術感興趣的開發者可以在 Hugging Face 平台上找到它。

使用者可以透過 Transformers、PaddleOCR 或其他支援 PaddleOCR-VL 的程式庫來調用這個模型。開發者建議，若要處理有固定版面的文件，可以嘗試將其與 PP-DocLayoutV2 佈局分析工具結合使用，但同時也提醒，漫畫的版面配置與標準文件存在差異。

這項技術的潛在應用

這類技術的進步，為許多領域帶來了實用的價值：

• 輔助漫畫翻譯： 翻譯團隊可以利用此工具進行初步的文字抓取，再由人工進行專業的翻譯和潤飾，有助於提高工作效率。
• 開發語言學習工具： 未來或許能看到更多結合 OCR 技術的應用，例如透過手機拍攝漫畫即可即時翻譯，輔助日語學習者。
• 促進學術文本分析： 研究人員可以更便利地從大量漫畫中提取文本資料，進行語言學或文化研究的分析。

總體來看，這個專為漫畫微調的 OCR 模型，展示了 AI 技術在特定應用場景下的潛力。它為解決一個長期的技術挑戰提供了有效的思路，也為漫畫相關的數位化應用帶來了更多的可能性。