dots.tts徹底解説：離散トークンを排除した次世代オープンソースTTS音声合成モデル

離散トークンを捨て、オープンソース音声合成の新星へ――dots.ttsの完全連続アーキテクチャと実用テクニック

音声合成技術が発展して久しい今、限界に達しているのではないかと感じている人もいるかもしれません。正直なところ、オープンソースコミュニティに最近、非常に話題となっている新しい顔が登場しました。それは、小紅書（RedNote）が発表した「dots.tts」です。このモデルは最大20億（2B）パラメータを保持し、完全に連続（Fully Continuous）したアーキテクチャ設計を採用しています。これだけでは抽象的かもしれませんが、簡単に言えば、従来の一般的な離散トークンを完全に排除し、音声を前例のないほど滑らかで自然なものにしています。

この技術を自分で体験したい開発者は、dots.tts公式デモページを参照するか、dots.tts GitHubプロジェクトにアクセスしてソースコードを入手してください。このプロジェクトはApache-2.0ライセンスの下でオープンソース化されており、商用利用に対しても非常に友好的です。

それでは、この熱い議論を巻き起こしているシステムの秘密に迫ってみましょう。

なぜ離散トークンを捨てたのか？全プロセスアーキテクチャの秘密を解き明かす

従来の音声合成システムは、音響離散化（Quantization）技術を採用することがほとんどでした。これは、高画質なグラデーション画像を強制的に数色だけの8ビットのドット絵に変換するようなもので、不可避的に多くの詳細が失われていました。

dots.ttsの登場は、まさにこの痛点を解決するためのものです。テキストから直接連続的な音声潜在変数を生成する全プロセス設計を採用しています。全体の動作メカニズムは、いくつかの重要なコンポーネントの密接な連携の上に成り立っています。

まずは音声を担当するAudioVAEです。これは48kHzで動作するモジュールで、モノラル波形を連続的な潜在変数に圧縮することに特化しており、最終的な出力音声が極めて高い忠実度と詳細を維持することを保証します。次に言語モデルのバックボーン（Backbone）があり、これはQwen2.5-1.5B-Baseから初期化されています。特筆すべきは、この言語モデルが従来の音素（Phoneme）を処理するのではなく、直接BPEテキストを読み取り、それに対応する隠れ状態を生成する点です。

では、どのようにテキストと音声を結びつけるのでしょうか？ここで必要になるのが因果関係を持つセマンティックエンコーダー（Causal Semantic Encoder）です。これは音声の中から変化が激しく、細かすぎる音響的な詳細を取り除き、言語モデルが文章全体の意味と一貫性を理解することに集中できるようにします。最後に、自己回帰的フローマッチングヘッド（AR Flow-matching Head）に渡され、連続空間においてパッチごとの予測とノイズ除去が行われます。

この連続的なモデリング方式は、量子化による歪みの問題を完全に回避します。非常に賢いアプローチと言えます。

評価データが物語る：このモデルの真の実力

客観的なテストデータこそが、真の実力を反映するものです。Seed-TTS-Evalの総合評価において、このシステムはゼロショット音声クローニングにおいて際立った性能を見せています。

同規模のモデル、例えば1.5BパラメータのCosyVoice 3や1.7BのQwen3-TTSと比較して、dots.ttsは中国語テストセットでエラー率（WER）を0.94%まで下げ、平均的な話者類似度（SIM）は79.2にも達しました。これは同クラスのオープンソースモデルを凌駕するだけでなく、多言語テストでも極めて高い安定性を維持しています。

さらに驚異的なのは、Emergent-TTS-Eval評価における表現力です。文法的な複雑さが非常に高い文章に直面しても、65.7%という高いスコアを獲得し、有名な商用システムをも超えました。同時に、感情表現（Emotions）の項目でも72.7%という成績を残しました。これは、生成される音声がもはや冷たい機械音ではなく、語り口の抑揚や感情を捉えることができることを意味します。

3つのモデルバージョン：初心者はどれを選ぶべきか？

公式が提供する3つの異なる重みバージョンに直面し、開発者は困惑することがよくあります。自分に最適なモデルをどう選べばよいのでしょうか？分類は非常に明確です。

「最強の音声クローニング効果を得たいならどれを選ぶべきか？」という質問に対し、答えは迷うことなく、公式が最も強く推奨する「dots.tts-soar」です。このバージョンは自己修正アライメント（SCA）処理を経ており、音の再現度と安定性が最高です。

学術研究やアーキテクチャの検証であれば、基礎となる学習済みモデル「dots.tts-base」を選ぶのが良いでしょう。

デバイスの計算能力が限られている、あるいは生成速度を極限まで求めるなら、MeanFlow知識蒸留ベースの学生モデル「dots.tts-mf」を選べます。このバージョンはデフォルトでわずか4ステップのサンプリングで完了するため、非常に軽量で高速に動作します。

実践テクニック：よくある落とし穴を避けるために

理論を理解したら、次は実践です。システムを最大限に活用するために、操作上の細部を無視してはなりません。

ゼロショットクローニングを行う際、システムには主に2つのモードが用意されています。1つ目は「継続モード（Continuation Mode）」で、最も高い類似度を得るための第一の選択肢です。参考音声を与え、その音声に対応する正確なテキストを入力するだけで、モデルは元の話者のトーンを完璧に引き継いで話し続けます。2つ目は「X-vectorのみのモード（X-vector-only Mode）」で、参考音声を提供するだけで、モデルが自動的に話者の音色特徴を抽出して新しい内容を生成します。

プロンプト音声（Prompt Audio）を用意する際、長さは10秒程度に抑えるのがベストです。長いほうが良いと勘違いされがちですが、実は逆効果です。長すぎると生成プロセスを阻害する可能性があります。また、音質がクリアで背景雑音がないことを確認してください。

もう一つ、よくある悩みとして「モデルが多音字（読み方が複数ある漢字）を間違える」ことがあります。そんな時、根本のプログラムコードをいじってはいけません。最も簡単で効果的な解決策は、入力テキストの中でその文字を「声調記号付きのピンイン」に直接書き換えることです。例えば「好」を四声で発音させたい場合は「hào」と書きます。数字で標音を加えないように注意してください（hao4などは無効です）。必ず標準的な声調記号を使用してください。

生成された語気やリズムに不満がある場合、コマンド内の「–seed」の数値を変更するだけで、モデルは全く異なる抑揚を生成します。何度か試せば、必ず最も心地よいバージョンが見つかるはずです。

活発なコミュニティ支援と無視できない制限

オープンソースプロジェクトが長続きするかどうかは、コミュニティの活性度が鍵を握ります。現在、コミュニティはApple Silicon向けに最適化された専用バージョン（dots-tts-mlxやmlx-swift-dots-ttsなど）を開発しており、iOSやmacOSユーザーも簡単にデプロイできるようになっています。グラフィカルなインターフェースを好むクリエイターなら、対応するComfyUIの拡張ノードも見つかるはずです。

もちろん、どの技術にも制限はあります。底辺のBPEテキストモデルに依存しているため、データ量が少ないロングテール言語（例えばアラビア語、ヒンディー語、ベトナム語など）を処理する場合、音声の類似度は影響を受けませんが、文字エラー率は確かに高くなります。さらに、訓練データが音声に集中しているため、現時点では歌声や特殊な音響効果を生成する機能は備えていません。

最後に、強力なクローニング能力に伴い、無視できないのが安全と倫理の責任です。この技術が生成する音声は極めてリアルです。開発者は使用時に必ずAI生成のマークと透かしを入れるようにし、同意なしの偽造や詐欺行為には絶対に使用してはなりません。

dots.ttsは、音声生成分野に新しい思考の方向性をもたらしました。離散トークンを捨てることで音声の豊かな詳細を維持することに成功し、極めて高い類似度と感情表現を示したことで、未来の音声対話アプリケーションへの期待を膨らませています。

Q&A

Q1：dots.ttsとは何か？最大の特徴は？ A1：dots.ttsは、20億（2B）パラメータを保持する、完全連続で端から端までの自己回帰（AR）音声合成システムです。最大の革新は、プロセス全体で「離散トークン」を全く使用しない点にあります。アーキテクチャの底辺は、因果関係を持つセマンティックエンコーダー、Qwen2.5ベースの大型言語モデル（LLM）、および自己回帰的なフローマッチング音響頭を組み合わせ、48kHzのAudioVAEを組み合わせることで極めて高い音声忠実度を保証しています。

Q2：公式から3つの異なるモデルバージョン（base, soar, mf）がリリースされたが、どう選べばよいか？ A2：

• dots.tts-base：基本的な学習済みモデル。
• dots.tts-soar：自己修正アライメント（SCA）処理を経たバージョン。公式が最も推奨し、最強の音声クローニングと感情表現能力を持っています。
• dots.tts-mf：MeanFlow知識蒸留技術ベースの学生モデル。推論速度と計算消費を非常に気にする場合は、このバージョンを選択することをお勧めします。デフォルトでわずか4ステップのサンプリングで生成を完了できます。

Q3：音声クローニングを行う際、プロンプト音声（Prompt Audio）の長さはどれくらいが良いか？ A3：プロンプト音声の長さは 10秒程度 に抑えることをお勧めします。音声が長すぎても良い結果は得られず、計算能力を無駄にするだけです。また、音声の「文字稿（Prompt Text）」が実際に話している内容と完全に一致していることを確認しなければなりません。一致していないと、生成の安定性に影響を与え、語レベルのエラーを引き起こす可能性があります。

Q4：モデルが多音字を読み間違える場合、どうすればよいか？ A4：入力テキストの中で、その漢字を「声調記号付きのピンイン」に直接書き換えて発音を強制的に修正できます。例えば「好」を四声で読ませたい場合は「hào」と書きます。システムは正規の声調記号（hǎo, hàoなど）のみをサポートしており、数字での標音（hao4など）はサポートしていませんので注意してください。

Q5：生成されたリズムや音質に満足できない場合はどうすればよいか？ A5：コマンド内の「–seed」（乱数シード）の数値を変更してみてください。シード値が異なればリズムやイントネーションが全く異なるものが生成されるため、何度か試せば最適なバージョンが見つかるはずです。もし音質が理想的でないと感じるなら、「–num-steps」を上げてサンプリングステップを増やし、計算量を増やすことで、よりクリーンで表現力豊かな音質に変えられます。

Q6：dots.ttsは多言語や低遅延ストリーミングをサポートしているか？ A6：サポートしています。多言語や中英混在の処理では、「–language auto_detect」を使用してシステムに自動検出させるか、特定の言語（「EN」「ZH」など）を強制指定できます。また、システムアーキテクチャは低遅延のストリーミング生成をサポートしており、音声をチャンク単位で出力できるため、対話型言語モデルとの統合に非常に適しています。

Q7：dots.ttsの技術的な制限や、注意すべき倫理的リスクは？ A7：

• 技術的な制限： timbre（音色）のクローニング能力は極めて強力ですが、データ量が少ないロングテール言語（アラビア語、ヒンディー語、ベトナム語など）を処理する場合、文字エラー率（WER）が高くなります。また、現時点の訓練データは音声がメインであり、歌や特殊な音響効果を生成することはできません。
• 倫理的リスク： ゼロショット音声クローニングが極めてリアルであるため、公式は、使用時に「AI生成」であることを明確にマークすることを強く求め、同意なしでの偽造、詐欺、誤情報の拡散には絶対に使用してはならないと禁じています。プロジェクトはApache-2.0ライセンスでオープンソース化されており、研究および合法的に許可された商用展開に適しています。