Problem

傳統的連續語音合成模型在處理長文本生成時,容易面臨長期一致性不足、語音漂移以及生成內容不穩定的困境。此外,如何在維持高保真音質與強大情緒表現力的同時,進一步降低推理延遲以滿足即時應用需求,仍是現有技術的主要挑戰。

Method

研究團隊開發了具備 20 億參數的 dots.tts 模型,核心創新包含:首先,採用多目標訓練的 AudioVAE 建構具語義結構的連續語音空間。其次,在流匹配(Flow-matching)機制中引入全歷史條件約束。最後,應用無獎勵自校準後訓練(Reward-free self-corrective post-training)與 CFG 感知 MeanFlow 蒸餾技術來優化效能。

Results

dots.tts 在 Seed-TTS-Eval 基準測試中取得 SOTA 表現,中文與英文的詞錯率(WER)分別僅 0.94% 與 1.30%。在推論效率方面,透過蒸餾技術將首個封包延遲縮短至 54 毫秒,同時在音色克隆能力與情感表達深度上皆展現了極高的穩定性。

Significance

本研究不僅在學術指標上刷新紀錄,更透過 Apache 2.0 協議開放完整的訓練程式碼、預訓練及蒸餾後權重。這為開發者提供了一個高性能且可複現的語音合成基準,顯著推動了高品質 AI 語音應用的實務部署與後續研究進程。