長度自適應解碼技術：透過 Entropy-Valley 提升遮罩擴散機器翻譯的精準度

本研究開發出無需訓練的 Entropy-Valley 機制，解決遮罩擴散機器翻譯預先設定長度的難題。實驗證實其在中英翻譯表現優異，甚至能與 LLaMA-3 等大型自迴歸模型抗衡。

Problem

遮罩擴散語言模型（dLLM）在進行機器翻譯時，面臨「固定畫布」的技術瓶頸，即必須在去噪處理前先決定目標句子的長度。過去研究多聚焦於如何優化遮罩解除的順序，卻忽略了長度預測若不精確，會直接導致翻譯內容缺失或產生冗餘資訊，嚴重影響翻譯品質。

研究團隊提出一種名為「Entropy-Valley (EV)」的長度選擇器。這是一項無需額外訓練的技術，透過全遮罩的前向傳遞過程計算平均預測熵（Predictive Entropy），為不同的候選長度進行評分。EV 會自動選擇該模型最「有把握」填寫、預測信心度最高的畫布長度作為解碼基準。

實驗結果顯示，EV 在英中、中英與英德翻譯任務中，顯著收復了與參考長度基準間的 COMET-22 分數差距。專家評估指出，EV 系統在中英翻譯的充分性上表現強勁，在相同微調資料下，其效能與 LLaMA-3-8B 自迴歸模型旗鼓相當，甚至在中翻英任務中取得領先。

此研究揭示了在遮罩擴散機器翻譯中，「如何決定目標長度」比「決定先揭露哪些詞彙」更為關鍵。EV 提供了一種高效且不需重新訓練的方案，不僅提升了非自迴歸模型的翻譯品質，也為擴散模型在自然語言處理領域的實務應用開拓了新方向。