解鎖自監督語音模型潛能：基於音韻特徵映射的高效切分與辨識技術

研究透過音韻活化映射（SPAM）驅動自監督模型，僅需不到一分鐘的標記資料，即可精確達成語音切分與辨識，並展現出卓越的跨音素泛化能力與運算效率。

Problem

語音切分（Segmentation）與辨識（Recognition）在性質上高度相關，但在現代模型中通常被視為獨立任務處理。此外，既有方法往往需要大量標註資料，且難以有效發掘自監督學習模型（S3M）中潛藏的音韻結構資訊。

提出「基於自監督模型的音韻活化映射（SPAM）」框架，將模型特徵映射至清濁音、鼻音等音韻特徵向量。在此基礎上，加入兩個輕量級且無需梯度下降的預測標頭（Prediction Heads），分別處理切分與辨識任務。此方法僅需少於一分鐘的語音轉錄資料即可完成部署。

實驗證明，該方法在多個樣態各異的資料集上均取得強大的切分與辨識效能。值得注意的是，該模型展現了優異的泛化性，能夠精確處理訓練階段未曾出現過的音素（Unseen Phones）。

本研究大幅降低了語音模型對於大規模標註資料的依賴，為資源匱乏語言的語音處理技術開啟新途徑，並證明了僅需簡單的映射機制，即可充分激發自監督模型內部的細粒度語音特徵。