Problem

處理圖表影像、表格資料及視覺化程式碼時,跨表徵轉換面臨一對多關係的複雜性。此外,人工標註成本高昂,且現有模型缺乏能兼顧不同表徵、具備方向適應性且不侷限於特定任務的通用優化信號。

Method

提出 CoCoEvolve 框架,定義明確的一對一對應關係,並利用表徵間的協同一致性進行優化。該方案包含訓練階段的循環演化(CoCoEvolve@Train)以及推理階段的測試時協同優化(CoCoEvolve@Test),並同步推出涵蓋六項跨表徵任務的評估套件 CoCoEvolve@Eval。

Results

在四個基準測試的實驗顯示,CoCoEvolve 在訓練與推理階段皆能有效提升效能。該方法在不需要額外人工標註的情況下,成功增強了模型在圖表、表格與程式碼循環轉換中的準確性與一致性。

Significance

此研究為多模態 AI 系統提供了一種具備通用性的自監督學習方案,打破了傳統任務特定目標的限制。這對於降低資料標註成本、提升自動化資料視覺化及跨模態數據分析的精準度具有重要的實務貢獻。