Problem
現有的 SAR 轉 EO(光學影像)技術大多沿用預訓練於自然影像的潛在空間編解碼器(Codec),忽略了跨模態影像重建的保真度差異,導致生成結果難以精確保留 SAR 的原始條件與 EO 的目標細節,造成影像特徵失真。
Method
開發 ReFlowSET 框架,首先透過聯合 SAR-EO 重建審計挑選最適編解碼器,並捨棄沉重的大型預訓練生成器,改採輕量化 DiT 從頭訓練。訓練過程引入凍結的視覺基礎模型,將雜訊中的 EO 特徵與目標表徵進行對齊,以強化語義引導,且此對齊機制僅限訓練階段,不增加推理負擔。
Results
在 QXS-SAROPT 與 SAR2Opt 等公開數據集上,本方法在感知保真度及分布指標等多項維度均超越現有模型。實驗證明,即便使用較小規模的網路結構,透過精確的表徵對齊與特徵優化,也能實現超越當前技術(SOTA)的生成品質。
Significance
本研究突破了傳統依賴自然影像預訓練模型的框架限制,證明了專為特定模態設計的編解碼器選擇與語義對齊機制,能有效解決遙測影像轉換中的跨模態一致性難題,對於軍事偵察、國土監測及環境變遷分析具有高度的應用價值。