讓視覺語言模型化身導師：透過測試時適應性優化提升影片推理能力

本研究將視覺語言模型轉型為「教師」，於測試階段透過動態獎勵機制引導影片生成模型進行輕量化優化，有效解決複雜影片推理任務中的邏輯失效問題。

Problem

現有的影片生成模型（VGM）雖然具備優異的視覺品質，卻往往難以精確理解並遵循特定的任務規則，導致在複雜的推理場景中出現邏輯失敗。此外，既有方法嘗試以視覺語言模型（VLM）作為規劃者，但純文字指令難以捕捉細微的時空細節，使得模型難以忠實執行細粒度的指令。

研究團隊提出將 VLM 的角色從「求解器」轉變為「教師」。利用 VLM 強大的感知與評估能力提取任務規則，並將其轉化為可微分的獎勵函數，在測試期間透過線上優化輕量化的 LoRA 模組來引導影片生成模型。這種策略使模型能在推理當下進行動態適應，突破了模型原有的邊界。

在 VBVR-Bench 與 RULER-Bench 等指標性基準測試中，此方法平均性能大幅提升了 16.7 分。相較之下，傳統「VLM 作為求解器」方案僅提升 0.4 分，而「Best-of-N」取樣僅提升 2.2 分，證明本方法在相近的運算成本下具有顯著的優越性。

這項研究揭示了將 VLM 整合為「測試時教師」的巨大潛力，為提升人工智慧對影片內容的深度邏輯推理能力開闢了新路徑，是實現具備泛化能力之影片推理系統的重要里程碑。