強化 GUI 代理程式應變能力：EvoSkill-GUI 透過「反思、修正、重用」實現無須訓練的技能演化機制

Problem

目前的 GUI 代理程式在執行長程任務時，經常面臨彈出式視窗、載入延遲或元件位置變動等動態干擾，導致預先設定的靜態計畫失效。現有的技能框架大多將技能視為部署前產出的固定產物，缺乏在執行階段根據環境回饋進行自我調整與持續演化的能力。

Method

研究團隊開發了 EvoSkill-GUI，這是一個無須訓練的演化框架。它將技能封裝為包含執行計畫、失敗恢復規則與元資料的結構化多檔案套件。系統運作核心為「反思—修正—重用」循環：執行器進行即時修正，獨立的評論機制負責診斷失敗軌跡，並透過受限的工具介面編輯技能檔案，使技能從靜態產物轉化為可進化的程序知識。

Results

在 MobileWorld、AndroidWorld 及 OSWorld 等主流行動與桌上型電腦基準測試中，EvoSkill-GUI 在完全不進行模型訓練的前提下，將各類基準模型的效能分別提升了 16.2%、6.0% 與 10.5%。此外，演化後的技能庫具備遷移性，能持續造福相關任務而無須從零開始建構。

Significance

這項研究挑戰了「更強大的代理程式需要更好的靜態技能」之觀點，證明透過結構化回饋與執行時期的自我修正，能賦予代理程式應對動態環境的彈性。這為開發具備自我進化能力、能適應複雜現實操作環境的自動化介面工具提供了一套高效且低成本的解決方案。