GUICrafter：透過海量無標註截圖強化弱監督 GUI 代理程式，大幅提升跨設備適應性與視覺感知力

本研究提出 GUICrafter 框架，利用大規模無標註截圖進行弱監督學習，克服 GUI 代理程式資料獲取困難的痛點。僅需極少標註資料即可達到頂尖效能，顯著提升模型對細粒度元件的識別力。

Problem

當前圖形使用者介面（GUI）代理程式面臨資料稀缺挑戰，標註數據難以直接從網路大規模獲取且成本極高。這導致現有模型在跨設備推論上泛化能力不足，且對於細微 GUI 元件的視覺定位與感官理解能力仍有待加強。

提出名為 GUICrafter 的兩階段課程學習框架。第一階段從大量無標註的螢幕截圖與網頁中，利用 GUI 互動中固有的上下文信號學習視覺定位（Visual Grounding）；第二階段則僅使用極少量的高品質資料，透過強化學習（Reinforcement Learning）對模型進行微調與校準。

實驗證明，GUICrafter 僅需 UI-TARS 所用標註資料量的 0.1%，即可達到競爭力十足甚至更優異的效能。在相同規模的標註資料條件下，其表現亦超越了包含 GUI-R1 在內的所有先前先進方法。

此研究成功打破了開發 GUI 代理程式對昂貴人工標註的重度依賴，為解決智慧代理程式領域的資料瓶頸提供了全新路徑，並證明了利用弱監督學習提升跨平台 GUI 操作精確度的巨大潛力。