Problem

現行作業系統介面專為人類視覺（像素、圖示、視窗）設計，導致 AI 代理被迫依賴螢幕截圖、OCR 及視覺裁剪來理解環境。這種做法不僅造成 Token 消耗成本過高、視覺歧義與高延遲，更面臨座標定位不準確的挑戰，限制了代理執行任務的穩定性。

Method

研究團隊提出 LUMOS 語義互動層，將原生無障礙中介資料（Accessibility Metadata）與瀏覽器 UI 結構轉換為機器可讀的藍圖，包含穩定的識別碼、角色、名稱與數值。系統透過自動化 API 支援即時的語義指標對齊，並讓大型語言模型（LLM）在受限的 UI 原語下，透過「觀察－行動」循環進行精確操作。

Results

LUMOS 成功將雜亂的視覺資訊轉化為具備結構化的機器語義，顯著降低了 AI 對螢幕截圖的依賴。透過穩定的標識符與動作支持，AI 代理能更可靠地獲取 UI 狀態回饋，並在不依賴特定應用程式腳本的情況下，達成高效且精確的跨平台操作。

Significance

此研究為開發「AI 原生作業系統」指引了新方向。透過現有的無障礙架構建立機器讀取層，不僅提升了 AI 代理的執行效率，更大幅降低了運算資源需求，是實現下一代自動化人機互動介面的關鍵進展。