PolicyGuide：透過工作流引導強化大型語言模型代理人的合規性，實現精準自動化客服

本研究提出 PolicyGuide 架構，將組織政策轉化為工作流圖表，主動引導 LLM 代理人遵循多步驟程序。實驗證明其能顯著提升合規成功率，並有效應對對抗性攻擊。

Problem

現有的客戶服務 LLM 代理人常因違反組織政策（執行禁止動作）或遺漏程序要求（如身分驗證）而失職。目前的運行防護措施多針對單一動作進行檢查，難以在複雜的多步驟流程中引導代理人持續達成合規要求。

PolicyGuide 將各領域政策編譯為工作流圖表，並在對話回合交替時啟動主動驗證器。透過記錄圖表狀態，驗證器能協調待處理請求，並沿著符合政策的路徑提供具體的步驟建議與補救措施，引導代理人完成任務。

在包含航空、零售與電信領域的 τ^2-bench 測試中，PolicyGuide 將 GPT 代理人的平均 Pass^4 分數從 0.42 提升至 0.62，其中在結構最複雜的電信領域進步最為顯著。此架構亦成功遷移至 Claude 與 Gemini 模型，並在對抗性攻擊下展現極低的攻擊成功率。

此項研究克服了 LLM 在執行複雜程序時容易偏離軌道的難題。藉由將靜態政策轉化為動態導航，PolicyGuide 為建構更安全、可靠且具備政策意識的自動化企業服務流程提供了標準化的解決方案。