跨越最終答案：Trajel 框架深入稽核多代理人工業流程中的軌跡級幻覺

本研究推出 Trajel 評估框架，專注於稽核 LLM 代理人在工業工作流中的中間思考與行動軌跡，揭示了現行指標無法捕捉的五大幻覺類型及其複雜失效模式。

Problem

現有 LLM 幻覺評測多聚焦於最終輸出，卻忽略了代理人在「思考-行動-觀察」（Thought-Action-Observation）中間步驟可能產生的錯誤。這導致在多代理人參與的複雜工業流程中，許多起源於執行過程的潛在失效風險難以被精確偵測與定位。

研究開發了名為 Trajel 的資料集與評估框架，基於 AssetOpsBench 專家標記的代理人追蹤紀錄，定義出包含事實、參照、邏輯、程序及範圍等五大幻覺分類。團隊針對子任務、軌跡與長上下文層級，對多種監督式檢測模型進行了效能基準測試。

實驗顯示，近半數具備幻覺的軌跡同時包含多種類型，且現有基準測試往往遺漏最常見的失效模式。即使自動檢測器在二元分類表現良好，仍難以識別最微妙的幻覺類型；數據證實「軌跡感知檢測」的效能顯著優於傳統的事後驗證方法。

這項研究強調了建立細粒度分類法對於確保代理人部署安全性的必要性。透過 Trajel 框架，開發者能更有效地稽核與修正工業自動化流程中的推理錯誤，為建構更可靠、具備可解釋性的自主代理人系統奠定基礎。