PlanBench-XL：挑戰大型工具生態系，評估大語言模型長程規劃與動態應變能力的新基準

本研究推出 PlanBench-XL 基準測試，涵蓋逾 1,600 種工具，透過零售場景評估 LLM 代理人在動態環境下的檢索、長期規劃與故障恢復能力，揭示當前模型在面對工具失效時的脆弱性。

Problem

現有的基準測試大多侷限於工具數量有限的環境，難以評估大語言模型（LLM）代理人在具備海量工具的生態系中，如何自主發現工具、推論隱含子目標，並在長時間跨度的任務中應對動態環境的變化。

團隊開發了 PlanBench-XL 互動式基準測試，包含 327 項零售任務與 1,665 個工具，要求代理人必須反覆檢索並調用工具以取得中間證據。該框架更設計了「阻礙機制」，模擬現實中工具缺失、失效或功能干擾等不可控因素，強制代理人進行動態路徑調整。

實驗顯示在大型工具環境下進行規劃仍極具挑戰。領先模型 GPT-5.4 在無干擾環境下準確率為 51.90%，但在嚴重阻礙下驟降至 11.36%。分析指出，當失效缺乏明確錯誤訊號，或補救方案需要更長的工具鏈結時，模型表現最為脆弱。

PlanBench-XL 為診斷代理人規劃失敗提供了關鍵的實驗場域。研究結果強調了在不完美且複雜的工具環境中，LLM 亟需發展更具韌性且能隨機應變的長程規劃能力，這對於將 AI 代理人應用於現實大規模系統至關重要。