Problem
長程搜尋代理程式在多次工具調用中會累積大量資訊,導致上下文預算吃緊。雖然「遮蔽過時觀測值」是一種常見且低度介入的管理手段,但學界尚不清楚這種策略在何時能發揮作用,以及其背後的運作機制為何。
Method
研究團隊針對多種骨幹模型規模(從 4B 到 284B 參數)與三種檢索器進行系統性評測。實驗涵蓋了離線與實時網路搜尋的代理程式基準測試,藉此分析觀察值遮蔽策略在不同模型容量與檢索品質下的表現差異。
Results
遮蔽策略帶來的準確度增長呈現「不對稱倒 U 型」:在檢索器效能較弱時表現持平;當強大的檢索器搭配中等容量的模型時,效果達到巔峰;然而在模型效能趨於飽和時,遮蔽反而會導致表現驟降。這顯示效能取決於檢索召回率與模型隱含過濾能力之間的權衡,而非單一因素。
Significance
本研究將上下文管理重新定義為一種受限於特定情境(Regime-dependent)的干預手段,揭示了「以 Token 換取回合數(Turns)」的權衡本質。這為分析深度搜尋代理程式如何利用上下文資訊提供了更全面的視角,並協助開發者判斷何時該採用遮蔽策略以優化效率。