Problem

當前 AI 模型雖能提供看似正確的引用，但約有 15.9% 的連結與論點不符。現有基準測試多包含標準答案，導致模型傾向於複製答案而非獨立驗證來源，難以真實反映模型在處理未知生物醫學問題時的忠實度與工具呼叫效能。

Method

提出 OpenBioRQ 基準測試，包含 12 個領域共 12,553 個生物醫學未解問題。該框架採多重工具呼叫的代理人（Agentic）模式，並以「開放式問題」測試模型的忠實度與適時拒答能力。難度定義基於實證結果，透過參考模型無法回答的問題來建構最困難的子集，並採用固定檢核表提升評分者一致性。

Results

在最困難的測試集中，最強大的模型（如 GPT-5.5）僅能解決約 60% 的問題，顯示基準測試具有高度區別性。研究發現「代理人崩潰」（Agentic Collapse）現象，即模型在面對極難問題時會停止使用工具。此外，引入評分檢核表後，評分者間的 Spearman 相關係數由 0.35 顯著提升至 0.82。

Significance

這是首個結合代理人設定與「無標準答案」未解難題的生物醫學基準測試。它不僅挑戰了前沿模型的效能極限，更揭示了工具呼叫在複雜任務中的邊際遞減問題，為開發更具可靠性與批判性思考能力的醫療 AI 代理人提供了重要的衡量指標。