Problem

目前大型語言模型在高中或奧數層級表現優異，但在處理大學及博士研究等級的高階數學證明時，缺乏完善的評測基準。既有評測多依賴最終答案的正確性，難以深入檢驗推導過程的邏輯嚴密性，導致無法準確衡量模型的進階推理能力。

Method

研究團隊開發了 AdvancedMathBench 基準測試，包含兩大核心：ProverBench 收錄 296 道涵蓋大學至博士資格考難度的證明題；VerifierBench 則提供 888 條模型產生的推導路徑。此外，團隊利用專家標註訓練出一套自動驗證管線，可針對證明過程提供細粒度的錯誤判別與評分。

Results

實驗顯示，即便是最強大的模型 GPT-5.5-xhigh，在大學與博士難度的得分也僅分別為 75.8 與 66.1，顯示高階數學證明仍具高度挑戰。在驗證任務中，模型普遍難以精確偵測邏輯錯誤，其 Balanced F1 分數僅達 65.1，真陰性率（True Negative Rate）表現低迷。

Significance

本研究填補了 AI 在高階科學領域評測的空白，並提供一套具高度可信度的自動化評估標準。這不僅有助於量化頂尖模型的推理極限，也為未來開發具備嚴謹邏輯查核能力的 AI 數學助手奠定了重要基礎。