Problem

現有的資料科學評測工具存在明顯斷層：符號推理測試往往缺乏真實的數據處理流程，而數據分析測試則缺乏嚴謹的因果邏輯結構。此外，現有數據集多依賴固定模板，多樣性不足且容易讓模型陷入「因果鸚鵡」的記憶誤區，難以檢驗其是否具備真正的邏輯洞察力。

Method

開發名為 CausalDS 的基準測試框架，結合隨機生成的結構化因果模型（SCM）與基於現實領域的自然語言故事，並整合真實世界的數據分布。該框架涵蓋了 Pearl 因果階梯的三個層級，要求模型在面對不完美觀測數據時，必須透過編寫程式、調用工具進行推理，並具備量化不確定性及在無解時「拒絕回答」的機制。

Results

CausalDS 成功建立一套綜合評量體系，能同時檢驗大語言模型在符號推理、資料科學編碼、工具調用以及面對不確定性時的判斷能力。這項測試顯示，模型在處理複雜因果任務時，必須有效整合抽象邏輯與實務操作，才能在具有挑戰性的合成場景中達成目標。

Significance

這項研究填補了 AI 代理人在因果推理與實際資料科學操作之間的空白。透過完全合成但具備經驗結構的數據生成方式，能有效防範模型僅憑記憶作答，對於開發具備科學理解力與可靠決策能力的自主 AI 系統具有指標性的貢獻。