OpenSkillEval：全面自動化評估大語言模型 Agent 的開放技能生態系，優化工作流選用策略

開發 OpenSkillEval 評估框架，透過自動生成的動態任務檢驗 LLM Agent 與開放技能的效果。研究發現技能效能深受模型與框架影響，並揭示熱門技能未必優於基準模型的現狀。

Problem

現有的 LLM 技能（結構化工作流指令）生態系缺乏評估標準，導致使用者難以判斷技能品質，亦不清楚不同模型與 Agent 框架在實際應用中如何與這些技能交互作用，使得成本與效能間的取捨變得困難。

建立 OpenSkillEval 自動化評估框架，跳脫靜態基準測試，針對簡報生成、網頁設計、海報製作、資料視覺化及報告生成等五大領域動態生成 600 多項任務。該框架彙整社群貢獻的 30 種技能進行受控實驗，系統性分析不同模型在統一任務設定下的表現。

實驗證明技能可用性並不等同於實際成效，其增強效果高度依賴底層模型與 Agent 框架的搭配。關鍵發現指出，許多社群熱門技能的表現甚至未能超越不使用技能的基準 Agent，顯示當前技能生態系存在效能不穩定的問題。

研究強調了動態且基於任務場景進行評估的必要性，並為開發者在設計、挑選與部署 LLM Agent 技能時，提供了具備實務價值的深度洞見與可參考的優化基準。