Verus-SpecGym: An Agentic Environment for Evaluating Specification Autoformalization
Verus-SpecGym: 用于评估规范自动形式化的智能体环境
机构 * CMU(卡内基梅隆大学) ; Amazon(亚马逊)
专题命中 代码评测 :coding agent(abstract);分类 cs.SE、cs.CL、cs.AI
AI总结 提出 Verus-SpecGym 环境与 Verus-SpecBench 基准,通过执行规范机制和对抗性测试评估 LLM 智能体将非正式编程问题转化为形式规范的能力,发现前沿模型可解决 77.8% 的任务但存在遗漏假设等脆弱性。
Comments Preprint