代码大模型 / AI 编程

An Agentic Evaluation Framework for AI-Generated Scientific Code in PETSc

面向AI生成科学代码的PETSc代理评估框架

Hong Zhang, Barry Smith, Satish Balay, Le Chen, Murat Keceli, Lois Curfman McInnes, Junchao Zhang

机构 * Argonne National Laboratory（阿贡国家实验室） 纠错

专题命中 代码评测 ：code generation(abstract)；coding agent(abstract)；分类 cs.AI

AI总结 本文提出petscagent-bench框架，通过代理评估代理的方式，评估AI生成的科学代码在正确性、性能、代码质量等方面的表现，揭示传统指标的不足。

Automating Skill Acquisition through Large-Scale Mining of Open-Source Agentic Repositories: A Framework for Multi-Agent Procedural Knowledge Extraction

通过大规模开源代理仓库挖掘实现技能自动化获取：一种多代理过程知识提取框架

Shuzhen Bi, Mengsong Wu, Hao Hao, Keqian Li, Wentao Liu, Siyu Song, Hongbo Zhao, Aimin Zhou

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 本文提出一种多代理过程知识提取框架，通过挖掘开源仓库获取高质量代理技能，结合安全治理和评估指标实现可扩展的知识获取，提升知识转移效率40%。

Generalizable End-to-End Tool-Use RL with Synthetic CodeGym

通用端到端工具使用强化学习与合成CodeGym

Weihua Du, Hailei Gong, Zhan Ling, Kang Liu, Lingfeng Shen, Xuesong Yao, Yufei Xu, Dingyuan Shi, Yiming Yang, Jiecao Chen

机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） 纠错

专题命中 代码评测 ：分类 cs.CL、cs.AI、cs.LG；repository(comments)

AI总结 本文提出CodeGym框架，通过合成多样化的多轮工具使用环境，提升LLM代理在不同任务配置下的泛化能力，实验显示Qwen2.5-32B-Instruct在OOD基准测试中准确率提升8.7个百分点。

Comments 24 pages. Accepted to ICLR 2026. Project repository: https://github.com/StigLidu/CodeGym