代码大模型 / AI 编程

OmniCode: A Benchmark for Evaluating Software Engineering Agents

OmniCode: 一个评估软件工程代理的基准

Atharv Sonwane, Eng-Shen Tu, Wei-Chung Lu, Claas Beger, Carter Larsen, Debjit Dhar, Simon Alford, Rachel Chen, Ronit Pattanayak, Tuan Anh Dang, Guohao Chen, Gloria Geng, Kevin Ellis, Saikat Dutta

机构 * Cornell University（康奈尔大学） ； Independent contributor（独立贡献者） ； UC Santa Barbara（加州大学圣巴巴拉分校） ； Jadavpur University（贾瓦伊普尔大学） ； New York University（纽约大学） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 本文提出OmniCode，一个涵盖更广泛任务类别的软件工程基准，旨在评估软件代理在不同软件开发方面的性能。

AgentKernelArena: Generalization-Aware Benchmarking of GPU Kernel Optimization Agents

AgentKernelArena: GPU核优化代理的通用化意识基准测试

Sharareh Younesian, Wenwen Ouyang, Sina Rafati, Mehdi Rezagholizadeh, Sharon Zhou, Ji Liu, Yue Liu, Yuchen Yang, Hao Li, Ziqiong Liu, Dong Li, Vikram Appia, Zhenyu Gu, Emad Barsoum

机构 * AMD 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出AgentKernelArena，一个用于评估GPU核优化代理的开源基准，通过隔离工作区和统一评分机制，测试代理在不同任务和硬件目标上的性能和通用化能力，发现大多数任务在正确性和编译效率上表现优异，但在PyTorch到HIP的转换任务中存在显著的正确性下降。

CommitDistill: A Lightweight Knowledge-Centric Memory Layer for Software Repositories

CommitDistill: 一种轻量级的知识导向内存层用于软件仓库

Divya Chukkapalli, Thejesh Avula, Aditya Aggarwal, Harsimran Singh, Amith Tallanki

机构 * Microsoft Corporation（微软公司） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出CommitDistill，一种轻量级的知识导向内存层，通过确定性正则表达式从本地git历史中提取类型化知识单元，并通过TF-IDF检索器进行检索，以提高软件仓库中历史信息的利用率。

SkillGenBench: Benchmarking Skill Generation Pipelines for LLM Agents

SkillGenBench: 评估LLM代理技能生成流水线的基准测试

Yifan Zhou, Zhentao Zhang, Ziming Cheng, Shuo Zhang, Qizhen Lan, Zhangquan Chen, Zhi Yang, QianyuXu, Ronghao Chen, Huacan Wang, Sen Hu

机构 * SJTU（上海交通大学） ； XJTU（西安交通大学） ； NUS（新加坡国立大学） ； QuantaAlpha（量子Alpha） ； THU（清华大学） ； SUFE（上海财经大学） ； NTU（国立.ntu） ； PKU（北京大学） ； UCAS（中国科学技术大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 本文提出SkillGenBench，一个用于评估LLM代理技能生成流水线的基准测试，通过统一可控的协议评估技能生成过程，涵盖任务条件生成和任务无关生成两种模式，以及基于仓库和文档的两种程序来源，揭示技能生成在不同数据源中的表现差异。

ScarfBench: A Benchmark for Cross-Framework Application Migration in Enterprise Java

ScarfBench：企业Java应用跨框架应用迁移的基准测试

Advait Pavuluri, Bridget McGinn, Ashita Saxena, George Safta, Srikanth Tamilselvam, Raju Pavuluri, Michele Merler, Baishakhi Ray, Rahul Krishna

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE

AI总结 本文提出ScarfBench，一个用于评估企业Java应用跨框架迁移行为保持性的基准测试，通过专家编写实现三元组，涵盖Spring、Jakarta EE和Quarkus框架，生成102个变体和204个定向重构任务，评估了五种最先进的编码代理，并揭示了不同框架方向和架构层的难度差异。

EvilGenie: A Reward Hacking Benchmark

EvilGenie: 一个奖励黑客基准

Jonathan Gabor, Jayson Lynch, Jonathan Rosenfeld

机构 * Cambridge Boston Alignment Initiative（剑桥波士顿对齐倡议） ； MIT FutureTech（麻省理工 FutureTech） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.LG

AI总结 本文提出EvilGenie基准，用于评估编程环境中奖励黑客问题，通过测试用例硬编码和测试文件编辑等方法检测奖励黑客行为，并验证了LLM判断在无歧义情况下的有效性。

Evaluating Tool Cloning in Agentic-AI Ecosystems

评估代理AI生态系统中的工具克隆

Taein Kim, David Jiang, Yuepeng Hu, Yuqi Jia, Neil Gong

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 研究通过大规模测量分析代理AI生态系统中工具克隆现象，发现高相似性区域普遍存在，60%的高Jaccard候选和85%的高ssdeep候选被验证为克隆，揭示工具克隆对生态系统多样性的影响。

Adaptive Fused Prior Transfer for Controllable Generative Image Compression

自适应融合先验传输用于可控生成图像压缩

Yifei Pei, Ying Liu, Nam Ling

机构 * Department of Computer Science and Engineering, Santa Clara University（计算机科学与工程系，圣克拉拉大学） 纠错

专题命中 代码评测 ：code model(abstract)

AI总结 本文提出了一种可控生成图像压缩方法AFP-GIC，通过自适应融合先验传输实现解码端的高质量重建，减少了延迟并降低了参数数量，同时在低比特率下提升了视觉质量。

Comments 19 pages, 10 figures. This work has been submitted to IEEE Access for possible publication. Code is available at https://github.com/yifeipet/AFP_GIC