代码大模型 / AI 编程

Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?

评估 AGENTS.md：仓库级上下文文件对编码助手有帮助吗？

Thibaud Gloaguen, Niels Mündler, Mark Müller, Veselin Raychev, Martin Vechev

机构 * Department of Computer Science（计算机科学系） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 软件智能体 ：repository(title,abstract)；coding agent(title,abstract)；分类 cs.SE、cs.AI

AI总结 通过SWE-bench任务和开发者提交的上下文文件，评估发现上下文文件并未普遍提升编码助手的任务成功率，反而平均增加20%以上的推理成本。

Alipay-PIBench: A Realistic Payment Integration Benchmark for Coding Agents

支付宝-PIBench：用于编码代理的现实支付集成基准测试

Shiyu Ying, Xuejie Cao, Yingfan Ma, Yuanhao Dong, Wenyu Chen, Bowen Song, Lin Zhu

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；repository(abstract)；分类 cs.SE、cs.AI

AI总结 研究旨在评估编码代理在支付宝支付集成任务中的表现，引入支付宝-PIBench基准测试，含九个产品项目和18个任务实例，分不同场景。通过评估六个编码代理模型得出评分通过率，发现有技能条件下RPR提升，为诊断模型能力和评估支付集成指导提供可控环境。

Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents?

性能优化基准测试是否可靠地衡量编码智能体？

Zhi Chen, Zhensu Sun, Yuling Shi, David Lo, Lingxiao Jiang

机构 * Singapore Management University（新加坡管理大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；repository(abstract)；分类 cs.SE、cs.AI

AI总结 本研究审计了三个仓库级性能优化基准（GSO、SWE-Perf、SWE-fficiency），发现参考补丁的可复现性差、评分规则导致排名不一致，且多数任务已被公开提交解决，揭示了聚合排名掩盖的性能差距。

Comments 12 pages, 7 figures. Public data: https://github.com/chenzhi-cz/performance-optimization-benchmark-reliability

Configuration Smells in AGENTS.md Files: Common Mistakes in Configuring Coding Agents

AGENTS.md 文件中的配置异味：配置编码代理的常见错误

Helio Victor F. dos Santos, Vitor Costa, Joao Eduardo Montandon, Luciana Lourdes Silva, Marco Tulio Valente

专题命中 软件智能体 ：coding agent(title,abstract)；repository(abstract)；分类 cs.SE

AI总结 本文首次系统化编码代理配置文件（AGENTS.md/CLAUDE.md）的异味，通过灰文献综述和仓库挖掘识别出六种异味，并在100个开源仓库中验证其普遍性，其中Lint Leakage最常见（62%）。

Journal ref 26th IEEE International Conference on Source Code Analysis and Manipulation (SCAM 2026)

SW-$A^2$-Bench: Benchmarking Autonomous Software Agent Generation for Agentic Web

SW-$A^2$-Bench: 面向智能体网络的自主软件智能体生成基准测试

Linyao Chen, Bo Huang, Qinlao Zhao, Shuai Shao, Zhi Han, Zicai Cui, Ziheng Zhang, Guangtao Zeng, Wenzheng Tang, Yikun Wang, Yuanjian Zhou, Zimian Peng, Yong Yu, Weiwen Liu, Hiroki Kobayashi, Weinan Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； The University of Tokyo（东京大学） ； Huazhong University of Science and Technology（华中科技大学） ； Shanghai Innovation Institute（上海创新研究院） ； Nankai University（南开大学） ； Singapore University of Technology and Design（新加坡科技设计大学） ； Queen’s University（女王大学） ； Fudan University（复旦大学） ； Zhejiang University（浙江大学） 纠错

专题命中 软件智能体 ：software agent(title,abstract)；coding agent(abstract)；分类 cs.AI

AI总结 提出首个软件智能体生成基准SW-$A^2$-Bench，通过编码智能体自动将代码仓库转化为自主软件智能体，评估生成智能体的忠实性与互操作性，以扩展智能体网络规模。

REAP: Automatic Curation of Coding Agent Benchmarks from Interactive Production Usage

REAP：从交互生产使用自动整理编码代理基准

Smriti Jha, Matteo Paltenghi, Chandra Maddila, Vijayaraghavan Murali, Shubham Ugare, Satish Chandra

机构 * Meta, USA（Meta公司） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 REAP通过自动化流程从真实开发者与代理交互中构建生产基准，解决评估信号不可靠问题，通过LLM分类和多轮稳定性检查确保基准可信。

Comments Accepted at ASE 2026 Industry Showcase

Don't Blame the Large Language Model: How Agent Harness Evolution Shapes Coding Agent Quality

不要责怪大语言模型：脚手架演化如何塑造编码代理质量

Oussama Ben Sghaier, Hao Li, Bram Adams, Ahmed E. Hassan

机构 * Queen’s University Canada（加拿大女王大学） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 研究编码代理中脚手架演化对其质量的影响。通过固定模型、仅改变脚手架，对Qwen Code CLI的35个连续版本进行评估，追踪质量波动与开发模式及架构组件的关系。

ClayBuddy: A Framework, Evaluation, & Mitigation of Coding Agent Failures

AgentArmor：编码代理失败的框架、评估与缓解

Kenneth Ge, Andre Assis

机构 * Anthropic Fellows Program（Anthropic Fellow 项目） ； Constellation 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE、cs.LG

AI总结 提出AgentArmor框架，通过系统提示增强、命令分类器、三振政策等机制，缓解编码代理因规范不足、能力错误和工具错误导致的失败，显著提升安全性。

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

作为编码智能体基础模型中间训练的函数感知中间填充

Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； University of British Columbia（英属哥伦比亚大学） ； NVIDIA（英伟达公司） ； Verdent AI（Verdent人工智能公司） ； Vector Institute（向量研究所） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对编码智能体将外部工具返回集成到推理中的问题，利用函数感知中间填充进行中间训练，在多个模型上提升了性能，并减轻了后训练对非智能体编码等基准测试的能力侵蚀。

GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments

GameEngineBench：在真实C++运行时环境中评估编码智能体

Brian La, Sejoon Chang, Ben Kim, Junyoung Bae, Aamish Ahmad Beg, Sei Chang, Gonzalo Gonzalez-Pumariega, Kanav Goyal

机构 * Nitrode ； Nexon Intelligence Labs ； Dartmouth University（达特茅斯大学） ； Columbia University（哥伦比亚大学） ； Cornell University（康奈尔大学） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE、cs.CL

AI总结 研究利用GameEngineBench在虚幻引擎5项目中评估编码智能体，核心方法是构建来自九个真实游戏仓库的基准测试集，主要贡献是揭示智能体在实时交互软件的C++开发中面临挑战，凸显游戏引擎基准测试的价值。

TraceLab: Characterizing Coding Agent Workloads for LLM Serving

TraceLab: 表征用于LLM服务的编码代理工作负载

Kan Zhu, Mathew Jacob, Chenxi Ma, Yi Pan, Stephanie Wang, Arvind Krishnamurthy, Baris Kasikci

机构 * University of Washington（华盛顿大学） ； Wuhan University of Technology（武汉理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过收集4300个编码代理会话（含35万LLM步骤和43万工具调用）的真实轨迹，分析发现长自主循环、长上下文短输出、多样化重尾工具调用及高但不完美前缀缓存命中率等特征，为优化服务提供具体方向。

Confident and Wrong: Silent Semantic Failures in Coding Agents

自信且错误：编码智能体中的无声语义失败

Aman Mehta

机构 * Snowflake AI Research（Snowflake AI研究院） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE、cs.AI

AI总结 本文揭示编码智能体在任务完成率与可信度之间存在系统性偏差，提出“无声语义失败”这一危险模式，并建议通过多次运行的测试验证正确率来评估智能体。

Comments 8 pages, 8 figures. Request: please change the primary category to cs.AI

Resilient Write: A Six-Layer Durable Write Surface for LLM Coding Agents

抗挫写入：一种六层耐用写入表面用于大语言模型编码代理

Justice Owusu Agyemang, Jerry John Kponyo, Elliot Amponsah, Godfred Manu Addo Boakye, Kwame Opuni-Boachie Obour Agyekum

机构 * Sperixlabs, Ghana（塞普里克斯实验室，加纳） ； Kwame Nkrumah University of Science and Technology, Kumasi, Ghana（库马西技术大学，加纳） ； VIA Cybersecurity Lab, Kwame Nkrumah University of Science and Technology, Kumasi, Ghana（VIA网络安全实验室，库马西技术大学，加纳） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE、cs.AI

AI总结 本文提出Resilient Write，通过六层耐用写入表面提升编码代理在文件写入时的容错能力，减少恢复时间并提高自我纠正率。

PolicyGuard: Prompt-Configurable Semantic DLP for LLM Coding Agents

PolicyGuard：面向LLM编码智能体的可配置提示语义数据防泄漏方案

Kyutae Park, Jungwon Kim, Daeyeol Shim

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE

AI总结 针对LLM编码智能体的PolicyGuard框架，以自然语言策略文件引导LLM分类用户提示，在冻结测试集和隐藏保留集上表现优异，泛化与跨模型能力突出。

Comments This paper is being withdrawn because it was submitted prior to completion of a required institutional review process. The authors intend to resubmit after the review is complete

Same Task, Different Work: Prompt-Induced Waste in Coding Agents

提示词诱导的大推理模型浪费：一项预注册的双框架编码智能体基准测试

Sarel Weinberger, Amir Hozez

机构 * PointFive 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.CL

AI总结 该研究通过预注册基准测试发现，提示词措辞和智能体框架会大幅影响大推理编码智能体的成本，部分提示指令可成倍增加推理成本却不提升任务成功率，框架选择的成本差异更显著。

CodeRescue: Budget-Calibrated Recovery Routing for Coding Agents

CodeRescue：用于编码智能体的预算校准恢复路由

Qijia He, Jiayi Cheng, Chenqian Le, Rui Wang, Xunmei Liu, Yixian Chen, Jie Mei, Zhihao Wang, Xupeng Chen, Yuhuan Chen, Tao Wang

机构 * University of Washington（华盛顿大学） ； New York University（纽约大学） ； ByteDance（字节跳动） ； Amazon（亚马逊） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.AI

AI总结 研究编码智能体失败后的预算部署问题，核心方法是将其制定为异构动作上的恢复路由并训练监督路由器，添加CRC层实现预算变化下的成本控制，主要贡献是校准前沿在多个方面优于基线，节省恢复成本。

Comments Withdrawn at the request of ByteDance because the manuscript was submitted before completing the company's required internal review and approval process

Developer Experience with AI Coding Agents: HTTP Behavioral Signatures in Documentation Portals

与AI代码代理的开发者体验：文档门户中的HTTP行为签名

Oleksii Borysenko

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE

AI总结 本文研究AI代码代理对技术文档访问的影响，发现HTTP行为特征在文档门户中具有可识别性，提出改进开发者文档设计和反馈机制的实践方案。

Comments 9 pages, 2 figures

NEMO: Execution-Aware Optimization Modeling via Autonomous Coding Agents

NEMO: 通过自主编码代理实现执行感知的优化建模

Yang Song, Anoushka Vyas, Zirui Wei, Sina Khoshfetrat Pakazad, Henrik Ohlsson, Graham Neubig

机构 * Language Technologies Institute, School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, USA（语言技术研究所，计算机科学学院，卡内基梅隆大学，匹兹堡，PA，美国） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.AI

AI总结 提出NEMO系统，利用自主编码代理将决策问题的自然语言描述转化为可执行的数学优化实现，通过执行感知的架构和协调模式实现最先进的性能。

Comments Accepted at ICML 2026

CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation

CaP-X: 用于基准测试和改进机器人操作编码智能体的框架

Letian Fu, Justin Yu, Karim El-Refai, Ethan Kou, Haoru Xue, Huang Huang, Wenli Xiao, Guanzhi Wang, Dantong Niu, Fei-Fei Li, Guanya Shi, Jiajun Wu, Shankar Sastry, Yuke Zhu, Ken Goldberg, Linxi "Jim" Fan

机构 * nvidia ； stanford（斯坦福大学） ； cmu（卡内基梅隆大学） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.AI

AI总结 提出CaP-X框架，通过CaP-Gym交互环境和CaP-Bench评估，发现编码智能体依赖人工抽象，但通过扩展测试时计算可提升鲁棒性，并推出无需训练的CaP-Agent0和强化学习CaP-RL。

Type-Error Ablation and AI Coding Agents

类型错误消融与AI编码代理

Shriram Krishnamurthi, Matthew Flatt

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.PL

AI总结 通过消融实验研究AI编码代理在修复类型错误时，更详细的错误消息是否比简洁消息更有效，并发现详细错误消息提升修复能力，类型系统比仅测试失败报告更有帮助。

How can we assess human-agent interactions? Case studies in software agent design

如何评估人机交互？软件代理设计案例研究

Valerie Chen, Rohit Malhotra, Xingyao Wang, Juan Michelini, Xuhui Zhou, Aditya Bharat Soni, Hoang H. Tran, Calvin Smith, Ameet Talwalkar, Graham Neubig

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 软件智能体 ：software agent(title,abstract)；分类 cs.AI

AI总结 提出PULSE框架，通过用户反馈和模型预测结合评估人机交互，在15k用户实验中验证其能减少40%置信区间，并揭示基准测试与真实结果的差异。

Comments ICML 2026

Executable World Models for ARC-AGI-3 in the Era of Coding Agents

可执行世界模型在编码智能体时代的ARC-AGI-3应用

Sergey Rodionov

机构 * SingularityNET 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.AI

AI总结 提出一种编码智能体系统，通过维护可执行Python世界模型、验证观察、重构简化抽象和模型内规划，在ARC-AGI-3游戏中取得初步成果，GPT-5.5高推理下完全解决15个游戏。

Comments 13 pages. Accepted for publication at AGI-2026

Trust but Verify? Uncovering the Security Debt of Autonomous Coding Agents

信任但要验证？揭示自主编码代理的安全债务

A H M Nazmus Sakib, Dipayan Banik, Murtuza Jadliwala

专题命中 软件智能体 ：coding agent(title,abstract)

AI总结 本文利用AIDev数据集，通过大语言模型评判框架和人工分析，研究自主编码代理生成拉取请求中的安全代码异味。发现38.9%的请求含安全异味，供应链问题和硬编码凭证占比高，揭示了安全风险及开发者警惕性降低问题，强调需实施上下文感知安全护栏。

Comments Accepted at the KDD 2026 Workshop on Agentic Software Engineering (AgenticSE)

Ouroboros: A Self-Developing Frontier Coding Agent with Reviewed Core Evolution

Ouroboros：一种具有经审核的核心演化机制的自发展前沿编码智能体

Anton Razzhigaev, Andrei Gritsaev, Andrei Kaznacheev, Nikita Dragunov, Roman Yampolskiy, Andrei Kuznetsov

专题命中 软件智能体 ：coding agent(title)；分类 cs.SE、cs.AI

AI总结 本研究提出具有经审核核心演化机制的编码智能体Ouroboros，其在三个基准测试中均创最优结果，Hope部署为长期活体演化实验，同时需应对自发展带来的操作安全问题。

Where Is the Cost of Third-Party API Routers in Agentic Software Development?

代理软件开发中第三方 API 路由器的成本在哪里？

Donghao Fu, Jingxin Li, Xue Jiang, Yihong Dong

专题命中 软件智能体 ：repository(abstract)；coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 研究第三方 API 路由器在代理软件开发中的影响，通过实证研究编码代理中路由器端注入的四个干预级别，开发 SIDEL 框架评估代理，发现路由器端干预难测，客户端缓解措施未完全恢复控制，强调需提供商端输出完整性保证。

ScaleWoB: Guiding GUI Agents with Coding Agents via Large-Scale Environmental Synthesis

SimuWoB: 模拟真实世界移动应用以实现快速且保真的GUI智能体基准测试

Guohong Liu, Jialei Ye, Pengzhi Gao, Wei Liu, Jian Luan, Yunxin Liu, Yuanchun Li

机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） ； University of Electronic Science and Technology of China（电子科技大学） ； MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus团队） 纠错

专题命中 软件智能体 ：coding agent(title)；分类 cs.AI

AI总结 针对现有移动GUI智能体基准测试与现实应用之间的差距，提出全合成基准SimuWoB，通过鲁棒的虚拟环境生成框架合成高保真任务和环境，自动提供有效奖励，实现对复杂长程交互的高效可重复评估。

Agentic Synthesis against Counterexample-Supplemented Sketches

针对反例补充草图的智能合成

Muness Castle, Eric Rubeck

机构 * Independent（独立研究者） 纠错

专题命中 软件智能体 ：repository(abstract)；coding agent(abstract)；分类 cs.SE、cs.AI

AI总结 研究针对编码智能体修复失败示例易留隐患的问题，提出针对反例补充草图的智能合成方法，通过人类给出草图、智能体生成实现，依据反例修正并保留代码，经实验验证该方法能减少返工，承载审查策略。

Comments 32 pages, 5 displayed figures (4 distinct screenshots). Includes the CatSynth artifact supplement. Code and captured experiment artifacts: https://github.com/open-horizon-labs/counterexample-supplemented-sketches Clarifies the two-check CESS method and Developer change authority; adds the protocol-correct CatSynth rerun and replaces the prior withheld-case headline

LLM Agents Can See Code Repositories

LLM智能体能够查看代码仓库

Dongjian Ma, Silin Chen, Yufei Yang, Yuling Shi, Yanfu Yan, Xiaodong Gu

专题命中 软件智能体 ：repository(abstract)；coding agent(abstract)；分类 cs.SE

AI总结 研究多模态大语言模型在仓库级问题解决中利用视觉表示的效果，发现纯视觉方案降低精度，而结合视觉结构图可减少26%输入token并保持或提升精度。

Comments Accepted by ASE 2026. Our code and data are available at https://github.com/cslsolow/SeeRepo

TrajAudit: Automated Failure Diagnosis for Agentic Coding Systems

TrajAudit：智能体编码系统的自动化故障诊断

Minxing Wang, Xiaofei Xie, Yintong Huo

专题命中 软件智能体 ：repository(abstract)；coding agent(abstract)；分类 cs.SE

AI总结 针对仓库级编码轨迹中噪声多、上下文长的问题，提出TrajAudit框架，通过模式匹配过滤和测试报告先验知识辅助，实现高效故障诊断，在RootSE基准上定位准确率提升24.4个百分点，令牌消耗降低18%。

SWE-Perf: Can Language Models Optimize Code Performance on Real-World Repositories?

SWE-Perf：语言模型能否优化真实仓库中的代码性能？

Xinyi He, Qian Liu, Mingzhe Du, Lin Yan, Zhijie Fan, Yiming Huang, Yin Zheng, Zejian Yuan, Zejun Ma

专题命中 软件智能体 ：code generation(abstract)；repository(abstract)；分类 cs.SE

AI总结 提出SWE-Perf基准，用于系统评估LLM在真实仓库中的代码性能优化能力，通过140个实例评估发现现有模型与专家水平存在显著差距。

Comments Accepted by ICML 2026