代码大模型 / AI 编程

REAP: Automatic Curation of Coding Agent Benchmarks from Interactive Production Usage

REAP：从交互生产使用自动整理编码代理基准

Smriti Jha, Matteo Paltenghi, Chandra Maddila, Vijayaraghavan Murali, Shubham Ugare, Satish Chandra

机构 * Meta, USA（Meta公司） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 REAP通过自动化流程从真实开发者与代理交互中构建生产基准，解决评估信号不可靠问题，通过LLM分类和多轮稳定性检查确保基准可信。

Comments Accepted at ASE 2026 Industry Showcase

Don't Blame the Large Language Model: How Agent Harness Evolution Shapes Coding Agent Quality

不要责怪大语言模型：脚手架演化如何塑造编码代理质量

Oussama Ben Sghaier, Hao Li, Bram Adams, Ahmed E. Hassan

机构 * Queen’s University Canada（加拿大女王大学） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 研究编码代理中脚手架演化对其质量的影响。通过固定模型、仅改变脚手架，对Qwen Code CLI的35个连续版本进行评估，追踪质量波动与开发模式及架构组件的关系。

ClayBuddy: A Framework, Evaluation, & Mitigation of Coding Agent Failures

AgentArmor：编码代理失败的框架、评估与缓解

Kenneth Ge, Andre Assis

机构 * Anthropic Fellows Program（Anthropic Fellow 项目） ； Constellation 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE、cs.LG

AI总结 提出AgentArmor框架，通过系统提示增强、命令分类器、三振政策等机制，缓解编码代理因规范不足、能力错误和工具错误导致的失败，显著提升安全性。

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

作为编码智能体基础模型中间训练的函数感知中间填充

Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； University of British Columbia（英属哥伦比亚大学） ； NVIDIA（英伟达公司） ； Verdent AI（Verdent人工智能公司） ； Vector Institute（向量研究所） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对编码智能体将外部工具返回集成到推理中的问题，利用函数感知中间填充进行中间训练，在多个模型上提升了性能，并减轻了后训练对非智能体编码等基准测试的能力侵蚀。

GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments

GameEngineBench：在真实C++运行时环境中评估编码智能体

Brian La, Sejoon Chang, Ben Kim, Junyoung Bae, Aamish Ahmad Beg, Sei Chang, Gonzalo Gonzalez-Pumariega, Kanav Goyal

机构 * Nitrode ； Nexon Intelligence Labs ； Dartmouth University（达特茅斯大学） ； Columbia University（哥伦比亚大学） ； Cornell University（康奈尔大学） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE、cs.CL

AI总结 研究利用GameEngineBench在虚幻引擎5项目中评估编码智能体，核心方法是构建来自九个真实游戏仓库的基准测试集，主要贡献是揭示智能体在实时交互软件的C++开发中面临挑战，凸显游戏引擎基准测试的价值。

TraceLab: Characterizing Coding Agent Workloads for LLM Serving

TraceLab: 表征用于LLM服务的编码代理工作负载

Kan Zhu, Mathew Jacob, Chenxi Ma, Yi Pan, Stephanie Wang, Arvind Krishnamurthy, Baris Kasikci

机构 * University of Washington（华盛顿大学） ； Wuhan University of Technology（武汉理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过收集4300个编码代理会话（含35万LLM步骤和43万工具调用）的真实轨迹，分析发现长自主循环、长上下文短输出、多样化重尾工具调用及高但不完美前缀缓存命中率等特征，为优化服务提供具体方向。

Confident and Wrong: Silent Semantic Failures in Coding Agents

自信且错误：编码智能体中的无声语义失败

Aman Mehta

机构 * Snowflake AI Research（Snowflake AI研究院） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE、cs.AI

AI总结 本文揭示编码智能体在任务完成率与可信度之间存在系统性偏差，提出“无声语义失败”这一危险模式，并建议通过多次运行的测试验证正确率来评估智能体。

Comments 8 pages, 8 figures. Request: please change the primary category to cs.AI

Resilient Write: A Six-Layer Durable Write Surface for LLM Coding Agents

抗挫写入：一种六层耐用写入表面用于大语言模型编码代理

Justice Owusu Agyemang, Jerry John Kponyo, Elliot Amponsah, Godfred Manu Addo Boakye, Kwame Opuni-Boachie Obour Agyekum

机构 * Sperixlabs, Ghana（塞普里克斯实验室，加纳） ； Kwame Nkrumah University of Science and Technology, Kumasi, Ghana（库马西技术大学，加纳） ； VIA Cybersecurity Lab, Kwame Nkrumah University of Science and Technology, Kumasi, Ghana（VIA网络安全实验室，库马西技术大学，加纳） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE、cs.AI

AI总结 本文提出Resilient Write，通过六层耐用写入表面提升编码代理在文件写入时的容错能力，减少恢复时间并提高自我纠正率。

PolicyGuard: Prompt-Configurable Semantic DLP for LLM Coding Agents

PolicyGuard：面向LLM编码智能体的可配置提示语义数据防泄漏方案

Kyutae Park, Jungwon Kim, Daeyeol Shim

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE

AI总结 针对LLM编码智能体的PolicyGuard框架，以自然语言策略文件引导LLM分类用户提示，在冻结测试集和隐藏保留集上表现优异，泛化与跨模型能力突出。

Comments This paper is being withdrawn because it was submitted prior to completion of a required institutional review process. The authors intend to resubmit after the review is complete

Same Task, Different Work: Prompt-Induced Waste in Coding Agents

提示词诱导的大推理模型浪费：一项预注册的双框架编码智能体基准测试

Sarel Weinberger, Amir Hozez

机构 * PointFive 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.CL

AI总结 该研究通过预注册基准测试发现，提示词措辞和智能体框架会大幅影响大推理编码智能体的成本，部分提示指令可成倍增加推理成本却不提升任务成功率，框架选择的成本差异更显著。

CodeRescue: Budget-Calibrated Recovery Routing for Coding Agents

CodeRescue：用于编码智能体的预算校准恢复路由

Qijia He, Jiayi Cheng, Chenqian Le, Rui Wang, Xunmei Liu, Yixian Chen, Jie Mei, Zhihao Wang, Xupeng Chen, Yuhuan Chen, Tao Wang

机构 * University of Washington（华盛顿大学） ； New York University（纽约大学） ； ByteDance（字节跳动） ； Amazon（亚马逊） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.AI

AI总结 研究编码智能体失败后的预算部署问题，核心方法是将其制定为异构动作上的恢复路由并训练监督路由器，添加CRC层实现预算变化下的成本控制，主要贡献是校准前沿在多个方面优于基线，节省恢复成本。

Comments Withdrawn at the request of ByteDance because the manuscript was submitted before completing the company's required internal review and approval process

Developer Experience with AI Coding Agents: HTTP Behavioral Signatures in Documentation Portals

与AI代码代理的开发者体验：文档门户中的HTTP行为签名

Oleksii Borysenko

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE

AI总结 本文研究AI代码代理对技术文档访问的影响，发现HTTP行为特征在文档门户中具有可识别性，提出改进开发者文档设计和反馈机制的实践方案。

Comments 9 pages, 2 figures

NEMO: Execution-Aware Optimization Modeling via Autonomous Coding Agents

NEMO: 通过自主编码代理实现执行感知的优化建模

Yang Song, Anoushka Vyas, Zirui Wei, Sina Khoshfetrat Pakazad, Henrik Ohlsson, Graham Neubig

机构 * Language Technologies Institute, School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, USA（语言技术研究所，计算机科学学院，卡内基梅隆大学，匹兹堡，PA，美国） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.AI

AI总结 提出NEMO系统，利用自主编码代理将决策问题的自然语言描述转化为可执行的数学优化实现，通过执行感知的架构和协调模式实现最先进的性能。

Comments Accepted at ICML 2026

CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation

CaP-X: 用于基准测试和改进机器人操作编码智能体的框架

Letian Fu, Justin Yu, Karim El-Refai, Ethan Kou, Haoru Xue, Huang Huang, Wenli Xiao, Guanzhi Wang, Dantong Niu, Fei-Fei Li, Guanya Shi, Jiajun Wu, Shankar Sastry, Yuke Zhu, Ken Goldberg, Linxi "Jim" Fan

机构 * nvidia ； stanford（斯坦福大学） ； cmu（卡内基梅隆大学） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.AI

AI总结 提出CaP-X框架，通过CaP-Gym交互环境和CaP-Bench评估，发现编码智能体依赖人工抽象，但通过扩展测试时计算可提升鲁棒性，并推出无需训练的CaP-Agent0和强化学习CaP-RL。

Type-Error Ablation and AI Coding Agents

类型错误消融与AI编码代理

Shriram Krishnamurthi, Matthew Flatt

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.PL

AI总结 通过消融实验研究AI编码代理在修复类型错误时，更详细的错误消息是否比简洁消息更有效，并发现详细错误消息提升修复能力，类型系统比仅测试失败报告更有帮助。

How can we assess human-agent interactions? Case studies in software agent design

如何评估人机交互？软件代理设计案例研究

Valerie Chen, Rohit Malhotra, Xingyao Wang, Juan Michelini, Xuhui Zhou, Aditya Bharat Soni, Hoang H. Tran, Calvin Smith, Ameet Talwalkar, Graham Neubig

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 软件智能体 ：software agent(title,abstract)；分类 cs.AI

AI总结 提出PULSE框架，通过用户反馈和模型预测结合评估人机交互，在15k用户实验中验证其能减少40%置信区间，并揭示基准测试与真实结果的差异。

Comments ICML 2026

Executable World Models for ARC-AGI-3 in the Era of Coding Agents

可执行世界模型在编码智能体时代的ARC-AGI-3应用

Sergey Rodionov

机构 * SingularityNET 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.AI

AI总结 提出一种编码智能体系统，通过维护可执行Python世界模型、验证观察、重构简化抽象和模型内规划，在ARC-AGI-3游戏中取得初步成果，GPT-5.5高推理下完全解决15个游戏。

Comments 13 pages. Accepted for publication at AGI-2026

Trust but Verify? Uncovering the Security Debt of Autonomous Coding Agents

信任但要验证？揭示自主编码代理的安全债务

A H M Nazmus Sakib, Dipayan Banik, Murtuza Jadliwala

专题命中 软件智能体 ：coding agent(title,abstract)

AI总结 本文利用AIDev数据集，通过大语言模型评判框架和人工分析，研究自主编码代理生成拉取请求中的安全代码异味。发现38.9%的请求含安全异味，供应链问题和硬编码凭证占比高，揭示了安全风险及开发者警惕性降低问题，强调需实施上下文感知安全护栏。

Comments Accepted at the KDD 2026 Workshop on Agentic Software Engineering (AgenticSE)

Ouroboros: A Self-Developing Frontier Coding Agent with Reviewed Core Evolution

Ouroboros：一种具有经审核的核心演化机制的自发展前沿编码智能体

Anton Razzhigaev, Andrei Gritsaev, Andrei Kaznacheev, Nikita Dragunov, Roman Yampolskiy, Andrei Kuznetsov

专题命中 软件智能体 ：coding agent(title)；分类 cs.SE、cs.AI

AI总结 本研究提出具有经审核核心演化机制的编码智能体Ouroboros，其在三个基准测试中均创最优结果，Hope部署为长期活体演化实验，同时需应对自发展带来的操作安全问题。

Where Is the Cost of Third-Party API Routers in Agentic Software Development?

代理软件开发中第三方 API 路由器的成本在哪里？

Donghao Fu, Jingxin Li, Xue Jiang, Yihong Dong

专题命中 软件智能体 ：repository(abstract)；coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 研究第三方 API 路由器在代理软件开发中的影响，通过实证研究编码代理中路由器端注入的四个干预级别，开发 SIDEL 框架评估代理，发现路由器端干预难测，客户端缓解措施未完全恢复控制，强调需提供商端输出完整性保证。

ScaleWoB: Guiding GUI Agents with Coding Agents via Large-Scale Environmental Synthesis

SimuWoB: 模拟真实世界移动应用以实现快速且保真的GUI智能体基准测试

Guohong Liu, Jialei Ye, Pengzhi Gao, Wei Liu, Jian Luan, Yunxin Liu, Yuanchun Li

机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） ； University of Electronic Science and Technology of China（电子科技大学） ； MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus团队） 纠错

专题命中 软件智能体 ：coding agent(title)；分类 cs.AI

AI总结 针对现有移动GUI智能体基准测试与现实应用之间的差距，提出全合成基准SimuWoB，通过鲁棒的虚拟环境生成框架合成高保真任务和环境，自动提供有效奖励，实现对复杂长程交互的高效可重复评估。

Agentic Synthesis against Counterexample-Supplemented Sketches

针对反例补充草图的智能合成

Muness Castle, Eric Rubeck

机构 * Independent（独立研究者） 纠错

专题命中 软件智能体 ：repository(abstract)；coding agent(abstract)；分类 cs.SE、cs.AI

AI总结 研究针对编码智能体修复失败示例易留隐患的问题，提出针对反例补充草图的智能合成方法，通过人类给出草图、智能体生成实现，依据反例修正并保留代码，经实验验证该方法能减少返工，承载审查策略。

Comments 32 pages, 5 displayed figures (4 distinct screenshots). Includes the CatSynth artifact supplement. Code and captured experiment artifacts: https://github.com/open-horizon-labs/counterexample-supplemented-sketches Clarifies the two-check CESS method and Developer change authority; adds the protocol-correct CatSynth rerun and replaces the prior withheld-case headline

LLM Agents Can See Code Repositories

LLM智能体能够查看代码仓库

Dongjian Ma, Silin Chen, Yufei Yang, Yuling Shi, Yanfu Yan, Xiaodong Gu

专题命中 软件智能体 ：repository(abstract)；coding agent(abstract)；分类 cs.SE

AI总结 研究多模态大语言模型在仓库级问题解决中利用视觉表示的效果，发现纯视觉方案降低精度，而结合视觉结构图可减少26%输入token并保持或提升精度。

Comments Accepted by ASE 2026. Our code and data are available at https://github.com/cslsolow/SeeRepo

TrajAudit: Automated Failure Diagnosis for Agentic Coding Systems

TrajAudit：智能体编码系统的自动化故障诊断

Minxing Wang, Xiaofei Xie, Yintong Huo

专题命中 软件智能体 ：repository(abstract)；coding agent(abstract)；分类 cs.SE

AI总结 针对仓库级编码轨迹中噪声多、上下文长的问题，提出TrajAudit框架，通过模式匹配过滤和测试报告先验知识辅助，实现高效故障诊断，在RootSE基准上定位准确率提升24.4个百分点，令牌消耗降低18%。

SWE-Perf: Can Language Models Optimize Code Performance on Real-World Repositories?

SWE-Perf：语言模型能否优化真实仓库中的代码性能？

Xinyi He, Qian Liu, Mingzhe Du, Lin Yan, Zhijie Fan, Yiming Huang, Yin Zheng, Zejian Yuan, Zejun Ma

专题命中 软件智能体 ：code generation(abstract)；repository(abstract)；分类 cs.SE

AI总结 提出SWE-Perf基准，用于系统评估LLM在真实仓库中的代码性能优化能力，通过140个实例评估发现现有模型与专家水平存在显著差距。

Comments Accepted by ICML 2026

MARS: Efficient, Adaptive Co-Scheduling for Heterogeneous Agentic Systems

MARS：面向异构智能体系统的高效自适应协同调度

Yifei Wang, Hancheng Ye, Yechen Xu, Cong Guo, Chiyue Wei, Qinsi Wang, Dongting Li, Tingjun Chen, Hai "Helen" Li, Danyang Zhuo, Yiran Chen

机构 * Duke University（杜克大学） 纠错

专题命中 软件智能体 ：repository(abstract)；coding agent(abstract)；分类 cs.LG

AI总结 提出MARS协同调度系统，通过统一信息流全局协调GPU推理与CPU工具执行，解耦准入与执行防止资源过载，并采用智能体中心调度器最小化端到端延迟，实验显示延迟降低5.94倍。

Comments 14 pages, 13 figures. Preprint

Terminal Agents Suffice for Enterprise Automation

终端代理足以实现企业自动化

Patrice Bechard, Orlando Marquez Ayala, Emily Chen, Jordan Skelton, Sagar Davasam, Srinivas Sunkara, Vikas Yadav, Sai Rajeswar

机构 * Mila -- Quebec AI Institute（Mila — 魁北克人工智能研究所） 纠错

专题命中 软件智能体 ：coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 本文探讨终端代理通过直接调用平台API在企业自动化中表现优异，证明简单接口结合强大基础模型足以替代复杂代理架构。

Comments Pre-print. Under review. 51 pages, 6 figures, 21 tables

Position: Coding Benchmarks Are Misaligned with Agentic Software Engineering

立场：编程基准与智能体软件工程不一致

Maria I. Gorinova, Macey Baker, Amy Heineike, Maksim Shaposhnikov, Rob Willoughby, Dru Knox

机构 * Tessl 纠错

专题命中 软件智能体 ：coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 本文指出当前编程基准在智能体时代存在三大问题：混淆模型与系统框架、单一参考答案惩罚有效替代方案、缺乏组件级信号导致迭代困难，并提出应重新设计基准以对齐智能体软件工程。

SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineering Tasks

SWE-MERA：一种用于在软件工程任务中对大型语言模型进行代理评估的动态基准测试

Pavel Adamenko, Mikhail Ivanov, Aidar Valeev, Rodion Levichev, Pavel Zadorozhny, Ivan Lopatin, Dmitry Babaev, Alena Fenogenova, Valentin Malykh

机构 * GigaCode ； ITMO University（ITMO大学） ； MWS AI（MWS人工智能） ； IITU university（IITU大学） 纠错

专题命中 软件智能体 ：coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 针对现有软件工程基准测试局限性，提出SWE-MERA动态基准测试，通过自动收集GitHub问题及严格验证确保质量，最小化污染风险，利用Aider编码代理评估多个大型语言模型，展示了其强大区分能力及模型性能表现。

Comments EMNLP 2025

Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces

Shepherd: 一个为元代理提供形式化执行迹的运行时基座

Simon Yu, Derek Chong, Ananjan Nandi, Dilara Soylu, Jiuding Sun, Christopher D Manning, Weiyan Shi

机构 * Northeastern University（东北大学） ； Stanford University（斯坦福大学） 纠错

专题命中 软件智能体 ：coding agent(abstract)；分类 cs.SE、cs.AI、cs.PL

AI总结 提出Shepherd，一个基于函数式编程的Python运行时基座，将代理执行作为一等对象，通过类似Git的执行迹支持元代理的检查、分叉和重放，在三个用例中显著提升性能。

Comments 50 pages, 22 figures, 14 tables