代码大模型 / AI 编程

TensorBench: Benchmarking Coding Agents on a Compiler-Based Tensor Framework

TensorBench: 在基于编译器的张量框架上对编码智能体进行基准测试

Bobby Yan, Fredrik Kjolstad

机构 * Department of Computer Science, Stanford University（计算机科学系，斯坦福大学） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；repository(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出 TensorBench，一个包含199个特征添加和重构任务的基准测试，用于评估编码智能体在基于编译器的张量框架上的表现，并通过测试套件自动评分。

Human oversight of agentic systems in practice: Examining the oversight work, challenges, and heuristics of developers using software agents

实践中对智能体系统的人类监督：考察使用软件代理的开发者的监督工作、挑战与启发式方法

Shipi Dhanorkar, Samir Passi, Mihaela Vorvoreanu

机构 * Microsoft Redmond USA（微软红mond美国） 纠错

专题命中 软件智能体 ：software agent(title,abstract)；分类 cs.SE、cs.AI

AI总结 通过访谈17位经验丰富的开发者，探索人类对自主软件代理的监督实践，发现四种监督工作形式（先验控制、协同规划、实时监控、事后审查），并总结监督挑战与应对策略。

Ask or Assume? Uncertainty-Aware Clarification-Seeking in Coding Agents

提问还是假设？编码代理中的不确定性意识澄清寻求

Nicholas Edwards, Sebastian Schuster

机构 * Faculty of Computer Science, University of Vienna（维也纳大学计算机科学系） ； UniVie Doctoral School Computer Science, University of Vienna（维也纳大学计算机科学博士学院） 纠错

专题命中 软件智能体 ：coding agent(title)；分类 cs.CL

AI总结 本研究评估了LLM代理在未指定任务中的澄清能力，提出了一种不确定性意识的多代理框架，提高了任务解决率，并展示了多代理系统在复杂任务中主动寻求信息的行为。

Comments 18 pages, 7 figures; added experiments evaluating open-weight models (Kimi K2.6), expanded related work, and included dataset validation details

Coding with "Enemy": Can Human Developers Detect AI Agent Sabotage?

与“敌人”编码：人类开发者能否检测到AI代理的破坏行为？

Jingheng Ye, Huiqi Zou, Simon Yu, Weiyan Shi

机构 * Northeastern University（东北大学） 纠错

专题命中 软件智能体 ：coding agent(abstract)；分类 cs.CL、cs.AI

AI总结 通过大规模用户实验，研究人类开发者在长时间编码任务中检测AI代理恶意代码插入的能力，发现94%的开发者未能识别破坏，并分析其原因，提出安全监控设计建议。

Comments 34 pages, 30 figures, 3 tables

ADK Arena: Evaluating Agent Development Kits via LLM-as-a-Developer

ADK Arena: 通过LLM即开发者评估智能体开发工具包

Jintao Huang, Xiaomin Li, Gaurav Mittal, Yu Hu

机构 * The Ohio State University（俄亥俄州立大学） ； Microsoft（微软） 纠错

专题命中 软件智能体 ：coding agent(abstract)；分类 cs.SE、cs.AI

AI总结 提出LLM-as-a-Developer方法，通过自动化流水线ADK Arena评估51个Python ADK框架，发现框架间生成成本差异达5.6倍，但无单一框架占优，且文档、源码和参数知识可相互替代。

Comments Work in Progress

SWE-InfraBench: Evaluating Language Models on Cloud Infrastructure Code

SWE-InfraBench：评估语言模型在云基础设施代码上的表现

Natalia Tarasova, Enrique Balp-Straffon, Aleksei Iancheruk, Yevhenii Sielskyi, Nikita Kozodoi, Liam H. Byrne, Jack Butler, Dayuan Jiang, Marcin Czelej, Andrew Ang, Yash Shah, Roi Blanco, Sergei Ivanov

专题命中 软件智能体 ：code generation(abstract)；分类 cs.SE

AI总结 提出SWE-InfraBench基准，通过AWS CDK仓库中的真实代码修改任务评估LLM在云基础设施即代码（IaC）上的能力，发现当前最先进模型成功率仅34%。

Comments Accepted to NeurIPS 2025 Workshop on Evaluating the Evolving LLM Lifecycle