代码大模型 / AI 编程

RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications

RuBench：一个具有原生编写的俄语任务规范的仓库级智能编码基准测试

Evgeny Shilov

机构 * Independent Researcher（独立研究者） 纠错

专题命中 代码评测 ：repository(title)；coding agent(abstract,comments)；分类 cs.SE、cs.CL、cs.AI

AI总结 RuBench 1.0是含25个俄语任务的仓库级智能编码基准测试，任务源于开源仓库修复提交，按客户请求风格编写。评估多种产品配置，报告运行结果，发现最佳配置解决78.7%任务，还发现产品替换模型问题，为智能编码评估提供新基准。

Comments 20 pages, 1 figure, 9 tables. v2 adds Round 2: Russian-market coding agents (SourceCraft CLI, Koda CLI), Antigravity with Gemini 3.1 Pro / 3.5 Flash, and Codex CLI with GPT-5.6 on the same frozen task set, plus a tool-call contamination re-audit (network + disk layers). Data, full trajectories and harness: https://github.com/eugeneshilow/rubench

VISTA: An End-to-End Benchmark for Visual Spec-to-Web-App Coding Agents

VISTA：面向视觉规格到网页应用编码智能体的端到端基准

JunJia Guo, Yuhang Yao, Jiawei, Zhou, Jingdi Chen

机构 * University of Arizona（亚利桑那大学） ； Zoom ； Stony Brook University（石溪大学） 纠错

专题命中 代码评测 ：coding agent(title)；code generation(abstract)；分类 cs.SE、cs.AI

AI总结 提出VISTA基准，通过多维度输入条件和评估指标，衡量基于LLM的智能体从视觉规格生成功能完整、视觉一致的网页应用的能力。

Comments Project page: https://kaboider.github.io/VIS_APP/

RACE-Bench: A Reasoning-Augmented Benchmark for Repository-Level Code Agents on Feature Addition

一个用于评估具有中间推理的仓库级代码代理的基准测试：在特性添加任务上

Shuhan Liu, Zhiyi Zhao, Xing Hu, Kui Liu, Xiaohu Yang, Xin Xia

专题命中 代码评测 ：repository(title,abstract)；分类 cs.SE

AI总结 本文提出RACE-bench基准，用于评估仓库级代码代理在特性添加任务中的推理能力，通过执行补丁验证和结构化中间推理地面真相，分析代理的推理质量与实现步骤转换性能。

AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation

AgentLens：用于编码智能体评估的生产评估轨迹审查

Andrey Podivilov, Vadim Lomshakov, Sergey Savin, Matvei Startsev, Roman Pozharskiy, Maksim Parshin, Sergey Nikolenko

机构 * Explyt ； St. Petersburg Department of the Steklov Institute of Mathematics（圣彼得堡斯捷克洛夫数学研究所圣彼得堡分部） ； St. Petersburg State University（圣彼得堡国立大学） 纠错

专题命中 代码评测 ：coding agent(title)；分类 cs.SE、cs.AI、cs.LG

AI总结 介绍用于编码智能体评估的AgentLens基准，结合形式验证、大语言模型编写的轨迹审查和并排比较来评估智能体整个轨迹，不仅能排名，还可用于诊断模型行为、比较智能体版本及发现产品回归问题，且已开源。

Do Coding Agents Deceive Us? Detecting and Preventing Cheating via Capped Evaluation with Randomized Tests

编码智能体会欺骗我们吗？通过带随机测试的上限评估检测和防止作弊

Thanawat Lodkaew, Johannes Ackermann, Soichiro Nishimori, Nontawat Charoenphakdee, Masashi Sugiyama, Takashi Ishida

机构 * The University of Tokyo（东京大学） ； RIKEN（理化学研究所） 纠错

专题命中 代码评测 ：coding agent(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CapCode框架，通过设置上限评估检测模型在编码任务中的作弊行为，并设计CapReward奖励机制防止作弊，实验表明该方法能有效检测和减少作弊。

FormulaCode: Evaluating Agentic Optimization on Large Codebases

FormulaCode: 评估在大规模代码库上进行代理优化

Atharva Sehgal, James Hou, Akanksha Sarkar, Ishaan Mantripragada, Swarat Chaudhuri, Jennifer J. Sun, Yisong Yue

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； California Institute of Technology（加州理工学院） ； Cornell University（康奈尔大学） 纠错

专题命中 代码评测 ：repository(abstract)；coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 FormulaCode是一个评估大型真实代码库上代理优化能力的基准，包含957个从科学Python仓库挖掘出的性能瓶颈，配以专家撰写的补丁和平均264.6个社区维护的性能工作负载，揭示了前沿LLM代理在多目标优化上的重大挑战。

Comments ICML Camera Ready Version

CodeTaste: Can LLMs Generate Human-Level Code Refactorings?

CodeTaste：LLM能否生成人类级别的代码重构？

Alex Thillen, Niels Mündler, Veselin Raychev, Martin Vechev

机构 * University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 代码评测 ：repository(abstract)；coding agent(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 研究LLM代理在代码重构中的能力，通过CodeTaste基准测试发现，代理在详细指定重构时表现良好，但难以自主发现人类选择的重构，提出“先提议后实现”分解可改善对齐。

Probe to Generate: Program Variant-Guided Test Augmentation for Repository-Level Repair Benchmarks

基准测试足够强大吗？基于突变的诊断和回归套件的增强

Chenglin Li, Yisen Xu, Zehao Wang, Shin Hwei Tan, Tse-Hsun, Chen

专题命中 代码评测 ：repository(title)；分类 cs.SE

AI总结 本文提出STING框架，通过语义改变的程序变体增强回归测试，提高基准测试的可靠性。实验显示，77%的实例存在至少一个存活变体，测试覆盖率提升，修复率下降，揭示了基准测试的不足。

Comments Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

Vision2Web: A Hierarchical Benchmark for Visual Website Development with Agent Verification

Vision2Web: 一个用于视觉网站开发的分层基准，包含代理验证

Zehai He, Wenyi Hong, Zhen Yang, Ziyang Pan, Mingdao Liu, Xiaotao Gu, Jie Tang

机构 * Tsinghua University（清华大学） 纠错

专题命中 代码评测 ：code generation(abstract)；coding agent(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出Vision2Web基准，用于评估视觉网站开发能力，包含193个任务和16类，通过GUI代理验证器和基于VLM的裁判器评估多个视觉语言模型，揭示了在全栈开发中现有模型的性能差距。

ML2B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation

ML2B：评估大语言模型跨语言ML流水线生成能力的基准

Ekaterina Trofimova, Zosia Shamina, Maria Selifanova, Artem Zaitsev, Remi Savchuk, Maxim Minets, Daria Ozerova, Emil Sataev, Denis Zuenko, Andrey E. Ustyuzhanin

机构 * HSE University（俄罗斯伏尔加格勒国立大学） ； Constructor University（Constructor大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 代码评测 ：code generation(abstract)；repository(abstract)；分类 cs.CL

AI总结 ML2B是首个评估大语言模型跨语言ML流水线生成能力的基准，含多领域多语言任务，实验发现跨语言性能退化高度依赖任务，挑战了传统多语言模型能力假设。

CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language

仓颉基准：在低资源通用编程语言上评估大语言模型

Junhang Cheng, Fang Liu, Jia Li, Chengru Wu, Nanxiang Jiang, Li Zhang

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 本文提出CangjieBench，用于评估大语言模型在低资源通用编程语言上的表现，通过248个高质量样本覆盖文本到代码和代码到代码任务，发现语法受限生成在准确性和计算成本之间取得最佳平衡。

Comments Accepted by ESEM 2026

ORCA-bench: How Ready Are Language Model Agents for Oncall?

ORCA-bench：语言模型智能体的值班待命准备程度如何？

Albert Gong, Kyuseong Choi, Abhineet Agarwal, Jason Schechner, Ryan Huang, Raj Agrawal, Anish Agarwal, Raaz Dwivedi

机构 * Cornell Tech（康奈尔科技学院） ； Traversal ； Columbia University（哥伦比亚大学） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 该研究推出ORCA-bench基准，评估编码智能体在生产级值班待命场景下的根本原因分析能力，发现现有前沿智能体表现不佳，凸显其距离安全胜任生产可靠性工作仍有较大差距。

CodexGraph: Bridging Large Language Models and Code Repositories via Code Graph Databases

CodexGraph：通过代码图数据库连接大型语言模型和代码库

Xiangyan Liu, Bo Lan, Zhiyuan Hu, Yang Liu, Zhicheng Zhang, Fei Wang, Michael Shieh, Wenmeng Zhou

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 研究旨在解决大型语言模型处理整个代码库的难题，提出通过将LLM代理与代码库图数据库接口集成的CodexGraph系统，利用图数据库特性实现精确上下文检索和代码导航，经多基准评估及实际应用开发，展现其在软件工程中的竞争力与潜力。

Comments work in progress

DFAH-Bench: Benchmarking Observable Agent Instability in Financial Decision-Making

DFAH-Bench：金融决策中可观测智能体不稳定性的基准测试

Raffi Khatchadourian

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究金融决策中智能体行为稳定性，引入DFAH-Bench基准，通过多渠道衡量。发现仅结果一致性不能完全反映稳定性，前沿模型存在决策与工具路径一致性差距，识别出三种行为模式，并开源相关代码和数据。

Comments 15 pages, 3 figures. Code, sanitized replay logs, one-command reproduction (make reproduce-paper), and an interactive results explorer: https://github.com/ibm-client-engineering/output-drift-financial-llms

Git-Assistant: Planning-Based Support for Updating Git Repositories

Git辅助工具：基于规划的Git仓库更新支持

Alfredo Garrachón Ruiz, Tomás de la Rosa, Daniel Borrajo

机构 * AI Research, JPMorganChase（人工智能研究，摩根大通） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 研究针对git工具对开发者有挑战的问题，提出结合大语言模型与自动规划的Git-Assistant，经合成和随机git环境评估，证明该方法能提升仓库管理可靠性、减少错误，展现混合人工智能方法在开发者辅助上的潜力。

Comments Pending permissions from the private company

CORE-Bench: A Comprehensive Benchmark for Code Retrieval in the Era of Agentic Coding

CORE-Bench：智能体编程时代代码检索的综合基准

Fuwei Zhang, Yanzhao Zhang, Mingxin Li, Dingkun Long, Lexiang Hu, Pengjun Xie, Zhao Zhang, Fuzhen Zhuang

专题命中 代码评测 ：repository(abstract)；coding agent(abstract)

AI总结 针对智能体编程中需求驱动的仓库级代码检索问题，构建了包含18万查询和10.6万上下文相关性标签的三级基准CORE-Bench，实验表明现有嵌入模型性能显著下降，微调可提升效果。

ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research

ResearchClawBench: 端到端自主科学研究基准

Wanghan Xu, Shuo Li, Tianlin Ye, Qinglong Cao, Yixin Chen, Hengjian Gao, Yiheng Wang, Qi Li, Kun Li, Sheng Xu, Shengdu Chai, Fangchen Yu, Xiangyu Zhao, Zhangrui Zhao, Weijie Ma, Zijie Guo, Koutian Wu, Haoyu Zhou, Haoxiang Yin, Lixue Cheng, Chaofan Hu, Haoxuan Li, Lu Mi, Xuxuan Xie, Yifan Zhou, Ruizhe Chen, Zhiwang Zhou, Xingjian Guo, Yuhao Zhou, Xuming He, Shengyuan Xu, Xinyu Gu, Jiamin Wu, Mianxin Liu, Chunfeng Song, Fenghua Ling, Dongzhan Zhou, Shixiang Tang, Yuqiang Li, Mao Su, Peng Ye, Siqi Sun, Bin Wang, Xue Yang, Zhenfei Yin, Tianfan Fu, Guangtao Zhai, Wanli Ouyang, Bo Zhang, Lei Bai, Wenlong Zhang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ResearchClawBench基准，包含10个领域40个任务，通过多模态评分标准评估自主科研能力，最强智能体仅得21.5分，揭示当前系统在实验协议、证据匹配和科学核心方面的不足。

GameDevBench: Evaluating Agentic Capabilities Through Game Development

GameDevBench: 通过游戏开发评估智能体能力

Wayne Chi, Yixiong Fang, Arnav Yayavaram, Siddharth Yayavaram, Seth Karten, Qiuhong Anna Wei, Runkun Chen, Alexander Wang, Valerie Chen, Ameet Talwalkar, Chris Donahue

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 提出GameDevBench基准，包含333个游戏开发任务，评估智能体在多模态软件开发中的能力，发现最佳智能体仅解决53.8%任务，并引入视觉反馈机制提升性能。

In-Context Environments Induce Evaluation-Awareness in Language Models

上下文环境诱导语言模型中的评估意识

Maheep Chaudhary

机构 * Independent（独立） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出黑盒对抗优化框架，通过优化上下文提示诱导语言模型产生评估意识并策略性低表现（沙袋效应），实验显示优化提示可使算术任务准确率下降高达94个百分点，且沙袋效应主要由评估意识推理驱动。

When Generic Prompt Improvements Hurt: Evaluation-Driven Iteration for LLM Applications

当通用提示改进有害：LLM应用的评估驱动迭代

Daniel Commey

机构 * Daniel Commey 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 提出最小可行评估套件（MVES），通过结构化评估框架和本地复现实验，发现通用提示添加并非单调改进，强调评估驱动的提示迭代。

Comments Technical report. 42 pages, 3 figures. Code, test suites, and result logs: https://github.com/dcommey/llm-eval-benchmarking

Aftab: A Comprehensive Benchmark of CNN Encoders and Advanced Value Functions in Parallelized Q-Networks

Aftab：并行Q网络中CNN编码器与高级价值函数的综合基准

Taha Shieenavaz, Shabnam Zareshahraki, Loris Nanni

机构 * University of Padua（帕多瓦大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

AI总结 本研究针对并行Q网络，设计评估8种CNN拓扑并集成多种Q学习扩展，提出复合架构Aftab，在Atari-57与Procgen Hard基准上均优于基线，已开源。

Optimizing Expert-Designed Crystal Graph Networks for Band-Gap Prediction with an Autonomous LLM Research Loop

利用自主LLM研究循环优化专家设计的晶体图网络用于带隙预测

Chenmu Zhang, Boris I. Yakobson

机构 * Department of Materials Science and NanoEngineering（材料科学与纳米工程系） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个自主LLM研究循环，在MatBench带隙基准上构建了无需外部预训练的最准确模型，超越了所有17个专家设计模型，通过实现元素对特征和空间群嵌入等已知方法。

Causal Agent based on Large Language Model

基于大语言模型的因果智能体

Kairong Han, Kun Kuang, Ziyu Zhao, Junjian Ye, Fei Wu

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM难以处理因果问题的挑战，提出Causal Agent框架，构建CausalTQA基准，实验显示其在多层级因果问题及真实数据集上性能优于SOTA。

Forensic Reproducibility Audit of a Radiology Vision-Language Model Benchmark: From Intended Protocol to Released Artifact

放射学视觉语言模型基准的法证可重复性审计：从预期协议到发布工件

Mateusz Kozłowski

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 对胸部X光视觉语言模型试点进行法证可重复性审计，追踪提示绑定等多方面情况，发现存在图像渲染、数据分割等问题，重建队列改变统计值，撤回原声明并指定机器可验证控制。

Comments Withdrawn by the author. On further review, the archived artifacts underlying this audit are too incomplete to support the reported statistics, and the paper's conclusions do not follow from the available evidence. The work is withdrawn in full; earlier versions should not be cited

InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis

InfiniteScienceGym：一个无界的、程序生成的科学分析基准

Oliver Bentham, Vivek Srikumar

机构 * Kahlert School of Computing（卡勒特计算学院） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出InfiniteScienceGym，通过程序生成科学仓库和可验证问答任务，评估证据推理、回避和工具分析能力，发现现有模型在回答不可答问题上存在显著缺陷。

Comments 31 pages, 5 figures, 8 tables. Accepted to COLM 2026. See https://infinitesciencegym.github.io/

ATLAS: Agentic Taxonomy of Large-Scale Software Ecosystems

ATLAS: 大规模软件生态系统的智能体分类体系

Junyi Lu, Mengyao Lyu, Jiahui Wu, Lei Yu, Chengwei Liu, Fengjun Zhang, Li Yang, Chun Zuo, Yang Liu

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Nankai University（南开大学） ； Sinosoft Company Limited（中软国际有限公司） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL

AI总结 提出ATLAS框架，结合LLM全局知识与实际仓库分布，通过智能体协作和自修正循环自动构建软件仓库的层次化分类体系，在54,387个GitHub仓库上评估，分类质量F1达83.13%，优于基线15个百分点。

Comments Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

Beyond Questions: Evaluating LLM's Knowledge Expression

超越问题：评估大型语言模型（实际）知道什么

Luca Giordano, Simon Razniewski

机构 * ScaDS.AI Dresden/Leipzig & TU Dresden, Germany（ScaDS.AI 德尔布兰德/莱比锡及德累斯顿技术大学，德国） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 提出开放知识评估新范式，通过开放式提示（如“告诉我关于M.L. King的一切”）评估模型自然表达的知识，并构建BeQu基准测试10,000个实体。

Matching Matters: A Fair Quality-Efficiency Benchmark for Command-Line Agents

AgentMeter: 评估基于CLI的本地任务求解智能体的模型-CLI匹配

Han Chi, Jiaxin Qi, Yan Cui, Baisheng Lai, Jianqiang Huang

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； Hangzhou Institute for Advanced Study, Chinese Academy of Sciences（中国科学院杭州高等研究院） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 提出AgentMeter基准，通过成功锚定、成本感知的AMS指标评估模型与CLI的匹配，发现模型和CLI选择不可解耦，需作为部署单元评估。

Comments 13 pages, 4 figures, 12 tables; includes supplementary material

WebCoderBench: Benchmarking Web Application Generation with Comprehensive and Interpretable Evaluation Metrics

WebCoderBench: 用全面且可解释的评估指标对Web应用生成进行基准测试

Chenxu Liu, Yingjie Fu, Wei Yang, Ying Zhang, Tao Xie

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出WebCoderBench，首个基于真实用户需求的Web应用生成基准，包含1572个真实用户需求及24个细粒度评估指标，结合规则和LLM评估方法，提供可解释的评估结果，实验显示无单一最优模型，为模型优化提供方向。

Who Grades the Grader? Co-Evolving Evaluation Metrics and Skills for Self-Improving LLM Agents

谁来评估评估者？用于自我改进的语言模型代理的协同进化评估指标和技能

Xing Zhang, Guanghui Wang, Yanwei Cui, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He

机构 * Amazon（亚马逊） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 研究自我进化智能体系统中评估指标缺失问题，提出指标可进化，通过“双棘轮”协同进化指标与技能循环，在多任务中保留提升效果，还阐述安全性源于锚定规则与外部审核，为无可靠自动验证器场景提供架构。

Comments Code: https://github.com/amazon-science/Self-Evolving-Agents-Double-Ratchet