代码大模型 / AI 编程

A Comprehensive Evaluation of Code Language Models for Security Patch Detection

以代码为中心的漏洞修复提交检测：一个统一的基准和实证研究

Nils Loose, Joseph Bienhüls, Kristoffer Hempel, Felix Mächtle, Thomas Eisenbarth

机构 * University of Lübeck（吕贝克大学） ； University of Lübeck Institute for IT Security（吕贝克大学信息安全部） 纠错

专题命中 程序修复 ：repository(abstract)；分类 cs.SE、cs.LG

AI总结 本文通过统一框架评估了基于代码语言模型的漏洞修复提交检测，发现仅依赖代码变更无法让模型获得可转移的安全相关代码理解，且在去除提交信息后，增加内过程语义上下文也无法使模型关注代码变更，性能受数据分布和时间分割影响显著。

Comments Accepted at ASE26

RePaCA: Leveraging Reasoning Large Language Models for Static Automated Patch Correctness Assessment

RePaCA：利用推理型大语言模型实现静态自动化补丁正确性评估

Marcos Fuster-Pena, David de-Fitero-Dominguez, Antonio Garcia-Cabot, Eva Garcia-Lopez

专题命中 程序修复 ：program repair(abstract)；分类 cs.SE、cs.AI

AI总结 RePaCA是利用推理型大语言模型的静态APCA技术，经强化学习微调后在Defects4J测试集上达83.1%准确率，泛化能力优于现有方法，可准确识别过拟合补丁并提升可解释性。

Comments Final published version in the Neurocomputing journal. Volume 701, 7 November 2026, 134583. DOI: https://doi.org/10.1016/j.neucom.2026.134583

Journal ref Neurocomputing (7 November 2026), Volume 701, 134583

kAgent: An execution-guided crash resolution agent for the Linux kernel

kAgent：一种用于Linux内核的执行引导式崩溃修复代理

Alex Mathai, Chenxi Huang, Suwei Ma, Jihwan Kim, Hailie Mitchell, Aleksandr Nogikh, Petros Maniatis, Franjo Ivančić, Junfeng Yang, Baishakhi Ray

机构 * Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系） ； Google Inc.（谷歌公司） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 程序修复 ：program repair(abstract)；分类 cs.SE、cs.AI

AI总结 研究针对Linux内核崩溃修复难题，以内核开发者修复方式为灵感构建kAgent及支持工具栈，通过检查日志等步骤修复崩溃，消融特性定量分析，评估显示其能有效修复多种崩溃。

Comments Accepted to ICML, 2026; in the Deep Learning for Code Workshop. This paper was previously circulated as "CrashFixer"

Debugging the Debuggers: Failure-Anchored Structured Recovery for Software Engineering Agents

调试调试器：面向软件工程智能体的失败锚定结构化恢复

Chenyu Zhao, Shenglin Zhang, Yihang Lin, Wenwei Gu, Zhimin Chen, Yongqian Sun, Dan Pei, Chetan Bansal, Saravan Rajmohan, Minghua Ma

机构 * Nankai University（南开大学） ； Tsinghua University（清华大学） ； Microsoft（微软） 纠错

专题命中 程序修复 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 提出PROBE框架，通过遥测层、诊断层和指导门将运行时证据转化为结构化恢复指导，在代码修复、工作流恢复等场景中诊断准确率65.37%，恢复率21.79%。

BloomAPR: A Bloom's Taxonomy-based Framework for Assessing the Capabilities of LLM-Powered APR Solutions

BloomAPR：基于布鲁姆教育目标分类学的框架，用于评估大语言模型驱动的自动程序修复（APR）方案的能力

Yinghang Ma, Jiho Shin, Leuson Da Silva, Zhen Ming, Jiang, Song Wang, Foutse Khomh, Shin Hwei Tan

专题命中 程序修复 ：program repair(abstract)；分类 cs.SE

AI总结 BloomAPR是基于布鲁姆教育目标分类学的动态评估框架，评估了ChatRepair、CigaR等APR方案在不同LLM及布鲁姆分类层级下的漏洞修复能力，发现其存在性能差异并指出基准演进的必要性。

Comments 22 pages, 7 figures, Manuscript submitted to ACM Transactions on Software Engineering and Methodology

PITMuS: A Tool for Automated Bug Dataset Generation via Source-Level Mutant Reconstruction

PITMuS: 通过源级变异体重建实现自动化bug数据集生成工具

Tasfia Tasnim, Soneya Binta Hossain

专题命中 程序修复 ：program repair(abstract)；分类 cs.SE

AI总结 本文提出PITMuS工具，通过源级变异体重建生成自动化bug数据集，解决现有工具生成的变异体难以复现和利用的问题，为bug定位和修复技术提供结构化数据支持。

Large Language Models for Fault Localization: An Empirical Study

用于故障定位的大语言模型：一项实证研究

Yingjian Xiao, Weiwei Gong, Jianjun Huang, Rongqun Hu, Hongwei Li, Anquan Jie, Boyang Yang

专题命中 程序修复 ：program repair(abstract)；分类 cs.SE

AI总结 本文通过在HumanEval-Java、Defects4J数据集上评估四款LLMs，对比非LLM基线，分析不同提示策略，明确其在语句级故障定位的优缺与实际权衡，为软件工程应用提供实证支持。

LAUDE: LLM-Assisted Unit Test Generation and Debugging of Hardware DEsigns

LAUDE: 基于LLM的硬件设计单元测试生成与调试

Deeksha Nandal, Riccardo Revalor, Soham Dan, Debjit Pal

机构 * Dept. of Electrical and Computer Engineering, University of Illinois Chicago（伊利诺伊大学芝加哥分校电子与计算机工程系） ； Microsoft（微软公司） 纠错

专题命中 测试生成 ：unit test generation(title,abstract)；分类 cs.SE、cs.AI

AI总结 LAUDE利用大语言模型能力，实现硬件设计的单元测试生成与调试，有效检测和修复设计中的错误。

Comments 11 Pages, 9 Figures, 9 Tables Submitted to AAAI 2027

Uncovering Business Logic Bugs via Semantics-Driven Unit Test Generation

通过语义驱动的单元测试生成揭示业务逻辑错误

Chen Yang, Junjie Chen

专题命中 测试生成 ：unit test generation(title,abstract)；分类 cs.SE

AI总结 本文提出SeGa方法，通过语义知识库生成单元测试以发现业务逻辑错误，实验显示其在检测错误数量和精度提升方面优于现有技术。

Comments Accepted in the Research Track of ISSTA 2026

Combining Type Inference and Automated Unit Test Generation for Python

结合Python的类型推断与自动单元测试生成

Lukas Krodinger, Stephan Lukasczyk, Gordon Fraser

专题命中 测试生成 ：unit test generation(title,abstract)；分类 cs.SE

AI总结 研究针对Python动态类型语言缺乏类型信息阻碍单元测试生成的问题，通过在Pynguin框架扩展类型跟踪，利用测试执行提取类型信息，实现推断参数类型、记录返回值类型并增加代码覆盖率，提升了分支覆盖率和变异分数。

AnyPoC: Universal Proof-of-Concept Test Generation for Scalable LLM-Based Bug Detection

AnyPoC：用于可扩展LLM基于Bug检测的通用证明-概念测试生成

Zijie Zhao, Chenyuan Yang, Weidong Wang, Yihan Yang, Ziqi Zhang, Lingming Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 测试生成 ：coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 AnyPoC通过多代理框架生成可执行的证明-概念测试，以验证候选Bug报告，提升自动化Bug检测的实用性。

Evaluating LLM-Based Regression Test Generation

基于大语言模型的回归测试生成评估

Jing Liu, Seongmin Lee, Eleonora Losiouk, Marcel Böhme

机构 * MPI-SP（Max Planck Institute for Software Process Engineering） ； University of California at Los Angeles（加州大学洛杉矶分校） ； University of Padua（帕多瓦大学） 纠错

专题命中 测试生成 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 研究利用大语言模型为特定程序即时生成回归测试，将其作为机器翻译任务，通过对多个项目测试，反馈导向的零样本原型Cleverest表现良好，还探讨了提交消息对其效果的影响。

Comments 23 pages. Published in PACMSE Volume 3, Issue FSE. Artifact of Paper "Evaluating LLM-based Regression Test Generation": https://dl.acm.org/do/10.5281/zenodo.19616584

From Reasoning to Agentic: Credit Assignment in Reinforcement Learning for Large Language Models

从推理到代理：大型语言模型强化学习中的信用分配

Chenchen Zhang

机构 * Independent Researcher（独立研究员） 纠错

专题命中 测试生成 ：repository(abstract)；分类 cs.CL

AI总结 本文探讨了大型语言模型强化学习中信用分配问题，总结了47种方法，并提出了可重用的资源，指出从推理到代理的转变使信用分配更加复杂，推动了新的方法发展。

Comments 50 pages, 4 figures. v3: expanded to a unified 69-paper corpus through July 31, 2026; adds restored-state identification results, blind coding of a 42-paper full-text subset, a source-located reporting audit, the CA-ID Card, and replay-fidelity analysis

GRM: Utility-Aware Jailbreak Attacks on Audio LLMs via Gradient-Ratio Masking

GRM：通过梯度比掩码实现音频大语言模型的效用感知越权攻击

Yunqiang Wang, Hengyuan Na, Di Wu, Miao Hu, Guocong Quan

机构 * Sun Yat-Sen University（中山大学） 纠错

专题命中 测试生成 ：repository(abstract)；分类 cs.AI

AI总结 本文提出GRM框架，通过频率选择性扰动在音频大语言模型中实现效用感知的越权攻击，实验表明其在攻击成功率与效用平衡方面优于基线方法。

Comments Accpeted by MM 2026

On the Diffusion of Test Smells in LLM-Generated Unit Tests

论LLM生成的单元测试中测试异味的扩散

Wendkûuni C. Ouédraogo, Yinghua Li, Xueqi Dang, Xunzhu Tang, Anil Koyuncu, Jacques Klein, David Lo, Tegawendé F. Bissyandé

专题命中 测试生成 ：unit test generation(abstract)；分类 cs.SE

AI总结 本研究通过多基准大规模分析，对比LLM生成、人类编写及EvoSuite生成的单元测试，发现LLM生成测试存在特定测试异味，受提示策略等影响，凸显基于LLM的测试生成的潜力与风险，呼吁开发相关优化方案。

Comments Accepted at Transactions on Software Engineering and Methodology (TOSEM) journal on 31 July 2026

How well LLM-based test generation techniques perform with newer LLM versions?

基于新版本LLM的测试生成技术表现如何？

Michael Konstantinou, Renzo Degiovanni, Mike Papadakis

专题命中 测试生成 ：unit test generation(abstract)；分类 cs.SE

AI总结 本文研究了基于新版本LLM的测试生成技术表现，发现纯LLM方法在覆盖率和变异评分上优于现有方法，且成本相当。

Retrieval-Augmented Generation of Ontologies from Relational Databases

从关系数据库中检索增强生成本体

Nadeen Fathallah, Mojtaba Nayyeri, Athish A Yogi, Ratan Bahadur Thapa, Hans-Michael Tautenhahn, Anton Schnurpel, Steffen Staab

机构 * Institute for Artificial Intelligence, University of Stuttgart（人工智能研究所，斯图加特大学） ； University of Southampton（南安普顿大学） ； Universitätsklinikum Leipzig（莱比锡大学医院） 纠错

专题命中 测试生成 ：repository(abstract)；分类 cs.AI

AI总结 研究从关系数据库生成语义丰富的OWL2DL本体的问题，提出RIGOR方法，通过大语言模型驱动，从多源检索并迭代生成本体片段，经验证和纠正后集成，实验表明该方法优于基线且无需人工监督。

Comments Accepted in ISWC26

Evidence-Aware MapReduce for Forkable Compute

玻尔兹曼MapReduce：可分叉沙盒的配分函数归约

Yossi Eliaz

机构 * Incredibuild（Incredibuild公司） ； HIT CS Department（以色列理工学院计算机科学系） 纠错

专题命中 测试生成 ：repository(abstract)；分类 cs.AI

AI总结 研究在局部渐近正态性下工作节点发出的置信密度，指出其为吉布斯 - 玻尔兹曼测度，逆温度是样本大小。高斯/线性下相关结果精确，MapReduce归约是配分函数，还有频率主义一致性等结论。

Comments N/A

A Unified [CII] Morpho-Kinematic Corpus for 31 Star-Forming Galaxies at z = 4.26-5.68: The High-z Kinematic Corpus Z1

统一 [CII] 运动学形态数据集：31 个 z=4.26-5.68 恒星形成星系的高红移运动学语料库 Z1

David C. Flynn

专题命中 测试生成 ：repository(abstract)

AI总结 基于 ALPINE 巡天数据，构建了 31 个高红移恒星形成星系的 [CII] 形态运动学结构化数据集，包含旋转曲线、动力学质量及分类信息，并公开了多格式数据与示例分析。

Comments 8 pages, 4 tables, 3 figures. Data descriptor for the High-z Kinematic Corpus Z1, the fourth corpus in the EPS Research RAG Astrophysics Corpus Series. Corpus deposited at Zenodo DOI: 10.5281/zenodo.20369285. Jupyter notebooks and figures included as ancillary files

Lost in Vagueness: Towards Context-Sensitive Standards for Robustness Assessment under the EU AI Act

迷失在模糊性中：迈向欧盟人工智能法案下稳健性评估的上下文敏感标准

Roberta Tamponi, Carina Prunkl, Thomas Bäck, Anna V. Kononova

专题命中 测试生成 ：repository(abstract)

AI总结 研究欧盟人工智能法案下稳健性定义及评估方法不明问题，指出其依赖于多种因素，提出上下文敏感的多层标准化框架，减少解释负担等。

RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications

RuBench：一个具有原生编写的俄语任务规范的仓库级智能编码基准测试

Evgeny Shilov

机构 * Independent Researcher（独立研究者） 纠错

专题命中 代码评测 ：repository(title)；coding agent(abstract,comments)；分类 cs.SE、cs.CL、cs.AI

AI总结 RuBench 1.0是含25个俄语任务的仓库级智能编码基准测试，任务源于开源仓库修复提交，按客户请求风格编写。评估多种产品配置，报告运行结果，发现最佳配置解决78.7%任务，还发现产品替换模型问题，为智能编码评估提供新基准。

Comments 20 pages, 1 figure, 9 tables. v2 adds Round 2: Russian-market coding agents (SourceCraft CLI, Koda CLI), Antigravity with Gemini 3.1 Pro / 3.5 Flash, and Codex CLI with GPT-5.6 on the same frozen task set, plus a tool-call contamination re-audit (network + disk layers). Data, full trajectories and harness: https://github.com/eugeneshilow/rubench

VISTA: An End-to-End Benchmark for Visual Spec-to-Web-App Coding Agents

VISTA：面向视觉规格到网页应用编码智能体的端到端基准

JunJia Guo, Yuhang Yao, Jiawei, Zhou, Jingdi Chen

机构 * University of Arizona（亚利桑那大学） ； Zoom ； Stony Brook University（石溪大学） 纠错

专题命中 代码评测 ：coding agent(title)；code generation(abstract)；分类 cs.SE、cs.AI

AI总结 提出VISTA基准，通过多维度输入条件和评估指标，衡量基于LLM的智能体从视觉规格生成功能完整、视觉一致的网页应用的能力。

Comments Project page: https://kaboider.github.io/VIS_APP/

RACE-Bench: A Reasoning-Augmented Benchmark for Repository-Level Code Agents on Feature Addition

一个用于评估具有中间推理的仓库级代码代理的基准测试：在特性添加任务上

Shuhan Liu, Zhiyi Zhao, Xing Hu, Kui Liu, Xiaohu Yang, Xin Xia

专题命中 代码评测 ：repository(title,abstract)；分类 cs.SE

AI总结 本文提出RACE-bench基准，用于评估仓库级代码代理在特性添加任务中的推理能力，通过执行补丁验证和结构化中间推理地面真相，分析代理的推理质量与实现步骤转换性能。

AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation

AgentLens：用于编码智能体评估的生产评估轨迹审查

Andrey Podivilov, Vadim Lomshakov, Sergey Savin, Matvei Startsev, Roman Pozharskiy, Maksim Parshin, Sergey Nikolenko

机构 * Explyt ； St. Petersburg Department of the Steklov Institute of Mathematics（圣彼得堡斯捷克洛夫数学研究所圣彼得堡分部） ； St. Petersburg State University（圣彼得堡国立大学） 纠错

专题命中 代码评测 ：coding agent(title)；分类 cs.SE、cs.AI、cs.LG

AI总结 介绍用于编码智能体评估的AgentLens基准，结合形式验证、大语言模型编写的轨迹审查和并排比较来评估智能体整个轨迹，不仅能排名，还可用于诊断模型行为、比较智能体版本及发现产品回归问题，且已开源。

Do Coding Agents Deceive Us? Detecting and Preventing Cheating via Capped Evaluation with Randomized Tests

编码智能体会欺骗我们吗？通过带随机测试的上限评估检测和防止作弊

Thanawat Lodkaew, Johannes Ackermann, Soichiro Nishimori, Nontawat Charoenphakdee, Masashi Sugiyama, Takashi Ishida

机构 * The University of Tokyo（东京大学） ； RIKEN（理化学研究所） 纠错

专题命中 代码评测 ：coding agent(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CapCode框架，通过设置上限评估检测模型在编码任务中的作弊行为，并设计CapReward奖励机制防止作弊，实验表明该方法能有效检测和减少作弊。

FormulaCode: Evaluating Agentic Optimization on Large Codebases

FormulaCode: 评估在大规模代码库上进行代理优化

Atharva Sehgal, James Hou, Akanksha Sarkar, Ishaan Mantripragada, Swarat Chaudhuri, Jennifer J. Sun, Yisong Yue

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； California Institute of Technology（加州理工学院） ； Cornell University（康奈尔大学） 纠错

专题命中 代码评测 ：repository(abstract)；coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 FormulaCode是一个评估大型真实代码库上代理优化能力的基准，包含957个从科学Python仓库挖掘出的性能瓶颈，配以专家撰写的补丁和平均264.6个社区维护的性能工作负载，揭示了前沿LLM代理在多目标优化上的重大挑战。

Comments ICML Camera Ready Version

CodeTaste: Can LLMs Generate Human-Level Code Refactorings?

CodeTaste：LLM能否生成人类级别的代码重构？

Alex Thillen, Niels Mündler, Veselin Raychev, Martin Vechev

机构 * University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 代码评测 ：repository(abstract)；coding agent(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 研究LLM代理在代码重构中的能力，通过CodeTaste基准测试发现，代理在详细指定重构时表现良好，但难以自主发现人类选择的重构，提出“先提议后实现”分解可改善对齐。

Probe to Generate: Program Variant-Guided Test Augmentation for Repository-Level Repair Benchmarks

基准测试足够强大吗？基于突变的诊断和回归套件的增强

Chenglin Li, Yisen Xu, Zehao Wang, Shin Hwei Tan, Tse-Hsun, Chen

专题命中 代码评测 ：repository(title)；分类 cs.SE

AI总结 本文提出STING框架，通过语义改变的程序变体增强回归测试，提高基准测试的可靠性。实验显示，77%的实例存在至少一个存活变体，测试覆盖率提升，修复率下降，揭示了基准测试的不足。

Comments Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

Vision2Web: A Hierarchical Benchmark for Visual Website Development with Agent Verification

Vision2Web: 一个用于视觉网站开发的分层基准，包含代理验证

Zehai He, Wenyi Hong, Zhen Yang, Ziyang Pan, Mingdao Liu, Xiaotao Gu, Jie Tang

机构 * Tsinghua University（清华大学） 纠错

专题命中 代码评测 ：code generation(abstract)；coding agent(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出Vision2Web基准，用于评估视觉网站开发能力，包含193个任务和16类，通过GUI代理验证器和基于VLM的裁判器评估多个视觉语言模型，揭示了在全栈开发中现有模型的性能差距。

ML2B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation

ML2B：评估大语言模型跨语言ML流水线生成能力的基准

Ekaterina Trofimova, Zosia Shamina, Maria Selifanova, Artem Zaitsev, Remi Savchuk, Maxim Minets, Daria Ozerova, Emil Sataev, Denis Zuenko, Andrey E. Ustyuzhanin

机构 * HSE University（俄罗斯伏尔加格勒国立大学） ； Constructor University（Constructor大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 代码评测 ：code generation(abstract)；repository(abstract)；分类 cs.CL

AI总结 ML2B是首个评估大语言模型跨语言ML流水线生成能力的基准，含多领域多语言任务，实验发现跨语言性能退化高度依赖任务，挑战了传统多语言模型能力假设。