代码大模型 / AI 编程

CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language

仓颉基准：在低资源通用编程语言上评估大语言模型

Junhang Cheng, Fang Liu, Jia Li, Chengru Wu, Nanxiang Jiang, Li Zhang

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 本文提出CangjieBench，用于评估大语言模型在低资源通用编程语言上的表现，通过248个高质量样本覆盖文本到代码和代码到代码任务，发现语法受限生成在准确性和计算成本之间取得最佳平衡。

Comments Accepted by ESEM 2026

ORCA-bench: How Ready Are Language Model Agents for Oncall?

ORCA-bench：语言模型智能体的值班待命准备程度如何？

Albert Gong, Kyuseong Choi, Abhineet Agarwal, Jason Schechner, Ryan Huang, Raj Agrawal, Anish Agarwal, Raaz Dwivedi

机构 * Cornell Tech（康奈尔科技学院） ； Traversal ； Columbia University（哥伦比亚大学） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 该研究推出ORCA-bench基准，评估编码智能体在生产级值班待命场景下的根本原因分析能力，发现现有前沿智能体表现不佳，凸显其距离安全胜任生产可靠性工作仍有较大差距。

CodexGraph: Bridging Large Language Models and Code Repositories via Code Graph Databases

CodexGraph：通过代码图数据库连接大型语言模型和代码库

Xiangyan Liu, Bo Lan, Zhiyuan Hu, Yang Liu, Zhicheng Zhang, Fei Wang, Michael Shieh, Wenmeng Zhou

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 研究旨在解决大型语言模型处理整个代码库的难题，提出通过将LLM代理与代码库图数据库接口集成的CodexGraph系统，利用图数据库特性实现精确上下文检索和代码导航，经多基准评估及实际应用开发，展现其在软件工程中的竞争力与潜力。

Comments work in progress

DFAH-Bench: Benchmarking Observable Agent Instability in Financial Decision-Making

DFAH-Bench：金融决策中可观测智能体不稳定性的基准测试

Raffi Khatchadourian

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究金融决策中智能体行为稳定性，引入DFAH-Bench基准，通过多渠道衡量。发现仅结果一致性不能完全反映稳定性，前沿模型存在决策与工具路径一致性差距，识别出三种行为模式，并开源相关代码和数据。

Comments 15 pages, 3 figures. Code, sanitized replay logs, one-command reproduction (make reproduce-paper), and an interactive results explorer: https://github.com/ibm-client-engineering/output-drift-financial-llms

Git-Assistant: Planning-Based Support for Updating Git Repositories

Git辅助工具：基于规划的Git仓库更新支持

Alfredo Garrachón Ruiz, Tomás de la Rosa, Daniel Borrajo

机构 * AI Research, JPMorganChase（人工智能研究，摩根大通） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 研究针对git工具对开发者有挑战的问题，提出结合大语言模型与自动规划的Git-Assistant，经合成和随机git环境评估，证明该方法能提升仓库管理可靠性、减少错误，展现混合人工智能方法在开发者辅助上的潜力。

Comments Pending permissions from the private company

CORE-Bench: A Comprehensive Benchmark for Code Retrieval in the Era of Agentic Coding

CORE-Bench：智能体编程时代代码检索的综合基准

Fuwei Zhang, Yanzhao Zhang, Mingxin Li, Dingkun Long, Lexiang Hu, Pengjun Xie, Zhao Zhang, Fuzhen Zhuang

专题命中 代码评测 ：repository(abstract)；coding agent(abstract)

AI总结 针对智能体编程中需求驱动的仓库级代码检索问题，构建了包含18万查询和10.6万上下文相关性标签的三级基准CORE-Bench，实验表明现有嵌入模型性能显著下降，微调可提升效果。

ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research

ResearchClawBench: 端到端自主科学研究基准

Wanghan Xu, Shuo Li, Tianlin Ye, Qinglong Cao, Yixin Chen, Hengjian Gao, Yiheng Wang, Qi Li, Kun Li, Sheng Xu, Shengdu Chai, Fangchen Yu, Xiangyu Zhao, Zhangrui Zhao, Weijie Ma, Zijie Guo, Koutian Wu, Haoyu Zhou, Haoxiang Yin, Lixue Cheng, Chaofan Hu, Haoxuan Li, Lu Mi, Xuxuan Xie, Yifan Zhou, Ruizhe Chen, Zhiwang Zhou, Xingjian Guo, Yuhao Zhou, Xuming He, Shengyuan Xu, Xinyu Gu, Jiamin Wu, Mianxin Liu, Chunfeng Song, Fenghua Ling, Dongzhan Zhou, Shixiang Tang, Yuqiang Li, Mao Su, Peng Ye, Siqi Sun, Bin Wang, Xue Yang, Zhenfei Yin, Tianfan Fu, Guangtao Zhai, Wanli Ouyang, Bo Zhang, Lei Bai, Wenlong Zhang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ResearchClawBench基准，包含10个领域40个任务，通过多模态评分标准评估自主科研能力，最强智能体仅得21.5分，揭示当前系统在实验协议、证据匹配和科学核心方面的不足。

GameDevBench: Evaluating Agentic Capabilities Through Game Development

GameDevBench: 通过游戏开发评估智能体能力

Wayne Chi, Yixiong Fang, Arnav Yayavaram, Siddharth Yayavaram, Seth Karten, Qiuhong Anna Wei, Runkun Chen, Alexander Wang, Valerie Chen, Ameet Talwalkar, Chris Donahue

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 提出GameDevBench基准，包含333个游戏开发任务，评估智能体在多模态软件开发中的能力，发现最佳智能体仅解决53.8%任务，并引入视觉反馈机制提升性能。

In-Context Environments Induce Evaluation-Awareness in Language Models

上下文环境诱导语言模型中的评估意识

Maheep Chaudhary

机构 * Independent（独立） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出黑盒对抗优化框架，通过优化上下文提示诱导语言模型产生评估意识并策略性低表现（沙袋效应），实验显示优化提示可使算术任务准确率下降高达94个百分点，且沙袋效应主要由评估意识推理驱动。

When Generic Prompt Improvements Hurt: Evaluation-Driven Iteration for LLM Applications

当通用提示改进有害：LLM应用的评估驱动迭代

Daniel Commey

机构 * Daniel Commey 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 提出最小可行评估套件（MVES），通过结构化评估框架和本地复现实验，发现通用提示添加并非单调改进，强调评估驱动的提示迭代。

Comments Technical report. 42 pages, 3 figures. Code, test suites, and result logs: https://github.com/dcommey/llm-eval-benchmarking

Aftab: A Comprehensive Benchmark of CNN Encoders and Advanced Value Functions in Parallelized Q-Networks

Aftab：并行Q网络中CNN编码器与高级价值函数的综合基准

Taha Shieenavaz, Shabnam Zareshahraki, Loris Nanni

机构 * University of Padua（帕多瓦大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

AI总结 本研究针对并行Q网络，设计评估8种CNN拓扑并集成多种Q学习扩展，提出复合架构Aftab，在Atari-57与Procgen Hard基准上均优于基线，已开源。

Optimizing Expert-Designed Crystal Graph Networks for Band-Gap Prediction with an Autonomous LLM Research Loop

利用自主LLM研究循环优化专家设计的晶体图网络用于带隙预测

Chenmu Zhang, Boris I. Yakobson

机构 * Department of Materials Science and NanoEngineering（材料科学与纳米工程系） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个自主LLM研究循环，在MatBench带隙基准上构建了无需外部预训练的最准确模型，超越了所有17个专家设计模型，通过实现元素对特征和空间群嵌入等已知方法。

Causal Agent based on Large Language Model

基于大语言模型的因果智能体

Kairong Han, Kun Kuang, Ziyu Zhao, Junjian Ye, Fei Wu

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM难以处理因果问题的挑战，提出Causal Agent框架，构建CausalTQA基准，实验显示其在多层级因果问题及真实数据集上性能优于SOTA。

Forensic Reproducibility Audit of a Radiology Vision-Language Model Benchmark: From Intended Protocol to Released Artifact

放射学视觉语言模型基准的法证可重复性审计：从预期协议到发布工件

Mateusz Kozłowski

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 对胸部X光视觉语言模型试点进行法证可重复性审计，追踪提示绑定等多方面情况，发现存在图像渲染、数据分割等问题，重建队列改变统计值，撤回原声明并指定机器可验证控制。

Comments Withdrawn by the author. On further review, the archived artifacts underlying this audit are too incomplete to support the reported statistics, and the paper's conclusions do not follow from the available evidence. The work is withdrawn in full; earlier versions should not be cited

InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis

InfiniteScienceGym：一个无界的、程序生成的科学分析基准

Oliver Bentham, Vivek Srikumar

机构 * Kahlert School of Computing（卡勒特计算学院） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出InfiniteScienceGym，通过程序生成科学仓库和可验证问答任务，评估证据推理、回避和工具分析能力，发现现有模型在回答不可答问题上存在显著缺陷。

Comments 31 pages, 5 figures, 8 tables. Accepted to COLM 2026. See https://infinitesciencegym.github.io/

ATLAS: Agentic Taxonomy of Large-Scale Software Ecosystems

ATLAS: 大规模软件生态系统的智能体分类体系

Junyi Lu, Mengyao Lyu, Jiahui Wu, Lei Yu, Chengwei Liu, Fengjun Zhang, Li Yang, Chun Zuo, Yang Liu

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Nankai University（南开大学） ； Sinosoft Company Limited（中软国际有限公司） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL

AI总结 提出ATLAS框架，结合LLM全局知识与实际仓库分布，通过智能体协作和自修正循环自动构建软件仓库的层次化分类体系，在54,387个GitHub仓库上评估，分类质量F1达83.13%，优于基线15个百分点。

Comments Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

Beyond Questions: Evaluating LLM's Knowledge Expression

超越问题：评估大型语言模型（实际）知道什么

Luca Giordano, Simon Razniewski

机构 * ScaDS.AI Dresden/Leipzig & TU Dresden, Germany（ScaDS.AI 德尔布兰德/莱比锡及德累斯顿技术大学，德国） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 提出开放知识评估新范式，通过开放式提示（如“告诉我关于M.L. King的一切”）评估模型自然表达的知识，并构建BeQu基准测试10,000个实体。

Matching Matters: A Fair Quality-Efficiency Benchmark for Command-Line Agents

AgentMeter: 评估基于CLI的本地任务求解智能体的模型-CLI匹配

Han Chi, Jiaxin Qi, Yan Cui, Baisheng Lai, Jianqiang Huang

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； Hangzhou Institute for Advanced Study, Chinese Academy of Sciences（中国科学院杭州高等研究院） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 提出AgentMeter基准，通过成功锚定、成本感知的AMS指标评估模型与CLI的匹配，发现模型和CLI选择不可解耦，需作为部署单元评估。

Comments 13 pages, 4 figures, 12 tables; includes supplementary material

WebCoderBench: Benchmarking Web Application Generation with Comprehensive and Interpretable Evaluation Metrics

WebCoderBench: 用全面且可解释的评估指标对Web应用生成进行基准测试

Chenxu Liu, Yingjie Fu, Wei Yang, Ying Zhang, Tao Xie

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出WebCoderBench，首个基于真实用户需求的Web应用生成基准，包含1572个真实用户需求及24个细粒度评估指标，结合规则和LLM评估方法，提供可解释的评估结果，实验显示无单一最优模型，为模型优化提供方向。

Who Grades the Grader? Co-Evolving Evaluation Metrics and Skills for Self-Improving LLM Agents

谁来评估评估者？用于自我改进的语言模型代理的协同进化评估指标和技能

Xing Zhang, Guanghui Wang, Yanwei Cui, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He

机构 * Amazon（亚马逊） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 研究自我进化智能体系统中评估指标缺失问题，提出指标可进化，通过“双棘轮”协同进化指标与技能循环，在多任务中保留提升效果，还阐述安全性源于锚定规则与外部审核，为无可靠自动验证器场景提供架构。

Comments Code: https://github.com/amazon-science/Self-Evolving-Agents-Double-Ratchet

Where to Intervene? Benchmarking Fairness-Aware Learning on Differentially Private Synthetic Tabular Data

在何处进行干预？对差分隐私合成表格数据上的公平感知学习进行基准测试

Vinícius Gabriel Angelozzi, Héber H. Arcolezi

机构 * ÉTS Montréal（蒙特利尔高等商学院） ； Inria Grenoble（格勒诺布尔计算机科学及自动化研究所） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

AI总结 研究在差分隐私合成表格数据上公平干预的效果，以自适应迭代机制为基准，在多数据集、指标及策略下评估，比较四种管道配置，发现仅DP会降效，公平干预可部分恢复公平，后处理方法权衡更优，还开源相关内容以支持研究。

Comments Paper accepted at PETS 2026. Code is available at https://github.com/vinicius-verona/dp-fair-intervention-benchmark

Can AI Agents Really Complete RTL-to-GDS? Lessons from Benchmarking Tool-Interactive EDA Workflows

人工智能代理真的能完成从RTL到GDS的转换吗？基准测试工具交互式EDA工作流程的经验教训

Jinyuan Deng, Zhengrui Chen, Xufeng Wei, Tianyu Xing, Chenyi Wen, Qi Sun, Cheng Zhuo

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨人工智能代理在EDA工作流程中的表现，提出FluxBench进行系统评估，涵盖多种场景并评估多项能力，引入Token ROI指标。结果显示不同代理系统架构性能有差距，特定领域技能不是提升性能的唯一关键，系统设计和基础模型能力也很重要。

Evaluating LLM-Based 0-to-1 Software Generation in End-to-End CLI Tool Scenarios

评估基于LLM的从零开始软件生成在端到端CLI工具场景中的表现

Ruida Hu, Xinchen Wang, Chao Peng, Cuiyun Gao, David Lo

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Independent Researcher, China（独立研究者，中国） ； Singapore Management University, Singapore（新加坡管理大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出CLI-Tool-Bench基准，用于评估从零生成CLI工具的能力，发现顶级模型成功率低于43%，指出生成代码倾向单体化。

Comments Data link: https://github.com/kinesiatricssxilm14/CLI-Tool-Bench

When RLHF Fails: A Mechanistic Taxonomy of Reward Hacking, Collapse, and Evaluator Gaming

当RLHF失败时：奖励黑客、崩溃和评估者博弈的机制分类

Zelalem Abahana, David Evans, Satish Mahadevan Srinivasan, Matjaz Gams

机构 * First Citizens Bank（第一公民银行） ； Alma Mater Europaea University（欧洲大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过PPO、DPO等方法的对比实验，提出了一种基于奖励和评估者分数方向的机制分类法，将RLHF失败模式分类为可定位、可预测的训练动态。

Comments 20 pages, 8 figures; includes code, artifacts, and live demo

Terminus-4B: Can a Smaller Model Replace Frontier LLMs at Agentic Execution Tasks?

Terminus-4B：一个较小的模型能否在智能体执行任务中取代前沿大语言模型？

Spandan Garg, Vikram Nitin, Yufan Huang

机构 * Microsoft USA（微软公司） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE、cs.AI

AI总结 研究智能体终端执行任务中较小模型能否取代前沿大语言模型。提出经监督微调及强化学习训练的Terminus-4B模型，评估发现其能减少主智能体令牌使用量约30%，不影响性能，还缩小与前沿模型差距甚至超越其性能。

Comments The current article involves some product IP issues and needs to be withdrawn and re-approved

Learning Bug Context for PyTorch-to-JAX Translation with LLMs

学习 PyTorch 到 JAX 翻译中的 Bug 上下文

Hung Phan, Son Vu, Tuan Dinh, Nesreen Ahmed, Ali Payani, Ali Jannesari

机构 * Department of Computer Science, Iowa State University, Ames, IA, USA（Iowa State大学计算机科学系） ； Department of Human Science, Iowa State University, Ames, IA, USA（Iowa State大学人类科学系） ； Cisco AI Research, Outshift, San Jose, CA, USA（Cisco AI研究，Outshift，San Jose，加利福尼亚州，美国） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 针对 LLM 在 PyTorch 到 JAX 代码翻译中易出错的问题，构建 T2J 基准（含 bug 及修复），通过上下文学习使弱 LLM 翻译质量提升达 20%。

Comments ICML Deep Learning for Code (DL4C) workshop, 2026

Deja Vu at Scale: Paraphrase-Robust Detection of Duplicate Gherkin Steps in Behaviour-Driven Software Testing with Sentence-Transformer Embeddings and a 1.1M-Step Open Benchmark

大规模既视感：基于Sentence-Transformer嵌入和行为驱动软件测试中重复Gherkin步骤的释义鲁棒检测与110万步骤开放基准

Ali Hassaan Mughal, Noor Fatima, Muhammad Bilal

机构 * work（工作） ； seecs.edu.pk（SEECs大学） ； tum.de（图腾大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL

AI总结 针对BDD测试中Gherkin步骤重复问题，提出结合精确哈希、归一化Levenshtein、句子Transformer余弦和Levenshtein带混合的四种策略检测器，并构建跨组织语料库和标注基准，F1达0.906。

Comments 28 pages, 2 figures, 4 tables. Submitted to Information and Software Technology (Elsevier). Tool, corpus, labelled benchmark, and rubric released at https://github.com/amughalbscs16/cukereuse-release under Apache-2.0

Towards Automated Kernel Generation in the Era of LLMs

面向LLM时代的自动化内核生成

Yang Yu, Peiyu Zang, Chi Hsu Tsai, Haiming Wu, Yixin Shen, Jialing Zhang, Haoyu Wang, Zhiyou Xiao, Jingze Shi, Yuyu Luo, Wentao Zhang, Chunlei Men, Guang Liu, Yonghua Lin

机构 * Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Beijing Normal University（北京师范大学） ； Peking University（北京大学） ； Beijing Institute of Technology（北京理工大学） ； Cornell University（康奈尔大学） ； Beijing Jiaotong University（北京交通大学） ； Renmin University of China（中国人民大学） ； Hong Kong University of Science and Technology (Guangzhou)（广州科技大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.LG

AI总结 本文综述了利用大语言模型（LLM）和智能体系统自动化生成与优化GPU内核的方法，系统梳理了现有方法、数据集和基准，并指出了未来研究方向。

Comments In IJCAI 2026. 9 pages, 1 figure

CoQuIR: A Comprehensive Benchmark for Code Quality-Aware Information Retrieval

CoQuIR：面向代码质量感知信息检索的综合基准

Jiahui Geng, Fengyu Cai, Shaobo Cui, Qing Li, Liangwei Chen, Chenyang Lyu, Haonan Li, Derui Zhu, Walter Pretschner, Heinz Koeppl, Fakhri Karray

机构 * Linköping University（林波伊大学） ； MBZUAI（麦肯锡人工智能研究院） ； TU Darmstadt（德累斯顿技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； EPFL（苏黎世联邦理工学院） ； University of Groningen（Groningen大学） ； Google Tokyo（东京Google） ； Alibaba Group（阿里巴巴集团） ； TU Munich（慕尼黑技术大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 提出首个大规模多语言代码质量感知检索基准CoQuIR，涵盖正确性、效率、安全性和可维护性四维度，通过细粒度标注和两个质量中心指标评估23个模型，发现顶尖模型常无法区分有缺陷代码，并探索了训练方法以提升质量感知能力。

The Periodic Table of LLM Reasoning: A Structured Survey of Reasoning Paradigms, Methods, and Failure Modes

LLM推理的周期表：推理范式、方法与失败模式的结构化综述

Avinash Anand, Mahisha Ramesh, Avni Mittal, Ashutosh Kumar, Rishitej Reddy Vyalla, Erik Cambria, Zhengkui Wang, Timothy Liu, Aik Beng Ng, Simon See, Rajiv Ratn Shah

机构 * Singapore Institute of Technology（新加坡理工大学） ； Nvidia AI Center (SNAIC)（英伟达人工智能中心（SNAIC）） ； MIDAS Lab, IIIT Delhi（IIIT德里MIDAS实验室） ； MIDAS Lab, IIT Mandi（IIT曼迪MIDAS实验室） ； Owl Autonomous Imaging, Inc.（Owl自主成像公司） ； College of Computing & Data Science, NTU Singapore（新加坡南洋理工大学计算与数据科学学院） ； NVIDIA AI Technology Centre, Singapore（英伟达新加坡人工智能技术中心） ； Department of Computer Science and Engineering, IIT Kanpur（IIT坎普尔计算机科学与工程系） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL

AI总结 本文系统综述了300多篇论文，提出LLM推理研究的结构化分类法，涵盖多种推理范式，分析方法论趋势，并总结常见限制与失败模式，旨在为开发更鲁棒、可解释和可泛化的推理系统提供参考。