代码大模型 / AI 编程

CANN Bench: Benchmarking Agent Generated Kernels against Real NPU and Algorithmic Limits

CANN基准测试：针对真实NPU和算法限制对代理生成的内核进行基准测试

Xue-Jian Gao, Deng Pan, Yueming Su, Jiasheng Li, Bin Du, Fengming Zhu, Chengdi Ma, Junyi Fan, Qichen Liao, Chengqiu Hu, Xinxian Chen, Lingchao Zheng, Jun Li, Jiwei Yang, Yuwei Fan

机构 * Huawei（华为） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 研究针对人工智能代理生成的算子内核在Ascend NPU上缺乏通用评估基线的问题，提出CANN Bench基准测试，涵盖多算子和测试用例，采用三维加权综合评分，为Ascend生态系统提供评估算子编写能力的标准。

Beyond Resolved Rate: A Non-Functional Quality Study

超越解决率：非功能性质量研究

Xin Sun, Daniel Ståhl, Kristian Sandahl, Christoph Kessler

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 研究对比新旧模型在存储库级修复任务中生成补丁的非功能性质量，通过两个案例研究，用CodeQL等工具评估，发现新模型解决实例更多，但非功能性指标无一致改善，旨在推动对模型软件工程能力的全面评估。

When Post-Anchor Metrics Fail: Stabilization Regimes in AI-Evidence Open-Source Projects

当后锚定指标失败时：人工智能证据开源项目中的稳定机制

Hudson Craig, Benjamin Barlog, Chenggang Wang, Longwei Wang, Zedong Peng

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 研究人工智能证据开源项目中架构变更后稳定义务衡量问题，指出后锚定稳定密度指标失败，引入稳定机制并人工验证校准，强调需受控设计与机制感知归因来可靠识别稳定义务。

SEC-bench Pro: Can Language Models Solve Long-Horizon Software Security Tasks?

SEC-bench Pro：语言模型能解决长周期软件安全任务吗？

Hwiwon Lee, Jiawei Liu, Dongjun Kim, Wubing Xia, Ziqi Zhang, Chunqiu Steven Xia, Lingming Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.LG

AI总结 提出SEC-bench Pro基准，通过三阶段流程构建包含V8和SpiderMonkey共183个已验证漏洞的测试集，评估前沿语言模型在长周期漏洞狩猎任务中的表现，发现最高成功率仅48.8%。

Agentic Vulnerability Reasoning on COTS Binaries

基于商用现货二进制文件的智能体漏洞推理

Hwiwon Lee, Jongseong Kim, Lingming Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.LG

AI总结 研究LLM智能体对COTS二进制文件漏洞的推理能力，构建SLYP管道，结合二进制探索与动态调试验证漏洞。在COM基准测试中表现出色，发现更多真实漏洞，生成验证PoC，还发现多个零日漏洞，证明工具集和模型选择的重要性及通用性。

Are LLM-Generated GPU Kernels Production-Ready? A Trace-Driven Benchmark and Optimization Agent

大语言模型生成的GPU内核能否用于生产？基于追踪的基准测试与优化代理

Lingyun Yang, Yuxiao Wang, Shenghao Liang, Linfeng Yang, Daocheng Ying, Chunbo You, Rui Zhang, Luping Wang, Yinghao Yu, Guodong Yang, Liping Zhang

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 研究大语言模型生成GPU内核用于生产的可行性，提出Atrex-Bench基准测试，发现现有模型表现不佳。为此发布Atrex-Kernel-Agent优化代理，结合多种技术，经案例研究能将回退转换为匹配或超越生产基线的内核。

Comments Both artifacts are released as open source: Atrex-Bench (https://github.com/alibaba/atrex-bench) and Atrex-Kernel-Agent (https://github.com/alibaba/atrex-kernel-agent)

Can LLMs Write Reliable Rubrics? A Meta-Evaluation for Experiment Reproduction

大语言模型能写出可靠的评分标准吗？实验复现的元评估

Hanhua Hong, Yizhi Li, Jiaoyan Chen, Luu Gia Huy, Sophia Ananiadou, Jung-jae Kim, Chenghua Lin

机构 * The University of Manchester（曼彻斯特大学） ； Institute for Infocomm Research (I²R), A*STAR（资讯通信研究院（I²R），新加坡科技研究局） ； IQuest Research（IQuest研究公司） ； ELLIS Manchester（ELLIS曼彻斯特） ； University of Information Technology, VNU（越南国家大学信息技术大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 研究大语言模型生成的论文复现评分标准，将其 reformulate 为清单样式，在两个骨干模型上评估四种生成设置，通过语义相似性和分数对齐进行元评估，结果显示增强设置改善下游评估对齐，同时指出其存在过于细化、偏向高分和适应性差等问题。

Agent-Based Software Artifact Evaluation

基于代理的软件工件评估

Zhaonan Wu, Yanjie Zhao, Zhenpeng Chen, Zheng Wang, Haoyu Wang

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE

AI总结 研究针对软件工件评估中人工评估难及现有政策缺乏验证标准的问题，构建ArtifactGuide评分标准，设计ArtifactCopilot代理，通过实验评估，该框架提升了评估性能，提高了评审信心，还为设计高质量工件提供了实践指导。

Restricted Dynamic Geometric Complexity: Path-Space Reduction and Möbius--Jacobi Response

受限动态几何复杂度：结构化预处理的证书

Zavier Li

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 研究优化几何动力学中受限动态几何复杂度，通过发展相关理论，如单调性和子流形距离原理等，将结构化预处理器问题转化为几何问题，还给出低秩谱模型等诊断接口及相关工作流程。

Comments 32 pages, 1 table

Evaluating Static and Process Evidence for Code Authorship in Programming Education

评估编程教育中代码作者身份的静态和过程证据

Marek Horváth

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 研究编程教育中代码作者身份问题，通过任务感知评估对比不同环境，发现竞赛数据信号强，教育数据集弱，添加过程特征可提升其性能，表明过程模式能补充最终代码信号，模型适合作教师决策支持。

Simulstream: Open-Source Toolkit for Evaluation and Demonstration of Streaming Speech-to-Text Translation Systems

Simulstream：用于评估和演示流式语音到文本翻译系统的开源工具包

Marco Gaido, Sara Papi, Mauro Cettolo, Matteo Negri, Luisa Bentivogli

机构 * Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 研究流式语音到文本翻译在评估上的问题，提出开源框架simulstream，支持长语音的增量和重新翻译解码，能进行质量和延迟评估及实时可视化比较，填补了相关统一解决方案的空白。

Is Three the Magic Number? An Empirical Evaluation of LLM-Based Repair Loops

三是神奇数字吗？基于大语言模型的修复循环的实证评估

Tobias Kiecker, Eik Reichmann, Hosung Kang, Gabin An, Lars Grunske

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE

AI总结 研究基于大语言模型的修复循环迭代限制，通过多个软件工程任务观察到收益递减模式，前几次迭代收获大，后续贡献小，还发现修复行为受工作流编排和反馈设计影响更大。

Comments 4 Pages (+1 for references), NIER Paper

A Technical Survey of Reinforcement Learning Techniques for Large Language Models

大语言模型强化学习技术的技术综述

Saksham Sahai Srivastava, Vaneet Aggarwal

机构 * University of Georgia（佐治亚大学） ； Purdue University（普渡大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI

AI总结 综述强化学习与语言模型整合，介绍如近端策略优化等算法，分析其在各领域应用，对失败模式算法分析，给出分类法，评估趋势并探讨挑战与新兴方向，为研究提供路线图。

Comments Accepted to ACM Transactions on Intelligent Systems and Technology, June 2026

Beyond Document Grounding: Span-Level Hallucination Detection over Code, Tool Output, and Documents

超越文档基础：代码、工具输出和文档上的跨度级幻觉检测

Ádám Kovács, Bowei He, Xue Liu, István Boros, Szilveszter Tóth, Gábor Recski

机构 * KR Labs（KR实验室） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； McGill University（麦吉尔大学） ； TU Wien（维也纳工业大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 提出一个统一的跨度级幻觉检测基准，涵盖代码、工具输出、结构化文档和自然语言RAG数据，通过微调Qwen3.5-2B模型在跨域场景下显著优于现有方法。

Comments 8 pages

AutoTrainess: Teaching Language Models to Improve Language Models Autonomously

AutoTrainess: 教语言模型自主改进语言模型

Zhaojian Yu, Penghao Yin, Shuzheng Gao, Shilin He, Kai Cai, Xiao-Ping Zhang

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 提出AutoTrainess智能体，通过外部化人类经验为工作流和约束，在PostTrainBench上超越CLI基线，平均得分从23.21提升至26.94。

NSynC: Normalised Synthesis of Computation

NSynC：计算的归一化综合

Zoey Shepherd, Ohad Kammar, Elizabeth Polgreen

专题命中 代码评测 ：program synthesis(abstract)；分类 cs.PL

AI总结 提出NSynC方法，通过直接枚举语义而非语法来避免程序综合中的语义重复，实现8.93倍加速。

Comments 21 pages (of which 17 in appendix), 12 figures (of which 11 in appendix). Accepted to SYNT 2026

Implementation of Hyperelastic Physics-Augmented Neural Networks in the Explicit Finite Element Codes Simcenter Radioss and OpenRadioss with Applications to Impact Events

显式有限元代码Simcenter Radioss和OpenRadioss中超弹性物理增强神经网络的实现及其在冲击事件中的应用

Lukas Maurer, Sascha Eisenträger, Marian Bulla, Daniel Juhre

机构 * Otto von Guericke University（奥托·冯·格里克大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 提出将物理增强神经网络（PANNs）集成到显式有限元求解器的方法，通过自动生成Fortran用户材料子程序实现高效计算，并验证其在超弹性材料冲击模拟中的准确性。

Comments 26 pages, 11 Figures, 11 Listings, 4 Tables

Are LLMs Ready for Anti-Pattern Detection in Microservice Architectures?

LLM 是否准备好检测微服务架构中的反模式？

Marco De Luca, Domenico Amalfitano, Porfirio Tramontana, Anna Rita Fasolino

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 本文研究大型语言模型（LLM）通过提示分析微服务仓库静态制品来检测16种架构反模式的能力，与静态分析工具MARS对比，发现LLM在局部、异构或语义丰富的反模式上表现有竞争力，但在需要结构或跨服务依赖证据时受限，可作为补充工具。

Comments accepted at ICSME 2026

HELIOT: LLM-Based CDSS for Adverse Drug Reaction Management

HELIOT：基于LLM的临床决策支持系统用于不良药物反应管理

Gabriele De Vito, Filomena Ferrucci, Athanasios Angelakis

机构 * Software Engineering (SeSa) Lab University of Salerno（软件工程（SeSa）实验室，萨勒诺大学） ； Amsterdam UMC Locatie AMC Amsterdam, The Netherlands（阿姆斯特丹大学医学中心（AMC）阿姆斯特丹，荷兰） ； Digital Health（数字健康；方法学；阿姆斯特丹公共卫生研究所阿姆斯特丹，荷兰） ； Methodology（阿姆斯特丹大学数据科学中心阿姆斯特丹，荷兰） ； Amsterdam Public Health Research Institute Amsterdam, The Netherlands ； University of Amsterdam Data Science Center Amsterdam, The Netherlands 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 HELIOT利用大语言模型处理非结构化临床数据，通过提取药物反应信息和学习患者用药耐受性，减少误报并提升不良药物事件预警的准确性与实用性。

LLM4MTLs: Automated Generation and Empirical Evaluation of Model Transformation Languages

LLM4MTLs：模型转换语言的自动生成与实证评估

Bowen Jiang, Nathan Hagel, Haowei Cheng, Benedikt Jutz, Arne Lange, Weixing Zhang, Rahul Sharma, Ralf Reussner, Anne Koziolek

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE

AI总结 提出LLM4MTLs工作流，通过少样本提示、语法提示和辅助方法组合，自动生成并评估LLM编写的模型转换代码，发现少样本提示能提升语法质量但语义改进有限。

Business as Rulesual: A Benchmark and Framework for Business Rule Flow Modeling with LLMs

业务即规则：面向LLM的业务规则流建模基准与框架

Chen Yang, Ruping Xu, Ruizhe Li, Bin Cao, Jing Fan

机构 * Zhejiang University of Technology（浙江工业大学） ； Zhejiang Key Laboratory of Visual Information Intelligent Processing（浙江省视觉信息智能处理重点实验室） ； University of Aberdeen（阿伯丁大学） ； University of Birmingham（伯明翰大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL

AI总结 提出BREX基准（409份真实业务文档与2855条专家标注规则）和ExIde框架，通过可执行伪代码生成显式建模规则依赖，在13个LLM上验证了可执行接地作为归纳偏置的有效性。

Early-Exit Graph Neural Networks for Link Prediction

用于链接预测的早期退出图神经网络

Roman Knyazhitskiy, Andrea Giuseppe Di Francesco

机构 * University of Cambridge（剑桥大学） ； Sapienza University of Rome（罗马大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 提出一种无需辅助损失的早期退出策略，在GCN和SAS-GNN骨干网络上实现链接预测的加速，同时保持或提升预测质量。

Comments Accepted at LoG@Pisa 2026

Object-Centric Dataset Resources for Constrained-Data Image Generation and Augmentation

面向受限数据图像生成与增强的以对象为中心的数据集资源

Vasile Marian, Yong-Bin Kang, Alexander Buddery

机构 * The University of Queensland（昆士兰大学） ； Swinburne University of Technology（斯威本科技大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 针对少样本场景下的对象中心图像生成，提出三个标准化数据集资源（Cityscapes-Pedestrian、TrafficSigns、COCO PottedPlant），提供256×256裁剪、边界框标注及重建脚本，支持受控比较与评估。

Comments 5 pages including references, 2 figures, 2 tables. Dataset and related files at https://github.com/Latzi/object-centric-low-data-datasets and https://doi.org/10.5281/zenodo.20573001

Local LLM Agents as Vulnerable Runtimes:A Source-Code Audit of the Agent Runtime Layer

本地LLM智能体作为易受攻击的运行时：智能体运行时层的源代码审计

Zhengsong Zhang, Zongze Li, Jiawei Guo, Haipeng Cai

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； University at Buffalo, SUNY（布法罗大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 提出CLAWAUDIT静态审计框架，通过STRIDE导出的五类漏洞分类法和自定义静态分析规则，评估本地LLM智能体运行时的安全弱点，在OpenClaw基准上显著提升召回率。

MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills

MalSkillBench: 一个运行时验证的恶意智能体技能基准

Wenbo Guo, Wei Zeng, Chengwei Liu, Xiaojun Jia, Yijia Xu, Lei Tang, Yong Fang, Yang Liu

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE

AI总结 提出MalSkillBench，首个运行时验证的恶意智能体技能基准，包含3944个恶意技能，通过闭环生成-验证-反馈流水线构建，揭示代码注入与提示注入检测的不对称性，并指出联合推理任务意图、代码和指令的必要性。

MCP-SandboxScan: WASM-based Secure Execution and Runtime Analysis for MCP Tools

MCP-SandboxScan：基于WASM的MCP工具安全执行与运行时分析

Zhuoran Tan, Run Hao, Jeremy Singer, Yutian Tang, Christos Anagnostopoulos

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 本文提出MCP-SandboxScan框架，通过WASM环境执行工具并提取运行时证据，结合语义分析识别MCP工具的风险，验证其在跨语言项目、 evasion基准和100个仓库中的有效性。

LivePI: More Realistic Benchmarking of Agents Against Indirect Prompt Injection

LivePI：更真实的智能体对抗间接提示注入基准测试

Lei Zhao, Abhay Bhaskar, Edgar Dobriban

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 提出LivePI基准，覆盖7种输入表面、12种攻击/渲染家族和5种恶意目标，在真实虚拟机环境中评估多个AI智能体，发现攻击成功率10.7%-29.6%，并验证了两层防御的有效性。

GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine?

GameCraft-Bench：智能体能否在真实游戏引擎中端到端构建可玩游戏？

Tongxu Luo, Rongsheng Wang, Jiaxi Bi, Chenming Xu, Zhengyang Tang, Jianlong Chen, Juhao Liang, Ke Ji, Shuqi Guo, Yuhao Du, Fan Bu, Wenyu Du, Xiaotong Zhang, Kyle Li, Shaobo Wang, Linfeng Zhang, Yuxuan Liu, Xin Lai, Chenxin Li, Yiduo Guo, Zhexin Zhang, Xinyuan Wang, Tianyi Bai, Ziniu Li, Benyou Wang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； Hunyuan Team, Tencent（腾讯混元团队） ； USTB（北京科技大学） ； DualverseAI ； SJTU（上海交通大学） ； NUS（新加坡国立大学） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.CL

AI总结 提出GameCraft-Bench基准，评估编码智能体在Godot引擎中端到端生成可玩游戏的能力，最强智能体仅达41.46%成功率。

MultiMolecule: a modular ecosystem for biomolecular sequence-model workflows

MultiMolecule: 一个用于生物分子序列模型工作流的模块化生态系统

Zhiyuan Chen

机构 * DanLing Team（丹 Ling 团队） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 提出MultiMolecule开源生态系统，通过标准化接口整合RNA、DNA和蛋白质序列模型，提供53个模型族实现、112个检查点和16个数据集资源，支持模型复用、评估和生物预测。

A Comprehensive Survey of Medical Image Segmentation: Challenges, Benchmarks, and Beyond

医学图像分割综述：挑战、基准与未来展望

Pengyu Zhu, Xiaojing Zhang, Kunbo Zhang, Chunyan Zhang, Zhenyu Wang

机构 * School of Control and Computer Engineering, North China Electric Power University（华北电力大学控制与计算机工程学院） ； SPIC Digital Technology Co., Ltd（国家电投数字科技有限公司） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Department 6 of Health Care, Second Medical Center, People’s Liberation Army General Hospital（中国人民解放军总医院第二医学中心健康医学科六病区） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 本文系统综述了基于U-Net、Transformer和SAM架构的医学图像分割方法，分析主要挑战，旨在指导未来研究并推动临床转化。

Comments 12 pages,3 figures,1 table. All related resources are available at https://github.com/andrew-pengyu/Awsome_MedSeg/tree/main