代码大模型 / AI 编程

AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers

AgentHPOBench：用于评估LLM智能体作为序列超参数优化器的基准

Tianyu Huai, Tingshuo Fan, Xinchi Chen, Yining Zheng, Yuxin Wang, Shuang Chen, Jie Zhou, Xuanjing Huang

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI

AI总结 AgentHPOBench是含30个任务的序列基准，用于评估LLM智能体的超参数优化能力，实验显示其在多领域有优化能力，但在迭代优化等方面存在局限。

CodeSpec: Dual Executable Specifications for Agentic Long-Horizon Feature Development

CodeSpec：面向智能体长周期功能开发的双可执行规范

Peiding Wang, Li Zhang, Fang Liu, Taichuan Li, Yinghao Zhu

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 提出CodeSpec双可执行规范方法，通过配对子需求语义与仓库架构构建可靠功能链，在FeatureBench上优于基线，提升了长周期功能开发的设计与实现一致性及性能。

ExplainBench: Evaluating Code Explanations from Agents

ExplainBench：评估智能体生成的代码解释

Zhiyuan Pan, Sungmin Kang, Imam Nur Bani Yusuf, Abhik Roychoudhury

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE

AI总结 该研究针对智能体代码解释缺乏评估基准的问题，提出ExplainBench基准，实验发现其对智能体的排名与SWE-bench Verified不同，还实现了解释审核智能体，可提升智能体解释的可信度。

Comments ASE 2026

MemLens: A Value-Aware Memory Management System with Interactive Analytics for LLM-based Agents

MemLens：一种用于基于大语言模型的智能体的具有交互式分析的价值感知内存管理系统

Shuyue Wei, Chang Liu, Zimu Zhou, Yongxin Tong, Lizhen Cui

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 研究针对基于LLM的智能体内存管理问题，提出价值感知内存管理系统MemLens，通过端到端交互式分析仪表板展示内存生命周期，经学习助手应用程序帮助用户比较策略，可实现高效、可解释和个性化的长期内存管理。

ParasGB: A Graph Benchmark Suite for Parasitic Estimation on AMS Circuits

ParasGB：用于 AMS 电路寄生估计的图形基准套件

Jiajun Zou, Jiawei Liu, Ao Liu, Junnong Tian, Yibin Zhang, Chengjie Liu, Yuxi Wang, Shan Shen, Wenhua Gu, Jun Yang, Wenjian Yu

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 研究针对 AMS 电路寄生估计问题，引入 ParasGB 开源基准套件，提供大规模异构 RC 网络与统一评估协议，用标准化流程对 GNN 架构基准测试，揭示相关挑战，为电路图学习和寄生感知模型开发提供可重复研究平台。

Comments Published at ICCAD2026. Full appendix version

MINT-V2X: A Mobility-Integrated Network Trajectory Dataset for Predictive Resource Management

MINT-V2X：用于预测资源管理的移动集成网络轨迹数据集

Abdullah Anjum, Abdolazim Rezaei, Mehdi Sookhak

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 本文介绍用于预测资源管理的移动集成网络轨迹数据集MINT-V2X，它通过耦合SUMO与OMNeT++/Simu5G生成，经多项测试验证，包含大量同步数据点，通过案例研究证明其在RSU负载预测上比仅用网络历史基线性能更好。

ParBench: A Benchmark for Reliable Evaluation of LLM Parallel Code Translation

ParBench：用于可靠评估大语言模型并行代码翻译的基准测试

Samyak Jhaveri, Erel Kaplan, Tom Yotam, Le Chen, Tomer Bitan, Niranjan Hasabnis, Gal Oren

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 研究针对大语言模型并行代码翻译缺乏可靠评估方法的问题，提出ParBench基准框架，通过声明性规范评估，涵盖多开源套件与跨API翻译方向，经源增强测试，揭示了当前并行代码翻译存在的如方向不对称等障碍。

Comments 57 pages, 22 figures, 11 tables; includes appendices

PhononBench-MP40: a spectrum-resolved benchmark dataset for phonon stability

PhononBench-MP40：用于声子稳定性的光谱分辨基准数据集

Wen-Kao Li, Ze-Feng Gao, Zhong-Yi Lu

机构 * School of Physics and Key Laboratory of Quantum State Construction and Manipulation (Ministry of Education), Renmin University of China（中国人民大学物理学院及量子态构建与调控教育部重点实验室） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 研究针对计算材料筛选中虚声子模式瓶颈，提出PhononBench-MP40数据集，源于47969个MP40任务，含4类记录。通过科学数据银行公开，配套GitHub仓库提供代码等，为相关研究提供可审计参考。

Comments 18 pages, 3 figures, includes Supplementary Information

Do Agent Benchmarks Measure Capability? Protocol Validity in the Age of Agentic AI

智能体基准测试能衡量能力吗？智能体人工智能时代的协议有效性

Jiaqi Shao, Hanck Chen, Wei Zhang, Maxm Pan, Bing Luo

机构 * Tencent（腾讯） ； The Hong Kong University of Science and Technology（香港科技大学） ； Duke Kunshan University（昆山杜克大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 研究智能体基准测试分数能否衡量能力，提出协议有效性概念及HackDetect事后审计方法，通过审计多基准测试轨迹发现暴露和奖励破解证据，量化分数膨胀，强调基准测试报告应证明分数反映预期能力。

ADABORD: a novel AdaBoost approach for ordinal classification

ADABORD：一种用于有序分类的新型AdaBoost方法

Rafael Ayllón-Gavilán, Francisco José Martínez-Estudillo, David Guijo-Rubio, César Hervás-Martínez, Pedro A. Gutiérrez

机构 * IMIBIC（IMIBIC（初级保健临床流行病学研究部）） ； Universidad de Córdoba（科尔多瓦大学） ； Universidad Loyola Andalucía（安达卢西亚洛约拉大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 研究有序分类问题，提出ADABORD框架，将类别顺序特性融入AdaBoost算法关键组件，在TOC-UCO库与七种方法比较，实验表明其显著优于竞品，尤其在多类数据集上，且公开代码等方便后续研究。

Comments 42 pages, 6 figures, 7 tables. Submitted to CS top tier journal

CANN Bench: Benchmarking Agent Generated Kernels against Real NPU and Algorithmic Limits

CANN基准测试：针对真实NPU和算法限制对代理生成的内核进行基准测试

Xue-Jian Gao, Deng Pan, Yueming Su, Jiasheng Li, Bin Du, Fengming Zhu, Chengdi Ma, Junyi Fan, Qichen Liao, Chengqiu Hu, Xinxian Chen, Lingchao Zheng, Jun Li, Jiwei Yang, Yuwei Fan

机构 * Huawei（华为） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 研究针对人工智能代理生成的算子内核在Ascend NPU上缺乏通用评估基线的问题，提出CANN Bench基准测试，涵盖多算子和测试用例，采用三维加权综合评分，为Ascend生态系统提供评估算子编写能力的标准。

Beyond Resolved Rate: A Non-Functional Quality Study

超越解决率：非功能性质量研究

Xin Sun, Daniel Ståhl, Kristian Sandahl, Christoph Kessler

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 研究对比新旧模型在存储库级修复任务中生成补丁的非功能性质量，通过两个案例研究，用CodeQL等工具评估，发现新模型解决实例更多，但非功能性指标无一致改善，旨在推动对模型软件工程能力的全面评估。

When Post-Anchor Metrics Fail: Stabilization Regimes in AI-Evidence Open-Source Projects

当后锚定指标失败时：人工智能证据开源项目中的稳定机制

Hudson Craig, Benjamin Barlog, Chenggang Wang, Longwei Wang, Zedong Peng

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 研究人工智能证据开源项目中架构变更后稳定义务衡量问题，指出后锚定稳定密度指标失败，引入稳定机制并人工验证校准，强调需受控设计与机制感知归因来可靠识别稳定义务。

Are LLM-Generated GPU Kernels Production-Ready? A Trace-Driven Benchmark and Optimization Agent

大语言模型生成的GPU内核能否用于生产？基于追踪的基准测试与优化代理

Lingyun Yang, Yuxiao Wang, Shenghao Liang, Linfeng Yang, Daocheng Ying, Chunbo You, Rui Zhang, Luping Wang, Yinghao Yu, Guodong Yang, Liping Zhang

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 研究大语言模型生成GPU内核用于生产的可行性，提出Atrex-Bench基准测试，发现现有模型表现不佳。为此发布Atrex-Kernel-Agent优化代理，结合多种技术，经案例研究能将回退转换为匹配或超越生产基线的内核。

Comments Both artifacts are released as open source: Atrex-Bench (https://github.com/alibaba/atrex-bench) and Atrex-Kernel-Agent (https://github.com/alibaba/atrex-kernel-agent)

Can LLMs Write Reliable Rubrics? A Meta-Evaluation for Experiment Reproduction

大语言模型能写出可靠的评分标准吗？实验复现的元评估

Hanhua Hong, Yizhi Li, Jiaoyan Chen, Luu Gia Huy, Sophia Ananiadou, Jung-jae Kim, Chenghua Lin

机构 * The University of Manchester（曼彻斯特大学） ； Institute for Infocomm Research (I²R), A*STAR（资讯通信研究院（I²R），新加坡科技研究局） ； IQuest Research（IQuest研究公司） ； ELLIS Manchester（ELLIS曼彻斯特） ； University of Information Technology, VNU（越南国家大学信息技术大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 研究大语言模型生成的论文复现评分标准，将其 reformulate 为清单样式，在两个骨干模型上评估四种生成设置，通过语义相似性和分数对齐进行元评估，结果显示增强设置改善下游评估对齐，同时指出其存在过于细化、偏向高分和适应性差等问题。

Evaluating Static and Process Evidence for Code Authorship in Programming Education

评估编程教育中代码作者身份的静态和过程证据

Marek Horváth

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 研究编程教育中代码作者身份问题，通过任务感知评估对比不同环境，发现竞赛数据信号强，教育数据集弱，添加过程特征可提升其性能，表明过程模式能补充最终代码信号，模型适合作教师决策支持。

Is Three the Magic Number? An Empirical Evaluation of LLM-Based Repair Loops

三是神奇数字吗？基于大语言模型的修复循环的实证评估

Tobias Kiecker, Eik Reichmann, Hosung Kang, Gabin An, Lars Grunske

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE

AI总结 研究基于大语言模型的修复循环迭代限制，通过多个软件工程任务观察到收益递减模式，前几次迭代收获大，后续贡献小，还发现修复行为受工作流编排和反馈设计影响更大。

Comments 4 Pages (+1 for references), NIER Paper

Beyond Document Grounding: Span-Level Hallucination Detection over Code, Tool Output, and Documents

超越文档基础：代码、工具输出和文档上的跨度级幻觉检测

Ádám Kovács, Bowei He, Xue Liu, István Boros, Szilveszter Tóth, Gábor Recski

机构 * KR Labs（KR实验室） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； McGill University（麦吉尔大学） ； TU Wien（维也纳工业大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 提出一个统一的跨度级幻觉检测基准，涵盖代码、工具输出、结构化文档和自然语言RAG数据，通过微调Qwen3.5-2B模型在跨域场景下显著优于现有方法。

Comments 8 pages

AutoTrainess: Teaching Language Models to Improve Language Models Autonomously

AutoTrainess: 教语言模型自主改进语言模型

Zhaojian Yu, Penghao Yin, Shuzheng Gao, Shilin He, Kai Cai, Xiao-Ping Zhang

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 提出AutoTrainess智能体，通过外部化人类经验为工作流和约束，在PostTrainBench上超越CLI基线，平均得分从23.21提升至26.94。

NSynC: Normalised Synthesis of Computation

NSynC：计算的归一化综合

Zoey Shepherd, Ohad Kammar, Elizabeth Polgreen

专题命中 代码评测 ：program synthesis(abstract)；分类 cs.PL

AI总结 提出NSynC方法，通过直接枚举语义而非语法来避免程序综合中的语义重复，实现8.93倍加速。

Comments 21 pages (of which 17 in appendix), 12 figures (of which 11 in appendix). Accepted to SYNT 2026

Are LLMs Ready for Anti-Pattern Detection in Microservice Architectures?

LLM 是否准备好检测微服务架构中的反模式？

Marco De Luca, Domenico Amalfitano, Porfirio Tramontana, Anna Rita Fasolino

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 本文研究大型语言模型（LLM）通过提示分析微服务仓库静态制品来检测16种架构反模式的能力，与静态分析工具MARS对比，发现LLM在局部、异构或语义丰富的反模式上表现有竞争力，但在需要结构或跨服务依赖证据时受限，可作为补充工具。

Comments accepted at ICSME 2026

LLM4MTLs: Automated Generation and Empirical Evaluation of Model Transformation Languages

LLM4MTLs：模型转换语言的自动生成与实证评估

Bowen Jiang, Nathan Hagel, Haowei Cheng, Benedikt Jutz, Arne Lange, Weixing Zhang, Rahul Sharma, Ralf Reussner, Anne Koziolek

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE

AI总结 提出LLM4MTLs工作流，通过少样本提示、语法提示和辅助方法组合，自动生成并评估LLM编写的模型转换代码，发现少样本提示能提升语法质量但语义改进有限。

Early-Exit Graph Neural Networks for Link Prediction

用于链接预测的早期退出图神经网络

Roman Knyazhitskiy, Andrea Giuseppe Di Francesco

机构 * University of Cambridge（剑桥大学） ； Sapienza University of Rome（罗马大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 提出一种无需辅助损失的早期退出策略，在GCN和SAS-GNN骨干网络上实现链接预测的加速，同时保持或提升预测质量。

Comments Accepted at LoG@Pisa 2026

Object-Centric Dataset Resources for Constrained-Data Image Generation and Augmentation

面向受限数据图像生成与增强的以对象为中心的数据集资源

Vasile Marian, Yong-Bin Kang, Alexander Buddery

机构 * The University of Queensland（昆士兰大学） ； Swinburne University of Technology（斯威本科技大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 针对少样本场景下的对象中心图像生成，提出三个标准化数据集资源（Cityscapes-Pedestrian、TrafficSigns、COCO PottedPlant），提供256×256裁剪、边界框标注及重建脚本，支持受控比较与评估。

Comments 5 pages including references, 2 figures, 2 tables. Dataset and related files at https://github.com/Latzi/object-centric-low-data-datasets and https://doi.org/10.5281/zenodo.20573001

Local LLM Agents as Vulnerable Runtimes:A Source-Code Audit of the Agent Runtime Layer

本地LLM智能体作为易受攻击的运行时：智能体运行时层的源代码审计

Zhengsong Zhang, Zongze Li, Jiawei Guo, Haipeng Cai

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； University at Buffalo, SUNY（布法罗大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 提出CLAWAUDIT静态审计框架，通过STRIDE导出的五类漏洞分类法和自定义静态分析规则，评估本地LLM智能体运行时的安全弱点，在OpenClaw基准上显著提升召回率。

GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine?

GameCraft-Bench：智能体能否在真实游戏引擎中端到端构建可玩游戏？

Tongxu Luo, Rongsheng Wang, Jiaxi Bi, Chenming Xu, Zhengyang Tang, Jianlong Chen, Juhao Liang, Ke Ji, Shuqi Guo, Yuhao Du, Fan Bu, Wenyu Du, Xiaotong Zhang, Kyle Li, Shaobo Wang, Linfeng Zhang, Yuxuan Liu, Xin Lai, Chenxin Li, Yiduo Guo, Zhexin Zhang, Xinyuan Wang, Tianyi Bai, Ziniu Li, Benyou Wang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； Hunyuan Team, Tencent（腾讯混元团队） ； USTB（北京科技大学） ； DualverseAI ； SJTU（上海交通大学） ； NUS（新加坡国立大学） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.CL

AI总结 提出GameCraft-Bench基准，评估编码智能体在Godot引擎中端到端生成可玩游戏的能力，最强智能体仅达41.46%成功率。

MultiMolecule: a modular ecosystem for biomolecular sequence-model workflows

MultiMolecule: 一个用于生物分子序列模型工作流的模块化生态系统

Zhiyuan Chen

机构 * DanLing Team（丹 Ling 团队） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 提出MultiMolecule开源生态系统，通过标准化接口整合RNA、DNA和蛋白质序列模型，提供53个模型族实现、112个检查点和16个数据集资源，支持模型复用、评估和生物预测。

A Comprehensive Survey of Medical Image Segmentation: Challenges, Benchmarks, and Beyond

医学图像分割综述：挑战、基准与未来展望

Pengyu Zhu, Xiaojing Zhang, Kunbo Zhang, Chunyan Zhang, Zhenyu Wang

机构 * School of Control and Computer Engineering, North China Electric Power University（华北电力大学控制与计算机工程学院） ； SPIC Digital Technology Co., Ltd（国家电投数字科技有限公司） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Department 6 of Health Care, Second Medical Center, People’s Liberation Army General Hospital（中国人民解放军总医院第二医学中心健康医学科六病区） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 本文系统综述了基于U-Net、Transformer和SAM架构的医学图像分割方法，分析主要挑战，旨在指导未来研究并推动临床转化。

Comments 12 pages,3 figures,1 table. All related resources are available at https://github.com/andrew-pengyu/Awsome_MedSeg/tree/main

Reward Hacking in Language Model Agents: Revisiting AI Safety Gridworlds

语言模型智能体中的奖励黑客：重新审视AI安全网格世界

Ömer Veysel Çağatan, Xuandong Zhao

机构 * KUIS AI Center, Koç University（科奇大学KUIS人工智能中心） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 本研究将AI安全网格世界框架改编为文本评估套件，发现语言模型在零样本下出现规范博弈，通过直接奖励优化扩大观察与隐藏奖励差距，且标准缓解措施无效。

Comments 28 pages, 16 figures, 13 tables

Reasoning for Mobile User Experience with Multimodal LLMs: Task, Benchmark, and Approach

基于多模态大语言模型的移动用户体验推理：任务、基准与方法

Ruichao Mao, Zhou Fang, Teng Guo, Hao Yang, Yaping Li, Shaohua Peng, Maji Huang, Xiaoyu Lin, Shuoyang Liu, Xuepeng Li, Yuyu Zhang, Hai Rao

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI

AI总结 提出UXBench基准（2000个VQA样本）评估多模态大模型在UI推理上的能力，并设计UI-UX模型，通过奖励路由和不对称过渡奖励机制在UXBench上达到0.7963准确率，超越Claude-4.5-Sonnet。

Comments 10 pages, 6 figures, Accepted at CVPR 2026 Findings