代码大模型 / AI 编程

Verifier-First Evaluation of Agentic LLMs for Infrastructure-as-Code Generation

用于基础设施即代码生成的智能语言模型的验证优先评估

Mohamed Jouini

专题命中 代码评测 ：code generation(title)；分类 cs.SE、cs.AI

AI总结 研究针对自然语言生成基础设施即代码的问题，对七种智能策略在特定基准测试上进行验证优先评估，通过多种方法得出如主动检索提升性能、迭代优化有收敛效果等五个主要发现，为相关研究提供了重要参考。

Comments 26 pages, 3 figures, 17 tables. Benchmark dataset available at https://huggingface.co/datasets/iac-eval-v2/iac-eval-v2

Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction

腾讯工作伙伴基准测试：一个具有抗污染任务构建的多领域编码智能体基准测试

Tencent WorkBuddy Bench Team, Siqi Cai, Shaopeng Chen, Xiang Fei, Yong Mao, Zihan Xu, Zhiheng Lyu, Zhijian Shao, Yuchen Shi, Shuwen Zhang, Chaofan Qiu, Linjie Che, Xiaoxi Zhao, Feng Wu, Kai Zhang, Chaofan Zhu, Yubin Qi, Xiaoyun Liang, Peijie Dong, Yunhao Zhang, Yuanjie Zhu, Ling Jiang, Xianjun Zhang, Zhehang Chu, Anyuan Sang, Zhen Feng, Sen Nie, Shi Wu, Yuanzhen Xu, Xin Li, Ning Yang, Zhiqiang Dong, Hande Dong, Qiang Lin, Yi Liu, Yunsheng Wu, Ke Li, Xing Sun

机构 * Tencent（腾讯） ； Youtu Lab（腾讯优图实验室） ； Keen Security Lab（腾讯安全科恩实验室） ； Workbuddy（腾讯工作伙伴） ； Yunding Security Lab（腾讯云鼎实验室） 纠错

专题命中 代码评测 ：repository(abstract)；coding agent(abstract)；分类 cs.SE、cs.CL

AI总结 介绍腾讯工作伙伴基准测试这一多领域编码智能体评估套件，核心是统一评估框架，任务经反向设计防污染，数据集公开，四个子集探测工作不同方面，以统一格式和协议运行，还给出跨模型排行榜。

Comments 30 pages, 9 figures. Project page: https://workbuddybench.com/ ; code: https://github.com/Tencent/workbuddy-bench ; dataset: https://huggingface.co/datasets/tencent/workbuddy-bench

Can AI Agents Really Complete RTL-to-GDS? Lessons from Benchmarking Tool-Interactive EDA Workflows

人工智能代理真的能完成从RTL到GDS的转换吗？基准测试工具交互式EDA工作流程的经验教训

Jinyuan Deng, Zhengrui Chen, Xufeng Wei, Tianyu Xing, Chenyi Wen, Qi Sun, Cheng Zhuo

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨人工智能代理在EDA工作流程中的表现，提出FluxBench进行系统评估，涵盖多种场景并评估多项能力，引入Token ROI指标。结果显示不同代理系统架构性能有差距，特定领域技能不是提升性能的唯一关键，系统设计和基础模型能力也很重要。

ADABORD: a novel AdaBoost approach for ordinal classification

ADABORD：一种用于有序分类的新型AdaBoost方法

Rafael Ayllón-Gavilán, Francisco José Martínez-Estudillo, David Guijo-Rubio, César Hervás-Martínez, Pedro A. Gutiérrez

机构 * IMIBIC（IMIBIC（初级保健临床流行病学研究部）） ； Universidad de Córdoba（科尔多瓦大学） ； Universidad Loyola Andalucía（安达卢西亚洛约拉大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 研究有序分类问题，提出ADABORD框架，将类别顺序特性融入AdaBoost算法关键组件，在TOC-UCO库与七种方法比较，实验表明其显著优于竞品，尤其在多类数据集上，且公开代码等方便后续研究。

Comments 42 pages, 6 figures, 7 tables. Submitted to CS top tier journal

CANN Bench: Benchmarking Agent Generated Kernels against Real NPU and Algorithmic Limits

CANN基准测试：针对真实NPU和算法限制对代理生成的内核进行基准测试

Xue-Jian Gao, Deng Pan, Yueming Su, Jiasheng Li, Bin Du, Fengming Zhu, Chengdi Ma, Junyi Fan, Qichen Liao, Chengqiu Hu, Xinxian Chen, Lingchao Zheng, Jun Li, Jiwei Yang, Yuwei Fan

机构 * Huawei（华为） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 研究针对人工智能代理生成的算子内核在Ascend NPU上缺乏通用评估基线的问题，提出CANN Bench基准测试，涵盖多算子和测试用例，采用三维加权综合评分，为Ascend生态系统提供评估算子编写能力的标准。