代码大模型 / AI 编程

Form, Not Content? A Preregistered, Placebo-Controlled Evaluation of Learned Error-Conditioned Self-Repair Through Prompts and Weights in Frozen Small Code Models

形式而非内容？对冻结小代码模型中通过提示和权重进行的学习错误条件自修复的预注册、安慰剂对照评估

Mehmet Iscan

机构 * PythaLab, Yıldız Technical University, Istanbul, Turkey（PythaLab，Yıldız技术大学，伊斯坦布尔，土耳其） 纠错

专题命中 代码评测 ：code model(title,abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 研究冻结小代码模型中错误条件自修复，引入PoPE方法，通过提示和权重通道对其评估，结果表明在提示通道内容消除形式安慰剂下解锁单元数有差异，权重通道各情况有不同表现，未确认内容归因优越性，PoPE是可重新测试的测量标准。

Comments 54 pages, 6 figures, 17 tables. Preregistered, placebo-controlled evaluation

AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation

AgentLens：用于编码智能体评估的生产评估轨迹审查

Andrey Podivilov, Vadim Lomshakov, Sergey Savin, Matvei Startsev, Roman Pozharskiy, Maksim Parshin, Sergey Nikolenko

机构 * Explyt ； St. Petersburg Department of the Steklov Institute of Mathematics（圣彼得堡斯捷克洛夫数学研究所圣彼得堡分部） ； St. Petersburg State University（圣彼得堡国立大学） 纠错

专题命中 代码评测 ：coding agent(title)；分类 cs.SE、cs.AI、cs.LG

AI总结 介绍用于编码智能体评估的AgentLens基准，结合形式验证、大语言模型编写的轨迹审查和并排比较来评估智能体整个轨迹，不仅能排名，还可用于诊断模型行为、比较智能体版本及发现产品回归问题，且已开源。

Git-Assistant: Planning-Based Support for Updating Git Repositories

Git辅助工具：基于规划的Git仓库更新支持

Alfredo Garrachón Ruiz, Tomás de la Rosa, Daniel Borrajo

机构 * AI Research, JPMorganChase（人工智能研究，摩根大通） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 研究针对git工具对开发者有挑战的问题，提出结合大语言模型与自动规划的Git-Assistant，经合成和随机git环境评估，证明该方法能提升仓库管理可靠性、减少错误，展现混合人工智能方法在开发者辅助上的潜力。

Comments Pending permissions from the private company

Can LLMs Write Reliable Rubrics? A Meta-Evaluation for Experiment Reproduction

大语言模型能写出可靠的评分标准吗？实验复现的元评估

Hanhua Hong, Yizhi Li, Jiaoyan Chen, Luu Gia Huy, Sophia Ananiadou, Jung-jae Kim, Chenghua Lin

机构 * The University of Manchester（曼彻斯特大学） ； Institute for Infocomm Research (I²R), A*STAR（资讯通信研究院（I²R），新加坡科技研究局） ； IQuest Research（IQuest研究公司） ； ELLIS Manchester（ELLIS曼彻斯特） ； University of Information Technology, VNU（越南国家大学信息技术大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 研究大语言模型生成的论文复现评分标准，将其 reformulate 为清单样式，在两个骨干模型上评估四种生成设置，通过语义相似性和分数对齐进行元评估，结果显示增强设置改善下游评估对齐，同时指出其存在过于细化、偏向高分和适应性差等问题。

Agent-Based Software Artifact Evaluation

基于代理的软件工件评估

Zhaonan Wu, Yanjie Zhao, Zhenpeng Chen, Zheng Wang, Haoyu Wang

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE

AI总结 研究针对软件工件评估中人工评估难及现有政策缺乏验证标准的问题，构建ArtifactGuide评分标准，设计ArtifactCopilot代理，通过实验评估，该框架提升了评估性能，提高了评审信心，还为设计高质量工件提供了实践指导。