代码大模型 / AI 编程

MONA: Muon Optimizer with Nesterov Acceleration for Scalable Language Model Training

MONA: 基于Nesterov加速的Muon优化器用于可扩展语言模型训练

Jiacheng Li, Jianchao Tan, Hongtao Xu, Jiaqi Zhang, Yifan Lu, Yerui Sun, Yuchen Xie, Xunliang Cai

机构 * Meituan（美团） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.LG

AI总结 提出MONA优化器，通过将Nesterov加速项集成到Muon的梯度处理流程中，实现曲率感知加速，从而帮助逃离尖锐局部最小值，并在1B到68B参数的混合专家预训练中取得更优收敛和下游任务性能。

UnityMAS-O: A General RL Optimization Framework for LLM-Based Multi-Agent Systems

UnityMAS-O: 基于LLM的多智能体系统的通用强化学习优化框架

Yiqun Chen, Wei Yang, Erhan Zhang, Shijie Wang, Qi Liu, Zechun Niu, Bin Zhang, Haitao Li, Rui Li, Lingyong Yan, Jinyuan Feng, Biqing Qi, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Jiaxin Mao

机构 * Renmin University of China（中国人民大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 提出UnityMAS-O框架，将多智能体工作流作为优化单元，通过逻辑角色、图轨迹、用户定义奖励和智能体-模型映射四个核心对象解耦逻辑与物理参数，支持灵活的参数共享和奖励分配，在检索增强问答、迭代搜索和反思代码生成任务上验证了多智能体RL对手动工作流的提升效果。

CausalFlow: Causal Attribution and Counterfactual Repair for LLM Agent Failures

CausalFlow: LLM Agent 失败的因果归因与反事实修复

Akash Bonagiri, Devang Borkar, Gerard Janno Anderias, Setareh Rafatirad, Houman Homayoun

机构 * Department of Computer Science University of California, Davis（计算机科学系加州大学戴维斯分校） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 提出CausalFlow框架，通过反事实干预计算步骤级因果责任分数，识别失败步骤并生成最小编辑修复，用于测试时修复和训练时监督，在多个基准上优于启发式方法。

BacktestBench: Benchmarking Large Language Models for Automated Quantitative Strategy Backtesting

BacktestBench：面向自动化量化策略回测的大语言模型基准测试

Zhensheng Wang, Wenmian Yang, Qingtai Wu, Lequan Ma, Yiquan Zhang, Weijia Jia

机构 * Beijing Normal University（北京师范大学） ； Elmleaf Ltd.（Elmleaf公司） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 提出首个大规模自动化量化回测基准BacktestBench，包含18,246个问答对，并设计多智能体基线AutoBacktest，通过协调摘要器、检索器和编码器实现自然语言策略到可重复回测的转换。

Comments This paper has been accepted by KDD 2026 (Datasets and Benchmarks Track)

Specification-Based Code-Text-Code Reengineering for LLM-Mediated Software Evolution

基于规约的代码-文本-代码重构：面向LLM介导的软件演化

Oleg Grynets, Vasyl Lyashkevych, Arsen Dolichnyi, Roman Piznak, Taras Zelenyy, Volodymyr Morozov

机构 * EPAM Systems（EPAM系统） ； McLean, Virginia, USA（美国弗吉尼亚州麦莱恩） ； Lviv, Ukraine（乌克兰利沃夫） ； Kyiv, Ukraine（乌克兰基辅） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 提出一种基于规约的Code2Text2Code重构框架，通过将源代码转换为中性文本规约并迭代验证，解决直接Code2Code转换中的语义漂移、行为变化等问题，实现受控的LLM介导软件演化。

Comments 15 pages, 9 figures, 7 tables, 39 references

The Path Matters: Learning a Token-Commitment Policy for Diffusion Language Models

路径很重要：学习扩散语言模型的令牌提交策略

Bohang Sun, Max Zhu, Francesco Caso, Jindong Gu, Junchi Yu, Philip Torr, Pietro Liò, Jialin Yu

机构 * Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学） ； Department of Engineering Science, University of Oxford（工程科学系，牛津大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TraceLock，一种轻量级可插拔控制器，通过学习可复用的轨迹状态策略来优化扩散语言模型中的令牌提交决策，从而改善质量与步数之间的权衡。

Error-Driven Prompt Optimization for Arithmetic Reasoning

基于错误驱动的算术推理提示优化

Árpád Pándy, Róbert Lakatos, András Hajdu

机构 * Deptartment of Data Science & Visualization, Faculty of Informatics, University of Debrecen（数据科学与可视化系，信息学院，德布勒恩大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种错误驱动的提示优化框架，通过聚类错误预测迭代优化提示规则，使小型本地语言模型在算术推理任务中准确率达到70.8%，超越GPT-3.5 Turbo。

Journal ref IEEE Access, vol. 14, pp. 62570-62583, 2026

TriVAL: A Tri-Validation Framework for Faithful Automatic Optimization Modeling

TriVAL: 一种用于忠实自动优化建模的三重验证框架

Ziyang Fang, JinXi Wang, Jinghui Zhong, Yew-Soon Ong

机构 * School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院） ； Centre for Frontier AI Research, Agency for Science, Technology and Research（科技研究局前沿人工智能研究中心） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 提出TriVAL三重验证框架，在语义规范、数学公式和代码生成三个阶段进行显式验证，通过构建-验证-修正循环提高自动优化建模的准确性，并在新基准NL4COP上超越现有方法。

Comments 13 pages

Generative Visual Code Mobile World Models

生成式视觉代码移动世界模型

Woosung Koh, Sungjun Han, Segyu Lee, Se-Young Yun, Jamin Shin

机构 * Trillion Labs（万亿实验室） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 提出通过单一视觉语言模型预测可执行网页代码来生成移动GUI下一状态，结合文本和视觉世界模型优势，实现高保真视觉生成与精确文本渲染。

Comments ICML 2026

JEDI: Java Evaluation of Declarative and Imperative Queries

JEDI: Java声明式与命令式查询评估

Filippo Schiavio, Walter Binder

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.PL

AI总结 提出JEDI基准测试套件，通过自动将SQL基准转换为Java基准，分析Stream API与命令式实现的性能差异，以指导开发者优化代码。

Journal ref 2026 IEEE/ACM 48th International Conference on Software Engineering (ICSE '26)

MemReward: Graph-Based Experience Memory for LLM Reward Prediction with Limited Labels

MemReward: 基于图的经验记忆用于有限标签下的LLM奖励预测

Tianyang Luo, Tao Feng, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 提出MemReward框架，利用图神经网络在少量标签下将奖励从标注样本传播到未标注样本，实现混合奖励获取策略，在数学、问答和代码生成任务上接近Oracle性能。

DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards

DelTA: 一种用于可验证奖励强化学习的判别性token信用分配

Kaiyi Zhang, Wei Wu, Yankai Lin

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院 Gallagher 学院） ； Ant International（蚂蚁国际） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出DelTA方法，通过估计token系数来增强特定侧的token梯度方向，从而改进可验证奖励强化学习中的token概率更新，提升了模型在数学基准测试中的性能。

On Integrating Resilience and Human Oversight into LLM-Assisted Modeling Workflows for Digital Twins

在数字孪生构建中整合韧性与人类监督 into LLM辅助建模工作流

Lekshmi P, Neha Karanjkar

机构 * Indian Institute of Technology Goa（印度理工学院 Goa） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出三种关键设计原则，用于将韧性与人类监督整合到LLM辅助的数字孪生建模工作流中，通过FactoryFlow框架的研究，探讨了如何通过正交化结构建模与参数拟合、限制模型IR到参数化预验证库组件以及使用密度保持的IR来提高建模的鲁棒性和可解释性。

CADDesigner: Conceptual CAD Model Generation with a General-Purpose Agent

CADDesigner: 一种通用智能体的概念CAD模型生成

Fengxiao Fan, Jingzhe Ni, Xiaolong Yin, Sirui Wang, Xingyu Lu, Qiang Zou, Ruofeng Tong, Min Tang, Peng Du

机构 * Zhejiang University（浙江大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CADDesigner，一种基于LLM的智能体，通过文本描述和草图输入，结合交互对话进行需求分析，生成高质量CAD模型代码，并通过迭代视觉反馈提升模型质量，实验表明其在概念CAD模型生成任务中表现优异。

Library Hallucinations in LLM-Generated Code: A Risk Analysis Grounded in Developer Queries

LLM生成代码中的库幻觉：基于开发者查询的风险分析

Lukas Twist, Jie M. Zhang, Mark Harman, Helen Yannakoudakis

机构 * King’s College London（伦敦国王学院） ； University College London（伦敦大学学院） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.CL

AI总结 本文研究了LLM生成代码中库幻觉的风险，通过分析用户提示变化对库幻觉的影响，揭示了系统性漏洞，并提出了LibHalluBench基准测试以评估这些幻觉。

Comments 27 pages, 1 figure, 13 tables

Enhancing the Code Reasoning Capabilities of LLMs via Consistency-based Reinforcement Learning

通过基于一致性的强化学习增强大语言模型的代码推理能力

Zhanyue Qin, Jia Feng, Yibo Lyu, Yun Peng, Dianbo Sui, Cuiyun Gao, Qing Liao

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.LG、cs.PL

AI总结 本文提出CodeThinker框架，通过一致性驱动的强化学习方法提升大语言模型的代码推理能力，实验表明其在多个基准测试中表现优异，显著提升了代码生成和数学推理任务的准确性。

Comments Under review

CodeScaler: Scaling Code LLM Training and Test-Time Inference via Reward Models

CodeScaler: 通过奖励模型扩展代码大语言模型的训练和测试时间推理

Xiao Zhu, Xinyu Zhou, Boyu Zhu, Hanxu Hu, Mingzhe Du, Haotian Zhang, Huiming Wang, Zhijiang Guo

机构 * LARK, HKUST(GZ)（LARK，香港科技大学（广州）） ； Kuaishou Technology（快手科技） ； UCL（伦敦大学学院） ； UZH（苏黎世联邦理工学院） ； NUS（国立新加坡大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CodeScaler，一种通过奖励模型扩展代码生成模型的训练和测试时间推理的框架，通过精心编纂的偏好数据和语法感知的代码提取，实现了在四个编码基准上比基于执行的RL提升1.55分，在Qwen3-14B-Base上提升4.23分，并在无测试用例的情况下通过合成数据进一步提升14.64分，同时在推理时间减少10倍的延迟，且在代码、通用和推理领域均优于现有奖励模型。

Unlocking the Potential of Diffusion Language Models through Template Infilling

通过模板填充解锁扩散语言模型的潜力

Junhoo Lee, Seungyeon Kim, Nojun Kwak

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种针对扩散语言模型的模板填充方法，通过在生成响应空间中建立全局蓝图，提升了数学推理、代码生成和旅行规划等任务的性能，同时在多token生成中实现了生成质量与速度的平衡。

Comments ACL 2026 Main Conference - Long Paper, Oral Presentation

LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning

LaDi-RL：潜在扩散推理防止强化学习中的熵崩溃

Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Yi-An Ma, Lianhui Qin

机构 * UC San Diego（斯克利普斯海洋研究所） ； Apple（苹果公司） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LaDi-RL方法，通过潜在扩散模型生成潜在推理轨迹，解决强化学习中熵崩溃问题，提升代码生成和数学推理性能。

Learning to Reason without External Rewards

无需外部奖励的学习推理

Xuandong Zhao, Zhewei Kang, Aosong Feng, Sergey Levine, Dawn Song

机构 * UC Berkeley（加州大学伯克利分校） ； Yale University（耶鲁大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Intuitor方法，通过内在反馈实现无需外部奖励的自主学习，实验表明其在数学基准和代码生成等任务中表现优异，为无监督学习提供了新途径。

Comments ICLR 2026

Strategic Over-Parameterization for Generalizable Low-Rank Adaptation

战略性过参数化以实现通用的低秩适应

Jing Gao, Zhong-Yi Lu, Pan Zhang, Ze-Feng Gao

机构 * School of Fundamental Physics and Mathematical Sciences, Hangzhou Institute for Advanced Study, UCAS, Hangzhou 310024, China（1 基础物理与数学科学学院，杭州先进研究院，UCAS，杭州 310024，中国） ； School of Physical Sciences, University of Chinese Academy of Sciences, No. 19A Yuquan Road, Beijing 100049, China（2 物理科学学院，中国科学院大学，玉泉路19A号，北京 100049，中国） ； CAS Key Laboratory of Theoretical Physics, Institute of Theoretical Physics, Chinese Academy of Sciences, Beijing 100190, China（3 中国科学院理论物理重点实验室，理论物理研究所，中国科学院，北京 100190，中国） ； School of Physics and Key Laboratory of Quantum State Construction and Manipulation (Ministry of Education), Renmin University of China, Beijing 100872, China（4 物理学院和量子态构造与操控（教育部）重点实验室，中国人民大学，北京 100872，中国） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LoRA-Over框架，通过训练时丰富优化景观并推理时压缩，提升低秩适应的泛化能力，实验显示其在多个任务上优于传统LoRA。

Goal-Conditioned Supervised Learning for LLM Fine-Tuning

面向目标的监督学习用于大语言模型微调

Shijun Li, Kaiwen Dong, Xiang Gao, Joydeep Ghosh

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Intuit AI Research（Intuit人工智能研究） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出目标条件监督学习（GCSL）框架，通过将反馈信号作为显式目标，利用监督学习生成高质量响应，改进了传统监督微调和直接偏好优化的局限性。

Human-Certified Module Repositories for the AI Age

面向AI时代的可信模块仓库

Szilárd Enyedi

机构 * Automation Department, Technical University of Cluj-Napoca, Romania（克卢日-纳波卡技术大学自动化系，罗马尼亚） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出HCMR框架，通过人类监督与自动化分析结合，确保模块的可信度，为AI辅助开发提供安全可预测的模块组装方法。

Comments v4: acknowledged AI use for grammar and readability, added IEEE copyright notice; v3: 13 pages, new subsection about strong typed languages forcing AI to create more reliable code; v2: 12 pages, improved references; v1: 11 pages, 3 figures, 2 tables, prepared for AQTR 2026

ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment

ActiveDPO: 用于高效对齐的主动直接偏好优化

Xiaoqiang Lin, Arun Verma, Zhongxiang Dai, Daniela Rus, See-Kiong Ng, Bryan Kian Hsiang Low

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） ； Singapore-MIT Alliance for Research and Technology Centre（新加坡-麻省理工联盟研究技术中心） ； The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）） ； CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 ActiveDPO通过理论支撑的非线性奖励函数选择方法，利用LLM自身参数化奖励模型，提升对齐效率和数据收集效果。

Comments Accepted at ICLR 2026

GenCircuit-RL: Reinforcement Learning from Hierarchical Verification for Genetic Circuit Design

GenCircuit-RL：基于分层验证的遗传电路设计强化学习

Noah Flynn

机构 * University of California, Berkeley, CA, USA（加州大学伯克利分校） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GenCircuit-RL框架，通过分层验证奖励和课程学习提升遗传电路设计的正确性与功能推理能力，实验表明其在功能推理任务中成功率提升14-16个百分点。

Comments Link: https://icml.cc/virtual/2026/poster/61789

Beyond Mode-Seeking RL: Trajectory-Balance Post-Training for Diffusion Language Models

超越模式寻求强化学习：扩散语言模型的轨迹平衡后训练

Saba Ahmadi, Prasanna Parthasarathi, Yufei Cui

机构 * Noah’s Ark Lab（Noah’s Ark 实验室） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出TraFL方法，通过轨迹平衡目标提升扩散语言模型的后训练效果，在多个基准测试中均优于基线模型。

ChipMATE: Multi-Agent Training via Reinforcement Learning for Enhanced RTL Generation

ChipMATE: 通过强化学习进行多智能体训练以提升RTL生成

Zhongkai Yu, Yichen Lin, Chenyang Zhou, Yuwei Zhang, Kun Zhou, Junxia Cui, Haotian Ye, Zhengding Hu, Zaifeng Pan, Ruiyi Wang, Yujie Zhao, Hejia Zhang, Jingbo Shang, Jishen Zhao, Yufei Ding

机构 * UCSD（加州大学圣迭戈分校） ； Columbia University（哥伦比亚大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 ChipMATE是首个自训练多智能体RTL生成框架，通过相互验证的智能体和混合数据生成框架提升生成质量，实现75.0%和80.1%的VerilogEval V2通过率。

REAP the Experts: Why Pruning Prevails for One-Shot MoE compression

REAP 专家：为何剪枝在单次MoE压缩中占优

Mike Lasby, Ivan Lazarevich, Nish Sinnadurai, Sean Lie, Yani Ioannou, Vithursan Thangarasa

机构 * Cerebras Systems Inc.（Cerebras系统公司） ； Schulich School of Engineering, University of Calgary（卡莱尔大学施密特工程学院） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出REAP剪枝方法，通过结合路由门值和专家激活范数，有效减少生成任务中的重建误差，优于合并和其他剪枝方法，尤其在50%压缩下表现优异。

Comments 30 pages, 9 figures, 12 tables

StepCodeReasoner: Aligning Code Reasoning with Stepwise Execution Traces via Reinforcement Learning

StepCodeReasoner: 通过强化学习对齐代码推理与分步执行轨迹

Hao Wang, Rui Li, Lei Sha, Jie M. Zhang

机构 * Beihang University, Beijing, China（北京航空航天大学） ； Peking University, Beijing, China（北京大学） ； Zhongguancun Laboratory, Beijing, China（中关村实验室） ； King's College London, United Kingdom（伦敦国王学院） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.CL

AI总结 本文提出StepCodeReasoner框架，通过引入显式的中间执行状态监督，将代码推理转化为可验证的分步执行建模问题，并通过Bi-Level GRPO算法提升结构化信用分配，实验表明其在代码推理和生成任务中均优于现有方法。

Internalizing Curriculum Judgment for LLM Reinforcement Fine-Tuning

将课程判断内部化以优化大语言模型强化微调

Han Zheng, Yining Ma, Karthick Gunasekaran, Bharathan Balaji, Zheng Du, Shiv Vitaladevuni, Cathy Wu

机构 * MIT（麻省理工学院） ； Amazon AGI（亚马逊人工智能实验室） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出METIS框架，通过内部化课程判断提升LLM强化微调效率与性能，利用训练结果动态分配训练资源，实现闭环优化。