代码大模型 / AI 编程

From Search to Synthesis: Training LLMs as Zero-Shot Workflow Generators

从搜索到合成：训练大语言模型为零样本工作流生成器

Gan Luo, Zihan Qin, Bin Dong, Wotao Yin

机构 * School of Mathematics Science, Peking University（北京大学数学科学学院） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MetaFlow，将工作流生成视为元学习问题，通过两阶段训练（监督微调+强化学习）使模型能生成可泛化的任务级工作流，在问答、代码生成和数学推理任务上实现零样本泛化。

Comments 35 pages, 8 figures

ComAct: Reframing Professional Software Manipulation via COM-as-Action Paradigm

ComAct: 通过COM即行动范式重构专业软件操作

Jiaxin Ai, Tao Hu, Xuemeng Yang, Shu Zou, Hairong Zhang, Daocheng Fu, Yu Yang, Hongbin Zhou, Nianchen Deng, Pinlong Cai, Zhongyuan Wang, Botian Shi, Kaipeng Zhang, Licheng Wen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 代码生成 ：program synthesis(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 提出COM即行动范式，将专业软件交互转化为确定性程序合成，解决GUI代理的脆弱性和API代理的异构性问题；构建ComCADBench基准和ComActor自校正代理，在工业CAD软件上实现SOTA性能。

DrugBench: Evaluating AI Control Protocols for Medication Harm Mitigation

DrugBench：评估用于减轻药物危害的AI控制协议

Guido Freire, Agustín Martínez-Suñé, Viviana Cotik

机构 * Universidad de Buenos Aires, Facultad de Ciencias Exactas y Naturales, Departamento de Computación（布宜诺斯艾利斯大学，精确与自然科学学院，计算机系） ； AI Safety Argentina (AISAR)（阿根廷人工智能安全组织 (AISAR)） ； Department of Computer Science, University of Oxford（牛津大学计算机科学系） ； CONICET-Universidad de Buenos Aires, Instituto de Ciencias de la Computación (ICC)（阿根廷国家科学与技术研究理事会-布宜诺斯艾利斯大学，计算机科学研究所 (ICC)） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出DrugBench基准，结合医疗对话与FDA标签，评估AI控制协议在减轻药物交互、禁忌症等四类危害中的有效性，并引入基于严重性的监控方法。

Token-Level LLM Collaboration via FusionRoute

通过融合路由实现令牌级LLM协作

Nuoya Xiong, Yuhang Zhou, Hanqing Zeng, Zhaorun Chen, Furong Huang, Shuchao Bi, Lizhu Zhang, Zhuokai Zhao

机构 * [cs.AI]（计算机科学与人工智能） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出FusionRoute框架，通过轻量级路由器在解码步骤中选择最合适的专家并补充对数几率以优化下一个令牌分布，解决了单个通用模型在多个领域表现不佳的问题，同时在多个基准测试中优于其他方法。

Comments 25 pages

MDForge: Agentic Molecular Dynamics Pipeline Design under Sparse Simulator Feedback

MDForge：稀疏模拟器反馈下的智能分子动力学流水线设计

Zehong Wang, Yijun Ma, Connor R. Schmidt, Tianyi Ma, Weixiang Sun, Ziming Li, Xiaoguang Guo, Chuxu Zhang, Matthew J. Webber, Yanfang Ye

机构 * University of Notre Dame（圣母大学） ； University of Connecticut（康涅狄格大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MDForge，利用LLM智能体通过多智能体辩论将稀疏奖励稠密化，自动设计分子动力学流水线，在SAMPL基准上达到专家水平，并发现新型高亲和力CB[7]结合剂。

Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code

语法约束解码可诱使大语言模型生成恶意代码

Yitong Zhang, Shiteng Lu, Jia Li

机构 * College of AI, Tsinghua University（清华大学人工智能学院） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 本文发现语法约束解码（GCD）可被利用发起名为CodeSpear的越狱攻击，使LLM生成恶意代码；并提出安全对齐方法CodeShield，通过生成蜜罐代码防御该攻击。

On the Optimal Reasoning Length for RL-Trained Language Models

关于RL训练的语言模型的最优推理长度

Daisuke Nohara, Taishi Nakamura, Rio Yokota

机构 * University of Tokyo（东京大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究强化学习训练的语言模型中推理长度与准确率的非单调关系，发现存在最优中间长度，并通过模式准确率分析揭示其成因。

Comments 18 pages, 12 figures

Toward Preference-aligned Large Language Models via Residual-based Model Steering

基于残差模型引导的偏好对齐大型语言模型

Lucio La Cava, Andrea Tagarelli

机构 * DIMES Dept., University of Calabria, Italy（卡利博大学DIMES系） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PaLRS方法，利用残差流中的偏好信号提取轻量级引导向量，无需训练即可在推理时对齐模型偏好，在数学推理和代码生成任务上取得一致提升，同时节省大量时间。

Comments Accepted at IJCAI 2026

Lost in the Flow with Code Talkers: Unveiling the Instruction-Tuning Tax of Large Language Models in Code Tasks

迷失在代码对话者的流程中：揭示代码任务中大语言模型的指令微调税

Shi Ying Chang, Chiok Yew Ho, Yichen Li, Yintong Huo

机构 * Singapore Management University（新加坡国立管理学院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 本研究首次实证发现指令微调在代码任务中导致权衡：增强指令遵循能力却削弱代码填充性能，称之为“指令微调税”，并通过定性和定量分析总结出七项发现和四项启示。

Comments 25 pages, 6 figures. Evaluation toolkit and dataset: https://github.com/arkosioscambions/CodeTalkers

When Model Merging Breaks Routing: Training-Free Calibration for MoE

当模型合并破坏路由：MoE的无训练校准

Canbin Huang, Tianyuan Shi, Xiaojun Quan, Jingang Wang, Jianfei Zhang, Qifan Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对MoE架构中模型合并导致的路由崩溃问题，提出基于二阶曲率的无训练校准方法HARC，通过闭式解和共轭梯度法高效重对齐路由器，显著提升数学推理和代码生成性能。

Hypothesis Generation and Inductive Inference in Children and Language Models

儿童与语言模型中的假设生成与归纳推理

Jeffrey Qin, Wasu Top Piriyakulkij, Zhuangfei Gao, Mia Radovanovic, Jessica Sommerville, Kevin Ellis, Marta Kryven

机构 * Computer Science University of Waterloo（滑铁卢大学计算机科学系） ； Department of Computer Science Cornell University（康奈尔大学计算机科学系） ； Department of Computer Science Dalhousie University（达尔豪斯大学计算机科学系） ； Department of Psychology University of Toronto（多伦多大学心理学系） 纠错

专题命中 代码生成 ：program synthesis(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过归纳推理盒子任务，结合贝叶斯粒子推断的程序归纳形式化，比较儿童与基于LLM的智能体在不确定性下的假设生成与证据寻求行为，发现两者在适应环境结构上相似但信息寻求成本与归纳偏差不同。

Boundary-Guided Policy Optimization for Memory-efficient RL of Diffusion Large Language Models

边界引导策略优化：面向扩散大语言模型的内存高效强化学习

Nianyi Lin, Jiajie Zhang, Lei Hou, Juanzi Li

机构 * Tsinghua University（清华大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对扩散大语言模型中似然函数难以处理导致强化学习内存开销大的问题，提出边界引导策略优化（BGPO），通过构造满足线性和等价性的下界实现内存高效训练，在数学求解、代码生成和规划任务中显著优于现有方法。

Eureka: Intelligent Feature Engineering for Enterprise AI Cloud Resource Demand Prediction

Eureka：面向企业AI云资源需求预测的智能特征工程

Hangxuan Li, Renjun Jia, Xuezhang Wu, Yunjie Qian, Zeqi Zheng, Xianling Zhang

机构 * Alibaba Cloud Computing Co. Ltd, Hangzhou, China（阿里云计算有限公司，杭州，中国） ； School of Computer Science, Fudan University, Shanghai, China（复旦大学计算机学院，上海，中国） ； School of Computer Science and Technology, Tongji University, Shanghai, China（同济大学计算机科学与技术学院，上海，中国） ； Independent Researcher, United States（独立研究员，美国） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Eureka框架，将特征工程视为智能体代码生成问题，通过专家代理、LLM特征工厂和自演化对齐引擎三阶段，自动生成可执行特征代码，在医疗、金融、社交等7个公开基准及阿里云GPU资源需求预测中显著提升性能。

Comments accepted at NeurIPS 2025 Workshop, DASFAA 2026 (International Conference on Database Systems for Advanced Applications)

Journal ref Database Systems for Advanced Applications (DASFAA 2026), Lecture Notes in Computer Science, vol. 16540, pp. 528-540, Springer

The Price Reversal Phenomenon: When Cheaper Reasoning Models Cost More

价格反转现象：当更便宜的推理模型成本更高时

Lingjiao Chen, Chi Zhang, Yeye He, Ion Stoica, Matei Zaharia, James Zou

机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； CMU（卡内基梅隆大学） ； Microsoft Research（微软研究院） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文首次系统研究推理模型标价与实际成本的偏差，发现32%的模型对比较中存在价格反转现象，并基于Shapley值建立成本归因框架，揭示思考令牌消耗和交互轮次的高度异质性是主要原因。

Functional Entropy: Predicting Functional Correctness in LLM-Generated Code with Uncertainty Quantification

功能熵：通过不确定性量化预测LLM生成代码的功能正确性

Dylan Bouchard, Mohit Singh Chauhan, Zeya Ahmad, Ho-Kyeong Ra

机构 * CVS Health（CVS健康） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对LLM生成代码功能不正确的问题，提出基于功能等价性的不确定性量化方法（功能熵），在多个编程语言和模型上优于现有方法。

CoSPlay: Cooperative Self-Play at Test-Time with Self-Generated Code and Unit Test

CoSPlay: 测试时协作自我博弈与自生成代码和单元测试

Zhangyi Hu, Chenhui Liu, Tian Huang, Jindong Li, Yang Yang, Jiemin Wu, Zining Zhong, Menglin Yang, Yutao Yue

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Institute of Deep Perception Technology, JITRI, Wuxi, China（深度感知技术研究院，无锡，中国） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CoSPlay框架，通过代码与单元测试的协作自我博弈，在无真实单元测试的情况下迭代优化两者，显著提升代码生成性能。

Comments Code is available at: https://github.com/sanae-ai/CosPlay | Data & log is available at: https://huggingface.co/datasets/yomi017/CosPlay

From Reasoning to Code: GRPO Optimization for Underrepresented Languages

从推理到代码：针对代表性不足语言的GRPO优化

Federico Pennino, Bianca Raimondi, Massimo Rondelli, Andrea Gurioli, Maurizio Gabbrielli

机构 * Qwen2.5-Coder 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG、cs.PL

AI总结 提出结合Qwen2.5-Coder小模型与GRPO的强化学习方法，利用执行反馈和奖励机制提升Prolog、Lisp等低资源语言的代码生成准确性与推理质量。

Comments Accepted ICLP 2026

BODHI: Precise OS Kernel Specification Inference

BODHI：精确的操作系统内核规范推断

Zhiming Chang, Ziyang Li

机构 * Department of Applied Mathematics and Statistics（应用数学与统计学系） ； Johns Hopkins University（约翰霍普金斯大学） ； Department of Computer Science（计算机科学系） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.PL

AI总结 提出一种领域知识提示方法BODHI，通过结构化C到Python翻译指南增强少样本提示，在OSV-Bench基准上将Pass@1从55.10%提升至96.73%，缩小了通用代码生成与形式规范合成之间的差距。

Agentic Proving for Program Verification

程序验证的智能体证明

Alessandro Sosso, Akhil Arora, Bas Spitters

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.PL

AI总结 本文评估Claude Code在Lean 4基准CLEVER上的智能体证明框架，结果显示其能生成98.8%问题的有效规范，87.5%的实现通过验证，端到端成功率达98.1%，并指出当前基准与智能体能力不匹配，需更严格的评估方法。

Vector Policy Optimization: Training for Diversity Improves Test-Time Search

向量策略优化：为多样性训练改进测试时间搜索

Ryan Bahlous-Boldi, Isha Puri, Idan Shenfeld, Akarsh Kumar, Mehul Damani, Sebastian Risi, Omar Khattab, Zhang-Wei Hong, Pulkit Agrawal

机构 * MIT（麻省理工学院） ； Improbable AI Lab（Improbable AI 实验室） ； MIT-IBM Computing Research Lab（麻省理工-IBM 计算研究实验室） ； Sakana AI 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出向量策略优化（VPO）方法，通过训练策略以预测多样化的下游奖励函数，从而产生多样化的解决方案，以改进测试时间搜索的性能。

Comments 24 pages

Retrospective Sparse Attention for Efficient Long-Context Generation

回顾性稀疏注意力用于高效长上下文生成

Seonghwan Choi, Beomseok Kang, Dongwon Jo, Jae-Joon Kim

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出RetroAttention，一种新的KV缓存更新技术，通过回顾后续解码步骤的KV条目来修正过去的注意力输出，从而提高长上下文生成的效率和准确性。

DEL: Digit Entropy Loss for Numerical Learning of Large Language Models

DEL：用于大语言模型数值学习的数字熵损失

Zhaohui Zheng, Chenhang He, Shihao Wang, Yuxuan Li, Ming-Ming Cheng, Lei Zhang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； VCIP, College of Computer Science, Nankai University（南开大学计算机学院VCIP） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Digit Entropy Loss (DEL)用于大语言模型的自回归数值学习，通过重新设计传统无监督熵优化，引入数字条件概率和二元交叉熵，使熵优化转向监督方式，同时推广整数基于的数值学习到浮点数优化，从而提升数值预测的准确性。

Protocol-Driven Development: Governing Generated Software Through Invariants and Continuous Evidence

基于协议的开发：通过不变式和连续证据治理生成的软件

Jun He, Deying Yu

专题命中 代码生成 ：program synthesis(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 本文提出了一种基于协议的开发方法，通过定义协议的不变式和连续证据来治理生成的软件，其核心贡献是将协议作为主要软件 artifact，而非代码，从而实现对生成软件的持续验证和治理。

Comments 20 pages, 2 tables

Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning

学习率至关重要：Vanilla LoRA可能足以用于LLM微调

Yu-Ang Lee, Ching-Yun Ko, Pin-Yu Chen, Mi-Yen Yeh

机构 * National Taiwan University（国立台湾大学） ； IBM Research（IBM研究院） ； Academia Sinica（台湾“学术院”） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过广泛的超参数搜索重新评估了九种代表性的LoRA变体和Vanilla LoRA，在数学推理、常识推理、代码生成和指令遵循等任务上，发现不同的LoRA方法偏好不同的学习率范围。当学习率正确调整时，所有方法都能达到相似的峰值性能，这表明Vanilla LoRA仍然是一个有竞争力的基线，而单一训练配置下的改进可能并不反映一致的方法优势。

Comments Project page: https://github.com/yuang-lee/lr-matters-lora

Locally Coherent Parallel Decoding in Diffusion Language Models

局部相干并行解码在扩散语言模型中

Michael Hersche, Nicolas Menet, Ronan Tanios, Abbas Rahimi

机构 * IBM Research - Zurich（IBM瑞士研究实验室） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CoDiLA方法，通过引入小型辅助自回归模型来解决扩散语言模型在并行解码中的相干性问题，从而在代码生成任务中实现更高的准确性和速度。

Comments Accepted at ICML 2026

The IsalProgram Programming Language

IsalProgram 编程语言

Ezequiel López-Rubio

机构 * Department of Computer Languages and Computer Science（计算机语言与计算机科学系） ； University of Málaga（马拉加大学） ； ITIS Software（ITIS软件） ； Universidad de Málaga（马拉加大学） 纠错

专题命中 代码生成 ：program synthesis(abstract)；分类 cs.CL、cs.AI、cs.PL

AI总结 本文提出了一种新的类似汇编的编程语言IsalProgram，其核心特性包括：1) 作为形式语言理论中的正则语言，其程序可被有限自动机接受；2) 每个有限的指令字母表上的字符串都是语法有效的程序；3) 不显式使用内存地址或变量名。程序由固定指令集中的有限令牌序列组成，并在虚拟机上执行，其唯一数据结构是通过三个数据指针导航的循环双链表，控制流由两个代码指针控制。本文还讨论了IsalProgram作为神经程序合成目标语言的潜在优势，以及通过Levenshtein编辑距离进行程序空间度量探索的可能性，以及在此框架内分析可计算性和复杂性的方向。

DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models

DACA-GRPO：去噪感知的信用分配用于扩散语言模型中的强化学习

Amin Karimi Monsefi, Dominic Culver, Nikhil Bhendawade, Lokesh Boominathan, Manuel R. Ciosici, Yizhe Zhang, Irina Belousova

机构 * The Ohio State University（俄亥俄州立大学） ； Apple（苹果公司） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DACA-GRPO，通过引入去噪进度评分和分层掩码似然，改进扩散语言模型中强化学习的信用分配，提升数学推理、代码生成等任务性能。

GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

GRLO：从零开始在开放环境中的通用强化学习

Shangjian Yin, Yu Fu, Yue Dong, Zhouxing Shi

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GRLO研究从少量交互数据中训练的RLHF在开放环境中的泛化能力，探索其对话能力是否能迁移至数学推理和代码生成等下游任务，展示出高效且低成本的训练方法。

Antidistillation Fingerprinting

对抗蒸馏指纹

Yixuan Even Xu, John Kirchenbauer, Yash Savani, Asher Trockman, Alexander Robey, Tom Goldstein, Fei Fang, J. Zico Kolter

机构 * Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学） ； University of Maryland, College Park, MD, USA（马里兰大学学院市分校） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出对抗蒸馏指纹方法，通过代理模型识别并采样最大化指纹检测性的token，提升检测效果同时减少对模型性能的影响。

Comments 28 pages, 13 figures, ICML 2026

Primal Generation, Dual Judgment: Self-Training from Test-Time Scaling

原始生成，双重判断：从测试时扩展进行自我训练

Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang

机构 * Apple（苹果公司） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.CL、cs.LG

AI总结 本文提出DuST框架，通过双重判断空间提升代码生成与判断能力，实验显示在多个模型上显著提升测试时扩展性能。