代码大模型 / AI 编程

VeriScale: Adversarial Test-Suite Scaling for Verifiable Code Generation

VeriScale：对抗性测试套件缩放用于可验证代码生成

Yifan Bai, Xiaoyang Liu, Zihao Mou, Guihong Wang, Jian Yu, Shuhan Xie, Yantao Li, Yangyu Zhang, Jingwei Liang, Tao Luo

机构 * School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院） ； School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）科学与工程学院） ； School of Mathematics, Jilin University（吉林大学数学学院） ； School of Mathematical Sciences, Tongji University（同济大学数学科学学院） ； Zhiyuan College, Shanghai Jiao Tong University（上海交通大学紫阳学院） ； School of Future Technology, South China University of Technology（华南理工大学未来技术学院） ； Institute of Natural Sciences, Shanghai Jiao Tong University（上海交通大学自然科学研究院） ； MOE-LSC, CMA-Shanghai, Shanghai Jiao Tong University（上海交通大学MOE-LSC、CMA-上海） 纠错

专题命中 代码生成 ：code generation(title)；分类 cs.SE、cs.AI、cs.LG

AI总结 本文提出VeriScale框架，通过对抗性实现扩展和缩减测试套件，提升代码生成的可验证性，实验表明VerinaPlus显著暴露了模型弱点，而VerinaLite在低成本下保持判别能力。

Vector Policy Optimization: Training for Diversity Improves Test-Time Search

向量策略优化：为多样性训练改进测试时间搜索

Ryan Bahlous-Boldi, Isha Puri, Idan Shenfeld, Akarsh Kumar, Mehul Damani, Sebastian Risi, Omar Khattab, Zhang-Wei Hong, Pulkit Agrawal

机构 * MIT（麻省理工学院） ； Improbable AI Lab（Improbable AI 实验室） ； MIT-IBM Computing Research Lab（麻省理工-IBM 计算研究实验室） ； Sakana AI 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出向量策略优化（VPO）方法，通过训练策略以预测多样化的下游奖励函数，从而产生多样化的解决方案，以改进测试时间搜索的性能。

Comments 24 pages

Self-Policy Distillation via Capability-Selective Subspace Projection

通过能力选择性子空间投影实现自我策略蒸馏

Guangya Hao, Yitong Shang, Yunbo Long, Zhuokai Zhao, Hanxue Liang

机构 * University of Cambridge（剑桥大学） ； HKUST（香港科技大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL

AI总结 本文提出Self-Policy Distillation（SPD），通过从模型自身梯度中提取低维能力子空间，将关键值（KV）激活投影到该子空间，并在标准下一项预测损失下进行微调，实现了无需外部信号的通用且能力选择性的自我蒸馏方法。

Discovering High Level Patterns from Simulation Traces

从仿真轨迹中发现高层次模式

Sean Memery, Kartic Subr

机构 * University of Edinburgh（爱丁堡大学） 纠错

专题命中 代码生成 ：program synthesis(abstract)；分类 cs.AI

AI总结 本文提出了一种通过程序合成进行无监督学习的方法，将仿真轨迹转换为稀疏的高层次模式表示，以提升大语言模型对物理系统的推理能力。

Manifold-Guided Attention Steering

基于流形的注意力引导

Ian Li, Kapilesh Guruprasad, Raunak Sengupta, Ninad Satish, Loris D'Antoni, Rose Yu

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.LG

AI总结 本文提出了一种基于流形的注意力引导方法，通过在推理过程中监控注意力头与正确性流形的距离，动态纠正偏差，从而提高大语言模型在数学推理、代码生成和分子生成等任务中的表现。