语言大模型 / LLM

Sequential Data Poisoning in LLM Post-Training

LLM后训练中的顺序数据投毒

Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

机构 * University of Chicago（芝加哥大学） ； University of Waterloo（滑铁卢大学） ； University of Ottawa（渥太华大学） ； Vector Institute（向量研究所） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；SFT(summary_cn,abstract)；post-training(title,abstract)；RLHF(abstract,abstract_cn)

AI总结 提出顺序数据投毒威胁模型，研究多个攻击者在LLM后训练不同阶段（SFT和偏好数据）分别投毒，发现单一攻击者看似威胁小但多阶段协作会暴露真实漏洞，且不同管道中贡献呈加性或互补性。

Beyond Objective Equivalence: Constraint Injection for LLM-Based Optimization Modeling on Vehicle Routing Problems

超越目标等价性：基于LLM的车辆路径问题优化建模的约束注入

Xizi Luo, Changhong He, Dongdong Geng, Chenggong Shi, Yu Mei

机构 * Beihang University（北京航空航天大学） ； Baidu Inc.（百度公司） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对LLM在约束密集的运筹问题中可能添加虚假约束或遗漏必要约束的问题，提出约束注入方法，结合差分测试形成双重验证器，并在车辆路径问题上验证其有效性。

Comments 28 pages

Can Large Language Models Generalize Procedures Across Representations?

大型语言模型能否跨表示泛化过程？

Fangru Lin, Valentin Hofmann, Xingchen Wan, Weixing Wang, Zifeng Ding, Anthony G. Cohn, Janet B. Pierrehumbert

机构 * Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

AI总结 研究大型语言模型在代码、图与自然语言等不同表示间泛化过程的能力，提出两阶段强化学习课程来弥合差距。

Comments Accepted at ICML 2026

Schedule-Level Shared-Prefix Reuse for LLM RL Training

面向LLM强化学习训练的调度级共享前缀复用

Pengbo Li, Feiyuan Zhang, Guangming Sheng, Guangxin He, Di Chai, Ziniu Li, Taiqiang Wu, Wenyu Mao, Binhang Yuan, Kai Chen

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(abstract)

AI总结 针对GRPO/PPO式LLM后训练中多轨迹共享前缀导致重复计算的问题，提出调度级复用机制，通过解耦前缀与后缀计算实现最高4.395倍加速和59.1%的峰值HBM降低。

Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation

回答前先置信：高效LLM不确定性估计的范式转变

Changcheng Li, Jiancan Wu, Hengheng Zhang, Zhengsu Chen, Guo An, Junxiang Qiu, Xiang Wang, Qi Tian

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Inc.（华为公司） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出CoCA框架，通过GRPO强化学习联合优化置信度校准与答案准确性，实现回答前输出置信度，提升不确定性估计效率。

BiasGRPO: Stabilizing Bias Mitigation in High-Variance Reward Landscapes via Group-Relative Policy Optimization

BiasGRPO：通过组相对策略优化在高方差奖励景观中稳定偏差缓解

Saket Reddy, Ke Yang, ChengXiang Zhai

机构 * University of Illinois - Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 提出BiasGRPO框架，利用组相对策略优化（GRPO）通过归一化组内奖励来稳定大语言模型的社会偏差缓解，优于DPO和PPO。

Comments Accepted to Findings of the ACL

Semiparametric Preference Optimization: Your Language Model is Secretly a Single-Index Model

半参数偏好优化：你的语言模型秘密地是一个单索引模型

Nathan Kallus

机构 * Netflix & Cornell University（Netflix与康奈尔大学） 纠错

专题命中 后训练与偏好优化 ：language model(title)；preference optimization(title)；分类 cs.AI、cs.LG

AI总结 本文提出半参数偏好优化方法，通过放宽偏好与潜在奖励之间的链接函数假设，在未知且无限制的链接函数下进行策略对齐，并证明策略类的可实现性诱导出半参数单索引二元选择模型，直接学习策略并给出链接无关的收敛保证。

P$^2$-DPO: Grounding Hallucination in Perceptual Processing via Calibration Direct Preference Optimization

P²-DPO：通过校准直接偏好优化在感知处理中锚定幻觉

Ruipeng Zhang, Zhihao Li, Haozhang Yuan, C. L. Philip Chen, Tong Zhang

机构 * Guangdong Provincial Key Laboratory of Computational AI Models and Cognitive Intelligence, School of Computer Science & Engineering, South China University of Technology（广东省计算人工智能模型与认知智能重点实验室，计算机科学与工程学院，华南理工大学） ； Pazhou Lab, Guangzhou, China（琶洲实验室，广州，中国） ； Engineering Research Center of the Ministry of Education on Health Intelligent Perception and Paralleled Digital-Human, Guangzhou, China（教育部健康智能感知与并行数字人工程研究中心，广州，中国） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对大型视觉语言模型中的幻觉问题，提出P²-DPO训练范式，通过模型自生成偏好对和校准损失，直接优化感知瓶颈和视觉鲁棒性，无需昂贵人工反馈。

Sparse Mixture-of-Experts Reward Models Learn Interpretable and Specialized Experts for Personalized Preference Modeling

稀疏混合专家奖励模型学习可解释且专业化的专家用于个性化偏好建模

Yifan Wang, Jinyi Mu, Mayank Jobanputra, Yu Wang, Ji-Ung Lee, Soyoung Oh, Isabel Valera, Vera Demberg

机构 * Saarland University（萨尔兰大学） ； Independent Researcher（独立研究者） ； Bielefeld University（比勒菲尔德大学） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） ； Max Planck Institute for Informatics（马克斯·普朗克信息研究所） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出稀疏混合专家奖励模型，通过稀疏路由和专家多样性训练，从二元偏好数据中学习可解释的专家模式，提升个性化偏好建模的测试时适应性和可解释性。

Read the Trace, Steer the Path: Trajectory-Aware Reinforcement Learning for Diffusion Language Models

读取轨迹，引导路径：面向扩散语言模型的轨迹感知强化学习

Anant Khandelwal, Manish Gupta

机构 * Microsoft AI, India（微软印度人工智能） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 提出CAPR算法，通过缓存轨迹状态和块级价值头，利用去噪轨迹提供类似树搜索的细粒度监督，在降低计算成本的同时提升扩散语言模型的强化学习效果。

Comments 19 pages, 10 figures, 7 Tables

Drifting Preference Optimization for One-Step Generative Models

一步生成模型的漂移偏好优化

Zhou Jiang, Yandong Wen, Zhen Liu

机构 * Westlake University（西湖大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.LG

AI总结 提出 DrPO 方法，通过在线采样和排序构建非参数偶极偏好场及参考漂移，实现一步式生成模型的无梯度偏好微调。

Comments 24 pages, 9 figures

Post-Training Corrections for Improved Time-Series Forecasting

人在回路的自适应优化用于改进时间序列预测

Hamza Cherkaoui, Malik Tiomoko, Giuseppe Paolo, Zhang Yili, Yu Meng, Zhang Keli, Hafiz Tiomoko Ali

机构 * SAMOVAR Télécom SudParis Institut Polytechnique de Paris（Telecom SudParis高等研究院） ； Noah Ark Lab（Noah Ark实验室） ； Independent Researcher（独立研究员） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 提出一种无需重训练或修改架构的轻量级后训练自适应优化框架，通过强化学习、上下文赌博机或遗传算法自动学习表达性变换来校正模型输出，并支持人类专家通过自然语言引导校正，从而在多个基准上以最小计算开销持续提升预测精度。

Recovering Diversity Without Losing Alignment: A DPO Recipe for Post-Trained LLMs

在不损失对齐的情况下恢复多样性：面向后训练大语言模型的DPO配方

Vinay Samuel, Yapei Chang, Mohit Iyyer

机构 * University of Maryland, College Park（马里兰大学 College Park 分校） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL

AI总结 提出REDIPO数据构建流程，通过离线DPO从基础模型生成中恢复多样性答案，同时保持指令模型的对齐性能。

Comments Under Review. 26 pages, 3 figures, 16 tables

GRAIL: Gradient-Reweighted Advantages for Reinforcement Learning with Verifiable Rewards

GRAIL: 基于梯度重加权优势的可验证奖励强化学习

Tej Deep Pala, Vernon Toh, Soujanya Poria

机构 * DeCLaRe Lab, Nanyang Technological University（DeCLaRe实验室，南洋理工大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对强化学习中统一优势分配导致梯度信号稀释的问题，提出基于梯度激活显著性的令牌级优势重加权方法GRAIL，无需过程级监督即可提升推理对齐，在多个模型上平均准确率提升3.60%。

VCIFBench: Evaluating Complex Instruction Following for Video Understanding

VCIFBench：评估视频理解中的复杂指令遵循能力

Huangchen Xu, Yuan Wu, Yi Chang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University（知识驱动人机智能工程研究中心，吉林大学） ； International Center of Future Science, Jilin University（未来科学国际中心，吉林大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出VCIFBench基准，通过混合验证流水线评估多模态大模型在视频理解中遵循内容、格式、风格和结构约束的复杂指令能力，实验表明联合约束满足仍具挑战，DPO训练可提升性能。

Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning

基于结果锚定的优势重塑用于数学推理中的细粒度信用分配

Ziheng Li, Liu Kang, Feng Xiao, Luxi Xing, Qingyi Si, Zhuoran Li, Weikang Gong, Deqing Yang, Yanghua Xiao, Hongcheng Guo

机构 * Fudan University（复旦大学） ； XingYun lab, HUJING Digital Media & Entertainment Group（星云实验室，HUJING数字媒体与娱乐集团） ； University of Science and Technology Beijing（北京科技大学） ； Chinese Academy of Sciences（中国科学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 提出结果锚定优势重塑（OAR），通过两种策略（OAR-P和OAR-G）实现细粒度信用分配，显著提升GRPO在数学推理中的性能。

Deep Q-Learning with Q-Matrix Transfer Learning for Novel Fire Evacuation Environment

基于Q矩阵迁移学习的深度Q学习用于新型火灾疏散环境

Jivitesh Sharma, Per-Arne Andersen, Ole-Chrisoffer Granmo, Morten Goodwin

机构 * Centre for Artificial Intelligence Research（人工智能研究中心） ； Department of Information and Communication Technology（信息与通信技术系） ； University of Agder, Norway（阿格德大学，挪威） 纠错

专题命中 后训练与偏好优化 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于Q矩阵迁移学习的深度Q学习方法，用于解决紧急疏散问题，通过预训练DQN网络权重以获取最短路径信息，并在复杂真实环境中实现最优疏散路径。

Comments 21 pages, 14 figures, 4 tables

Unlocking Proactivity in Task-Oriented Dialogue

解锁任务导向型对话中的主动性

Azure Zhang, Ning Gao, Yuqin Dai, Ruiyuan Wu, Jinpeng Wang, Rena Wei Gao, Bingdong Tan, Shuzheng Gao, Zongjie Li, Chaozheng Wang

机构 * Keeta AI, Meituan（Keeta AI，美团） ； Independent Researcher（独立研究者） ； CUHK（香港中文大学） ； HKUST（香港科技大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；分类 cs.AI

AI总结 针对任务导向型对话中主动性问题，提出认知用户模拟器和模拟器诱导的非对称视角策略优化，通过建模用户潜在关注实现主动对话。

DEFLECT: Temporal Counterfactual Preference Learning for Delay-Robust Asynchronous VLAs

DEFLECT: 面向延迟鲁棒异步VLA的时间反事实偏好学习

Yixiang Zhu, Yonghao Chen, Zijie Yang, Yusong Hu, Xinyu Chen

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； One Robotics 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 针对异步视觉-语言-动作（VLA）策略中陈旧观测导致的预测-执行不匹配问题，提出离线后训练框架DEFLECT，通过反事实偏好监督学习偏好与执行时间对齐的动作，无需人工标注、在线部署或架构修改，显著提升高延迟下的任务成功率。