语言大模型 / LLM

Listwise Policy Optimization: Group-based RLVR as Target-Projection on the LLM Response Simplex

列表式策略优化：基于组的RLVR作为LLM响应单纯形上的目标投影

Yun Qu, Qi Wang, Yixiu Mao, Heming Zou, Yuhang Jiang, Yingyue Li, Wutong Xu, Lizhou Cai, Weijie Liu, Clive Bai, Kai Yang, Yangkun Chen, Saiyong Yang, Xiangyang Ji

机构 * Department of Automation, Tsinghua University（清华大学自动化系） ； LLM Department, Tencent（腾讯LLM部门） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出列表式策略优化（LPO），通过显式执行目标投影来解构隐式目标，利用响应单纯形限制近端RL目标，并通过精确散度最小化进行策略投影，从而在多样推理任务和LLM基础上提升训练性能，同时保持优化稳定性和响应多样性。

Conditional Equivalence of DPO and RLHF: Implicit Assumption, Failure Modes, and Provable Alignment

DPO与RLHF的条件等价性：隐含假设、失败模式与可证明对齐

Zhiqin Yang, Yonggang Zhang, Wei Xue, Dong Fang, Bo Han, Yike Guo

机构 * The Hong Kong University of Science（香港科技大学） ； Hong Kong Baptist University（香港 Baptist 大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了DPO与RLHF的等价性问题，指出其等价性依赖于一个隐含假设，当该假设不成立时，DPO会优化相对优势而非绝对对齐，从而导致路径性收敛。作者提出CPO方法，通过引入约束实现可证明对齐，并通过几何解释揭示DPO的margin ranking机制。

Comments 49 pages

Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages

反思式X训练：反馈条件化提升跨所有LLM训练阶段的扩展性

Brandon Cui, Ximing Lu, Jaehun Jung, Syeda Nahida Akter, Hyunwoo Kim, Yuxiao Qu, David Acuna, Shrimai Prabhumoye, Yejin Choi, Prithviraj Ammanabrolu

机构 * NVIDIA ； University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学） ； UC San Diego（南加州大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出反思式训练（IXT），通过利用后续阶段的动态来改进早期阶段，从而提高LLM训练的扩展效率，实验表明该方法在计算效率和性能上均有显著提升。

TimeSRL: Generalizable Time-Series Behavioral Modeling via Semantic RL-Tuned LLMs -- A Case Study in Mental Health

TimeSRL: 通过语义RL调优的LLM实现通用的时间序列行为建模 -- 一项心理健康应用的案例研究

Yuang Fan, Lilin Xu, Millie Wu, Jingping Nie, Qingyu Chen, Yuzhe Yang, Zhuo Zhang, Xin Liu, Subigya Nepal, Xiaofan Jiang, Xuhai "Orson" Xu

机构 * Columbia University（哥伦比亚大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Yale University（耶鲁大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Google（谷歌） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TimeSRL，一种两阶段LLM框架，通过显式的语义瓶颈路由预测，将原始信号抽象为高级自然语言，从而预测行为结果，该方法在心理健康预测中实现了最先进的跨群体泛化性能。

Customizing an LLM for Enterprise Software Engineering

为企业软件工程定制LLM

Aditya Kini, Satish Chandra, Milad Hashemi, Saksham Thakur, Aditya Pandey, Vincent Nguyen, Marc Brockschmidt, Franjo Ivančić, Danny Tarlow, Parthasarathy Ranganathan, Petros Maniatis, Ahmed Omran, Zaheer Abbas, Anita Gergely, Martin Sevenich, Gufeng Zhang, Amy Hua, Alexander Frömmgen

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(abstract)

AI总结 本文提出Gemini for Google，一种专为企业内部软件工程生态系统定制的LLM，通过端到端开发和中间训练策略，显著提升了开发效率和代码存活率，为其他组织提供了可复制的数据利用路径。

Comments 11 pages, 8 figures

Towards Context-Invariant Safety Alignment for Large Language Models

面向大语言模型的上下文不变安全对齐

Yixu Wang, Yang Yao, Xin Wang, Yifeng Gao, Yan Teng, Xingjun Ma, Yingchun Wang

机构 * Fudan University, Shanghai, China（复旦大学，上海，中国） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国） 纠错

专题命中 后训练与偏好优化 ：large language model(title)；language model(title)；post-training(abstract)；preference optimization(abstract)

AI总结 本文提出了一种上下文不变的安全对齐方法，通过引入锚点不变正则化（AIR）来提升模型在不同上下文中的鲁棒性，从而增强安全约束对对抗性框架的抵抗力。

Comments ICML 2026

Spectral Souping: A Unified Framework for Online Preference Alignment

谱汤：一种在线偏好对齐的统一框架

Yinlam Chow, Guy Tennenholtz, Ted Yun, James Harrison, Arthur Gretton, Andre Barreto, Bo Dai

机构 * Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种统一的在线偏好对齐框架Spectral Souping，通过发现LLM中的通用谱表示，实现了高效的模型合并，从而在不需昂贵在线重训练的情况下快速适应个体用户偏好。

PREFINE: Preference-Based Implicit Reward and Cost Fine-Tuning for Safety Alignment

PREFINE: 基于偏好的隐式奖励和成本微调以实现安全对齐

Richa Verma, Bavish Kulur, Sanjay Chawla, Balaraman Ravindran

机构 * TCS Research, \ of CSE, IIT Madras India ； Department of Computing Science, \ of Alberta Canada ； Qatar Computing Research Institute, \ Bin Khalifa University Qatar ； Department of Data Science \& AI, Wadhwani School of Data Science \& AI, IIT Madras India ； TCS Research, \ of CSE, IIT Madras ； Department of Computing Science, \ of Alberta ； Qatar Computing Research Institute, \ Bin Khalifa University ； Department of Data Science \& AI, Wadhwani School of Data Science \& AI, IIT Madras 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；language model(abstract)；preference optimization(abstract)

AI总结 该研究提出PREFINE方法，通过基于偏好的隐式奖励和成本微调，在连续控制环境中实现安全策略对齐，通过微调预训练强化学习策略以生成低成本行为同时保持高奖励。

Comments Accepted at AAMAS 2026 as a full paper

How Much Online RL is Enough? Informative Rollouts for Offline Preference Optimization in RLVR

在线强化学习需要多少？用于RLVR中离线偏好优化的信息性回放

Richa Verma, Balaraman Ravindran

机构 * TCS Research Department of CSE（TCS计算机科学系研究部） ； IIT Madras（印度理工学院马德拉斯分校） ； Department of Data Science & AI（数据科学与人工智能系） ； Wadhwani School of Data Science & AI（Wadhwani数据科学与人工智能学院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出G2D方法，通过短时GRPO预热、构建静态偏好数据集和离线DPO微调，以较低的计算成本实现优于GRPO的性能，强调偏好数据信息性而非数量的重要性。

Linear-DPO: Linear Direct Preference Optimization for Diffusion and Flow-Matching Generative Models

Linear-DPO: 用于扩散和流匹配生成模型的线性直接偏好优化

Kesong Li, Yixuan Xu, Kuo-kun Tseng, Weiyi Lu, Kan Liu, Tao Lan

机构 * School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.LG

AI总结 本文提出Linear-DPO，通过统一的反向时间SDE框架推导出涵盖扩散和流匹配的通用DPO目标，指出标准DPO目标在文本到图像生成中不最优，并通过定性定量实验验证了其在扩散模型和流匹配模型上的优越性。

Comments Code and models are available at: https://github.com/Whynot0101/Linear-DPO . Work done during an internship at Alibaba Group

Distributed Direct Preference Optimization

分布式直接偏好优化

Zhanhong Jiang

机构 * Translational AI Center, Iowa State University, Ames, USA（翻译人工智能中心，爱荷华州立大学，爱荷华州阿姆斯） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.LG

AI总结 本文研究了在分布式环境中直接偏好优化（DPO）的收敛性和时间复杂度，分析了联邦学习和去中心化学习中偏好数据碎片化对优化动态的影响，并提出了具有理论保证的鲁棒且可扩展的实现实现方法。

Comments 29 pages, 12 figures

Mind the Generative Details: Direct Localized Detail Preference Optimization for Video Diffusion Models

注意生成细节：面向视频扩散模型的直接局部化细节偏好优化

Zitong Huang, Kaidong Zhang, Yukang Ding, Chao Gao, Rui Ding, Ying Chen, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Alibaba Group - Taobao & Tmall Group（阿里巴巴集团-淘宝 & 天猫集团） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title)；post-training(abstract)；分类 cs.AI

AI总结 本文提出LocalDPO，一种新的后训练框架，通过从真实视频中构建局部偏好对，并在时空区域层面优化对齐，以提高视频生成的质量和人类偏好评分。

Comments Accepted by CVPR 2026

Reinforcing Human Behavior Simulation via Verbal Feedback

通过言语反馈强化人类行为模拟

Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Microsoft（微软） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出DITTO模型，通过将言语反馈作为强化学习中的首要信号来提升LLM模拟人类行为的能力，并引入SOUL基准测试平台，展示了在多个任务中显著提升性能的成果。

RankE: End-to-End Post-Training for Discrete Text-to-Image Generation with Decoder Co-Evolution

RankE: 用于离散文本到图像生成的端到端后训练方法 with Decoder Co-Evolution

Siyong Jian, Siyuan Li, Luyuan Zhang, Zedong Wang, Xin Jin, Ying Li, Cheng Tan, Huan Wang

机构 * Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 本文提出RankE，一种端到端的后训练框架，通过解码器与策略的协同进化，解决离散自回归文本到图像生成中策略优化导致的潜在协变量偏移问题，同时提升图像质量和对齐度。

Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training

超越GRPO和在线策略蒸馏：一种经验性稀疏到密集奖励原则用于语言模型后训练

Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang, Alborz Geramifard

专题命中 后训练与偏好优化 ：post-training(title)；分类 cs.AI、cs.LG

AI总结 本文提出了一种经验性的稀疏到密集奖励原则，用于语言模型后训练，通过在教师模型上使用稀疏奖励进行探索和发现，然后通过密集监督将行为压缩到部署模型中，从而在数学问题上实现了优于GRPO的性能。

DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards

DelTA: 一种用于可验证奖励强化学习的判别性token信用分配

Kaiyi Zhang, Wei Wu, Yankai Lin

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院 Gallagher 学院） ； Ant International（蚂蚁国际） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出DelTA方法，通过估计token系数来增强特定侧的token梯度方向，从而改进可验证奖励强化学习中的token概率更新，提升了模型在数学基准测试中的性能。

Multi-Step Likelihood-Ratio Correction for Reinforcement Learning with Verifiable Rewards

多步似然比校正用于可验证奖励的强化学习

Deokgyu Yoon, Hyungkyu Kang, Joongkyu Lee, Byeongchan Kim, Gyungin Shin, Sungrae Park, Min-hwan Oh

机构 * Seoul National University（首尔国立大学） ； Upstage 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种多步前向轨迹政策优化（NFPO）算法，通过引入N步前向轨迹来改进PPO的近似目标，从而在可验证奖励的强化学习中实现更精确的策略改进。

Reinforcing VLAs in Task-Agnostic World Models

在任务无关的世界模型中强化视觉-语言-动作

Yucen Wang, Rui Yu, Fengming Zhang, Junjie Lu, Xinyao Qin, Tianxiang Zhang, Kaixin Wang, Li Zhao

机构 * Microsoft Research Asia（微软亚洲研究院） ； Nanjing University（南京大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Wuhan University（武汉大学） ； University of Technology Sydney（悉尼科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出RAW-Dream方法，通过分离世界模型学习与下游任务依赖，利用预训练的世界模型和现成的视觉-语言模型，实现零样本推理，从而在无需任务特定数据的情况下提高VLA适应性。

QwenSafe: Multimodal Content Rating Description Identification via Preference-Aligned VLMs

QwenSafe: 通过偏好对齐的视觉语言模型实现多模态内容评级描述识别

Dishanika Denipitiyage, Aruna Seneviratne, Suranga Seneviratne

机构 * University of Sydney（悉尼大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；preference optimization(abstract)

AI总结 本文提出QwenSafe，一种通过联合推理应用元数据和截图来自动识别苹果定义的内容评级描述（CRDs）的视觉语言模型，通过引入metadata2CRD数据构建管道和直接偏好优化（DPO）提升模型预测准确性，实验结果显示QwenSafe在二元CRD分类中显著优于现有模型。

AGPO: Adaptive Group Policy Optimization with Dual Statistical Feedback

AGPO: 基于双统计反馈的自适应群体策略优化

Miaobo Hu, Shuhao Hu, Bokun Wang, Ruohan Wang, Xin Wang, Xiaobo Guo, Daren Zha, Jun Xiao

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AGPO，一种无 critic 的 GRPO 改进方法，通过群体层面的统计信息控制更新幅度和探索。在九个英语和中文数学/STEM 基准上，Qwen2.5-14B 在相同生成 token 预算下优于 PPO/GRPO，达到 GSM8K 67.3% 和 MATH 40.5%。

Bayesian Preference Learning for Test-Time Steerable Reward Models

基于测试时间可调节的贝叶斯偏好学习的奖励模型

Jiwoo Hong, Shao Tang, Zhipeng Wang

机构 * LinkedIn Corporation（LinkedIn公司） ； Nubank 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种新的贝叶斯奖励建模目标，即变分上下文奖励建模（ICRM），通过上下文偏好演示实现测试时间可调节性，从而适应未见过的偏好分布，提高了奖励模型的准确性和鲁棒性。

Comments Preprint

Regulating Anatomy-Aware Rewards via Trajectory-Integral Feedback for Volumetric Computed Tomography Analysis

通过轨迹积分反馈调节解剖感知奖励用于体积计算断层扫描分析

Tianwei Lin, Zhongwei Qiu, Jie Cao, Jiang Liu, Wenjie Yan, Bo Zhang, Yu Zhong, Wenqiao Zhang, Yingda Xia, Ling Zhang

机构 * Zhejiang University（浙江大学） ； DAMO Academy, Alibaba Group（阿里集团达摩院） ； Hupan Lab（虎扑实验室） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 本文提出了一种新的框架，通过轨迹积分反馈GRPO（TIF-GRPO）来改进医疗视觉语言模型在三维CT分析中的性能，通过引入临床异常基准评估子系统（CABS）来解决优化目标与临床严谨性之间的不匹配问题，提升异常检测和临床准确性。