语言大模型 / LLM

Robust Post-Training for Generative Recommenders: Why Exponential Reward-Weighted SFT Outperforms RLHF

生成推荐系统的鲁棒性训练：为何指数奖励加权SFT优于RLHF

Keertana Chidambaram, Sanath Kumar Krishnamurthy, Qiuling Xu, Ko-Jen Hsiao, Moumita Bhattacharya

专题命中 后训练与偏好优化 ：post-training(title,abstract)；SFT(title,abstract)；RLHF(title,abstract)；分类 cs.LG

AI总结 本文提出指数奖励加权SFT方法，通过直接优化观测奖励，有效解决生成推荐系统中的鲁棒性训练问题，理论和实验证实其在噪声环境下的优越性能。

Aligning Large Language Models with Searcher Preferences

将大型语言模型对齐于搜索者偏好

Wei Wu, Peilun Zhou, Liyi Chen, Qimeng Wang, Chengqiang Lu, Yan Gao, Yi Wu, Yao Hu, Hui Xiong

机构 * School of Artificial Intelligence and Data Science, University of Science and Technology of China（中国科学技术大学人工智能与数据科学学院） ； Xiaohongshu Inc.（小红书公司） ； Thrust of Artificial Intelligence, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）人工智能研究所） ； Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 SearchLLM通过分层多维奖励系统提升开放式生成搜索的鲁棒性和用户需求对齐能力，实测有效消费率提升1.03%。

Personalized Group Relative Policy Optimization for Heterogenous Preference Alignment

面向异质偏好对齐的个性化群体相对策略优化

Jialu Wang, Heinrich Peters, Asad A. Butt, Navid Hashemi, Alireza Hashemi, Pouya M. Ghari, Joseph Hoover, James Rae, Morteza Dehghani

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；RLHF(abstract)

AI总结 本文提出个性化GRPO框架，通过解耦优势估计与批次统计，提升模型对异质偏好信号的对齐能力。

Logarithmic Regret for Online KL-Regularized Reinforcement Learning

在线KL正则化强化学习的对数遗憾

Heyang Zhao, Chenlu Ye, Wei Xiong, Quanquan Gu, Tong Zhang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文提出了一种基于乐观的KL正则化在线上下文老虎机算法，实现了对数遗憾界，并扩展到强化学习领域。

Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning

应对长度膨胀而不产生权衡：用于强化学习的群体相对奖励重缩放

Zichao Li, Jie Lou, Fangchen Dong, Zhiyuan Fan, Mengjie Ren, Hongyu Lin, Xianpei Han, Debing Zhang, Le Sun, Yaojie Lu, Xing Yu

专题命中 后训练与偏好优化 ：LLM(abstract)；RLHF(abstract)；分类 cs.CL、cs.LG

AI总结 GR$^3$通过乘法重缩放范式解决强化学习中的长度膨胀问题，实现通用、连续且奖励依赖的门控机制，有效减少冗余推理并提升训练性能。

ToolRLA: Multiplicative Reward Decomposition for Tool-Integrated Agents

ToolRLA: 工具集成代理的乘法奖励分解

Pengbo Liu

专题命中 后训练与偏好优化 ：post-training(abstract)；SFT(abstract)；分类 cs.AI

AI总结 ToolRLA通过乘法奖励分解提升工具集成代理的任务完成率、减少错误与违规，实现高效领域特定部署。

UrbanAlign: Post-hoc Semantic Calibration for VLM-Human Preference Alignment

UrbanAlign: 域内任务中VLM与人类偏好对齐的后处理语义校准

Yecheng Zhang, Rong Zhao, Zhizhou Sha, Yong Li, Lei Wang, Ce Hou, Wen Ji, Hao Huang, Yunshan Wan, Jian Yu, Junhao Xia, Yuru Zhang, Chunlei Shi

机构 * Tsinghua University（清华大学） ； University College London（伦敦大学学院） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Peking University（北京大学） ； Southwest Jiaotong University（西南交通大学） ； Zhejiang University（浙江大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Renmin University of China（中国人民大学） ； Southeast University（东南大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；RLHF(abstract)

AI总结 UrbanAlign通过后处理方法实现VLM与人类偏好的对齐，无需修改模型权重，提升领域任务的准确性和可解释性。

Comments 26 pages

Flexible Cutoff Learning: Optimizing Machine Learning Potentials After Training

灵活截断学习：训练后优化机器学习势能

Rick Oerder, Jan Hamaekers

机构 * Institute for Numerical Simulation, University of Bonn（波恩大学数值模拟研究所） ； Fraunhofer Institute for Algorithms and Scientific Computing SCAI（弗劳恩霍夫算法与科学计算研究所SCAI） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 灵活截断学习通过训练后优化实现机器学习势能的精度-成本权衡优化，适用于多种应用需求。

AD-R1: Closed-Loop Reinforcement Learning for End-to-End Autonomous Driving with Impartial World Models

AD-R1: 闭环强化学习用于端到端自动驾驶的中立世界模型

Tianyi Yan, Tao Tang, Xingtai Gui, Yongkang Li, Jiasen Zhesng, Weiyao Huang, Lingdong Kong, Wencheng Han, Xia Zhou, Xueyang Zhang, Yifei Zhan, Kun Zhan, Cheng-zhong Xu, Jianbing Shen

机构 * SKL-IOTSC, University of Macau（SKL-IOTSC，澳门大学） ； Li Auto Inc. ； Sun Yat-sen University（中山大学） ； Huazhong University of Science and Technology（华中科技大学） ； Northwestern University（西北大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 AD-R1通过引入中立世界模型和反事实合成技术，提升自动驾驶系统在危险预测和安全控制方面的性能。