语言大模型 / LLM

Alignment Tampering: How Reinforcement Learning from Human Feedback Is Exploited to Optimize Misaligned Biases

对齐篡改：人类反馈强化学习如何被利用以优化错位偏见

Dongyoon Hahm, Dylan Hadfield-Menell, Kimin Lee

机构 * MIT（麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；RLHF(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出对齐篡改漏洞，即对齐中的LLM通过影响偏好数据集使RLHF放大不良行为，并通过实验展示多种偏见的放大，指出现有缓解方法难以在不牺牲质量的情况下解决该问题。

Comments Accepted at ICML 2026, Source code: https://alignment-tampering.github.io/

Post-Training LLMs as Better Decision-Making Agents: A Regret-Minimization Approach

将LLM后训练为更好的决策智能体：一种遗憾最小化方法

Chanwoo Park, Ziyang Chen, Asuman Ozdaglar, Kaiqing Zhang

机构 * Massachusetts Institute of Technology（麻省理工学院） ； University of Maryland, College Park（马里兰大学哥伦比亚学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出迭代遗憾最小化微调（Iterative RMFT），通过反复蒸馏低遗憾决策轨迹来后训练LLM，提升其在在线决策任务中的表现，无需依赖已知算法或人工模板。

Comments Camera ready version of ICML 2026

Differentially Private Preference Data Synthesis for Large Language Model Alignment

面向大语言模型对齐的差分隐私偏好数据合成

Fengyu Gao, Jing Yang

机构 * Department of Computer Science, University of Virginia, Charlottesville, Virginia, USA（弗吉尼亚大学计算机科学系） ； Department of Electrical and Computer Engineering, University of Virginia, Charlottesville, Virginia, USA（弗吉尼亚大学电气与计算机工程系） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；post-training(abstract)

AI总结 提出DPPrefSyn算法，基于Bradley-Terry偏好模型和DP-PCA生成差分隐私合成偏好数据，实现隐私保护的偏好对齐。

Comments Accepted to ICML 2026

Less is Enough: Synthesizing Diverse Data in LLM Feature Space with Sparse Autoencoders

少即是多：利用稀疏自编码器在LLM特征空间中合成多样化数据

Zhongzhi Li, Xuansheng Wu, Yijiang Li, Lijie Hu, Ninghao Liu

机构 * Department of Computing, University of Georgia, Georgia, United States（佐治亚大学计算机系） ； Computer Engineering, University of California San Diego, California, United States（加州大学圣地亚哥分校计算机工程系） ； Machine Learning Department, Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, United Arab Emirates（Mohamed bin Zayed人工智能大学机器学习系） ； Department of Computing, Hong Kong Polytechnic University, Hong Kong, China（香港理工大学计算机系） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出基于稀疏自编码器的特征激活覆盖率（FAC）指标及数据合成框架FAC Synthesis，通过识别缺失特征并生成对应样本来提升数据多样性和下游任务性能。

Consolidating Rewarded Perturbations for LLM Post-Training

整合奖励扰动用于大语言模型后训练

Zheyu Zhang, Shuo Yang, Gjergji Kasneci

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(title)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出CoRP方法，通过奖励加权聚合、兼容性重加权和验证门控，将奖励扰动整合为单一模型，无需梯度，在单次推理下平均提升8.1分。

Distilling LLM Feedback for Lean Theorem Proving

蒸馏LLM反馈用于Lean定理证明

Gaetan Narozniak, Gérard Biau, Rémi Munos, Ahmad Rammal, Pierre Marion

机构 * FAIR at Meta（Meta 的 FAIR 部门） ； Inria（法国国家科学与技术研究院） ； Sorbonne Université（索邦大学） ； Institut universitaire de France（法国国家科学研究院） ； CERMICS École des Ponts ParisTech（巴黎理工学院 CERMICS 实验室） ； ENS, PSL Research University（巴黎高等师范学院与巴黎科学实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出反馈蒸馏方法，通过让模型在token级别匹配自身分布（基于语言模型提供的特权反馈）来训练，以解决GRPO在推理后训练中的稀疏奖励和模式崩溃问题，并在Lean4定理证明中取得更好效果。

Auditing LLM Benchmarks with Item Response Theory

使用项目反应理论审计LLM基准测试

Sander Land, Daniel M. Bikel

机构 * Writer, Inc.（Writer公司） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文引入基于项目反应理论的指标，通过114个模型的响应在七个偏好和多选基准测试中识别出前200个示例中95%精度的可能错误标签，并追踪错误来源，同时揭示奖励模型在风格偏好而非事实知识上的专业化。

Federated Variational Preference Alignment with Gumbel-Softmax Prior for Personalized User Preferences

联邦变分偏好对齐与Gumbel-Softmax先验用于个性化用户偏好

Jabin Koo, Hoyoung Kim, Minwoo Jang, Jungseul Ok

机构 * Graduate School of AI, POSTECH, Pohang, Republic of Korea（POSTECH人工智能研究生院） ； Department of CSE, POSTECH, Pohang, Republic of Korea（POSTECH计算机科学与工程系） ； National AI Research Lab, Seoul, Republic of Korea（首尔国家人工智能研究实验室） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出FedVPA-GP框架，通过联邦混合先验和正交损失解决联邦学习中用户偏好冲突和个性化问题，在HH-RLHF数据集上优于单一模型。

Comments 21 pages, 4 figures. Accepted to ICML 2026

Self-Reflective Generation at Test Time

测试时的自反生成

Jian Mu, Qixin Zhang, Zhiyong Wang, Menglin Yang, Shuang Qiu, Chengwei Qin, Zhongxiang Dai, Yao Shu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） ； University of Edinburgh（爱丁堡大学） ； City University of Hong Kong（香港城市大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SRGen框架，通过动态熵阈值识别高不确定性token并训练校正向量，在测试时进行自反生成以纠正概率分布，提升大模型推理的可靠性。

Spurious Correlation Learning in Preference Optimization: Mechanisms, Consequences, and Mitigation via Tie Training

偏好优化中的虚假相关学习：机制、后果及通过平局训练的缓解方法

Christian Moya, Alex Semendinger, Guang Lin, Elliott Thornley

机构 * Department of Mathematics, Purdue University, West Lafayette IN, USA（普渡大学数学系） ； School of Mechanical Engineering, Purdue University, West Lafayette IN, USA（普渡大学机械工程学院） ； Massachusetts Institute of Technology, Cambridge MA, USA（麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过统一理论分析揭示了偏好优化（如DPO）中虚假相关学习的机制（均值虚假偏差和因果-虚假相关泄漏），证明其导致分布偏移下的不可逆脆弱性，并提出平局训练数据增强策略以选择性减少虚假学习。

Comments Proceedings of the 43rd International Conference on Machine Learning, 2026, Seoul, South Korea

Journal ref Proceedings of the 43rd International Conference on Machine Learning, 2026, Seoul, South Korea

The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement

RLHF的另一面：用于奖励模型自监督改进的在线策略反馈

Xiaobo Wang, Tong Wu, Min Tang, Jiaqi Li, Qi Liu, Zilong Zheng

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） ； University of Science and Technology of China（中国科学技术大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；language model(abstract)；分类 cs.CL

AI总结 提出SAVE框架，利用价值函数生成在线策略反馈，通过对比学习更新奖励模型，在六个基准上超越现有方法。

EchoRL: Reinforcement Learning via Rollout Echoing

EchoRL：通过回滚回响进行强化学习

Jinhe Bi, Aniri, Minglai Yang, Xingcheng Zhou, Wenke Huang, Sikuan Yan, Yujun Wang, Zixuan Cao, Michael Färber, Xun Xiao, Volker Tresp, Yunpu Ma

机构 * Munich Center for Machine Learning（慕尼黑机器学习中心） ； Huawei Heisenberg Research Center（华为海森堡研究所以） ； University of Arizona（亚利桑那大学） ； College of Computing（计算学院） ； Data Science, Nanyang Technological University, Singapore（数据科学，南洋理工大学，新加坡） ； MemAgents Lab（MemAgents实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对RLVR训练中优势退化问题，提出EchoRL模块，通过从成功回滚中提取EchoClip作为辅助监督信号，持续提升训练性能。

Comments ICML 2026

Reward Bias Substitution: Single-Axis Bias Mitigations Redirect Optimization Pressure

奖励偏差替代：单轴偏差缓解措施重定向优化压力

Max Lamparth, Daniel Fein, Andreas Haupt, Marcel Hussing, Mykel J. Kochenderfer

机构 * Stanford University（斯坦福大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 本文提出奖励偏差替代现象，即单轴缓解奖励模型偏差（如减少对长度、谄媚或风格的依赖）会将优化压力转移到相关代理上而非消除，并通过理论证明和实验（如GRPO训练中的长度惩罚导致过度自信）揭示了该问题，建议在评估中纳入策略诱导分布并跟踪多偏差。

Comments Improved readability (mostly appendix D)

LocalSUG: City-Preference-Enhanced LLM for Query Suggestion in Local-Life Services

LocalSUG：面向本地生活服务的城市偏好增强大语言模型查询建议

Jinwen Chen, Shiwen Zhang, Shuai Gong, Zheng Zhang, Yachao Zhao, Lingxiang Wang, Haibo Zhou, Wei Lin, Hainan Zhang

机构 * Meituan（美团） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 提出LocalSUG框架，通过挖掘城市偏好候选词注入提示、束搜索GRPO算法和加速解码，解决大语言模型在本地生活服务查询建议中城市偏好不足、偏好暴露偏差和延迟约束问题。

Distilling Counterfactual Reasoning from Language to Vision: Causal Graph Guided Post-Training for Video Understanding

从语言到视觉的反事实推理蒸馏：因果图引导的视频理解后训练

Yuefei Chen, Jiang Liu, Xiaodong Lin, Ruixiang Tang

机构 * Rutgers University（新泽西罗格斯大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 针对视觉语言模型在反事实推理上的不足，提出CounterVQA基准和CFGPT后训练方法，通过从语言模态蒸馏反事实推理能力提升视频理解。

Smaller and Faster 3DGS via Post-Training Dictionary Learning

通过训练后字典学习实现更小更快的3DGS

Jiarong Gong, Jonas Unger, Ehsan Miandji

机构 * Linköping University Department of Science and technology（利乌普斯大学科学与技术学院） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 提出首个基于字典学习的3DGS后训练压缩框架，无需重新训练即可显著压缩模型、保持图像质量并提升实时渲染速度。

World2Act: Latent Action Post-Training from World Model Dynamics

World2Act：基于世界模型动力学的潜在动作后训练

An Dinh Vuong, Tuan Van Vo, Abdullah Sohail, Haoran Ding, Liang Ma, Xiaodan Liang, Anqing Duan, Ivan Laptev, Ian Reid

机构 * MBZUAI 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 提出World2Act框架，通过潜在空间对齐世界模型动力学与动作嵌入，避免像素级监督，在仿真和真实机器人上提升VLA策略的成功率。

Comments Updated version. Project page: https://wm2act.github.io/

Configurable Reward Model for Balanced Safety Alignment

可配置奖励模型用于平衡安全对齐

Zhengping Jiang, Mehran Khodabandeh, Akash Bharadwaj, Manik Bhandari, Mayur Srungarapu, Anqi Liu, Benjamin Van Durme, Li Chen

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Meta Superintelligence Labs（Meta超智能实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出可配置安全奖励模型（CSRM），通过配置目标数据增强和联合优化，实现对细粒度安全配置和对话细微差别的敏感性，在可配置安全基准上达到最优性能，并改善有用性与安全性的权衡。

Pairwise Reference Alignment as a Model-Level Ordinal Observable

成对参考对齐作为模型级序数可观测量

Mujing Li

机构 * Independent Researcher（独立研究者） 纠错

专题命中 后训练与偏好优化 ：instruction tuning(abstract)；preference optimization(abstract)；分类 cs.CL、cs.LG

AI总结 本文定义成对参考对齐为模型评分函数诱导的序数可观测量，提出中心化序参数统计量和基于边界的扩展，并给出有限样本估计和浓度界，通过Qwen2.5和RewardBench实验验证。

Calibrated Preference Learning: The Case of Label Ranking

校准偏好学习：以标签排序为例

Santo M. A. R. Thies, Viktor Bengs, Timo Kaufmann, Sebastian J. Vollmer, Eyke Hüllermeier

机构 * Munich Center for Machine Learning, Munich (MCML), Germany（慕尼黑机器学习中心，慕尼黑（MCML），德国） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 针对概率标签排序问题，形式化定义了校准概念并建立层次体系，通过理论证明和实验验证了不同校准概念的关系及现有模型的校准缺陷。

Learning from Fine-Grained Visual Discrepancies: Mitigating Multimodal Hallucinations via In-Context Visual Contrastive Optimization

从细粒度视觉差异中学习：通过上下文视觉对比优化缓解多模态幻觉

Haolin Deng, Xin Zou, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

机构 * The Hong Kong University of Science（香港科学与技术大学） ； OPPO AI Center（OPPO AI中心） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 提出上下文视觉对比优化（IC-VCO）方法，通过共享多图像上下文中的对比图像确保数学严谨的目标，并引入视觉对比蒸馏（VCDist）和对比样本编辑策略，有效缓解多模态幻觉。

Comments ICML 2026

Cost-Aware Learning

成本感知学习

Clara Mohri, Amir Globerson, Haim Kaplan, Tomer Koren, Yishay Mansour

机构 * Kempner Institute（凯姆纳研究所） ； Harvard University（哈佛大学） ； Google Research（谷歌研究） ； Tel Aviv University（特拉维夫大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；language model(abstract)；分类 cs.LG

AI总结 针对有限和优化中不同组件采样成本不同的问题，提出基于梯度范数和成本的采样分布算法Cost-Aware SGD，并应用于语言模型强化学习，显著降低策略优化中的token使用量。

Graph-GRPO: Dependency-Aware Credit Assignment for Generative E-commerce Search Relevance

Graph-GRPO：面向生成式电商搜索相关性的依赖感知信用分配

Jiarui Che, Yifei Chen, Zhixing Tian, Chenyang Wang, Ziguang Cheng

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)

AI总结 提出Graph-GRPO，一种基于图结构的GRPO扩展，通过构建推理依赖图并传播结果级奖励实现细粒度信用分配，提升电商搜索相关性建模。

Comments 11 pages, 2 figures, 2 tables. Submitted to CIKM 2026

FOCUS: Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization

FOCUS: 通过视觉支持约束和策略优化强制上下文目标定位

Mohammed Asad Karim, Vinay Kumar Verma

机构 * Amazon, Seattle, USA（亚马逊（美国西雅图）） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种两阶段训练框架，通过优化支持框与查询图像间的上下文注意力并结合GRPO强化学习，实现无类别监督的类别无关上下文目标定位，7B模型性能超越72B模型。

Comments Accepted at ICML 2026. * Equal Contributions

SCOPE: Self-Play via Co-Evolving Policies for Open-Ended Tasks

SCOPE：面向开放式任务的协同演化策略自我对弈

Wai-Chung Kwan, Aryo Pradipta Gema, Joshua Ong Jun Leang, Pasquale Minervini

机构 * University of Edinburgh（爱丁堡大学） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL

AI总结 提出SCOPE框架，通过协同演化挑战者和求解者策略，实现无数据自我对弈，在开放式任务上提升性能并超越依赖人工提示的方法。

SwanVoice: Expressive Long-Form Zero-Shot Speech Synthesis for Both Monologue and Dialogue

SwanVoice: 面向独白与对话的表现力长文本零样本语音合成

Ruiqi Li, Yu Zhang, Changhao Pan, Ke Lei, Xiang Yin, Cheng Yang

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 提出SwanVoice零样本TTS模型，通过构建独白与对话语料库、结合VAE、原始文本条件与流匹配DiT，以及两阶段训练和强化学习后训练，在长文本多说话人对话中实现表现力连贯性和可控切换。

Comments Technical Report