语言大模型 / LLM

Watch Before You Answer: Learning from Visually Grounded Post-Training

在回答前观看：从视觉引导的后训练中学习

Yuxuan Zhang, EunJeong Hwang, Huaisong Zhang, Penghui Du, Yiming Jia, Dongfu Jiang, Xuan He, Shenhui Zhang, Ping Nie, Peter West, Kelsey R. Allen

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Etude AI ； Kolors Team, Kuaishou Technology（快手科技Kolors团队） ； University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文发现现有视频理解基准中40-60%的问题可通过文本线索回答，提出VidGround方法通过仅使用视觉引导问题提升VLM性能，实验显示其在后训练中效果优于复杂方法。

APPA: Adaptive Preference Pluralistic Alignment for Fair Federated RLHF of LLMs

APPA：自适应偏好多元对齐用于大语言模型公平联邦强化学习从人类反馈

Mahmoud Srewa, Tianyu Zhao, Salma Elmalaki

机构 * University of California, Irvine（加利福尼亚大学尔湾分校） 纠错

专题命中 后训练与偏好优化 ：RLHF(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出APPA框架，通过动态调整群体奖励权重，提升联邦强化学习中多群体公平对齐效果，实验显示其在保持整体对齐性的同时，显著提升最差群体对齐性能。

ImplicitRM: Unbiased Reward Modeling from Implicit Preference Data for LLM alignment

ImplicitRM: 从隐式偏好数据中无偏奖励建模以实现语言模型对齐

Hao Wang, Haocheng Yang, Licheng Pan, Lei Shen, Xiaoxi Li, Yinuo Wang, Zhichao Chen, Yuan Lu, Haoxuan Li, Zhouchen Lin

机构 * Peking University（北京大学） ； Xiaohongshu Inc.（小红书公司） ； National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ImplicitRM，通过隐式反馈数据学习无偏奖励模型，解决隐式偏好数据中缺乏明确负样本和用户偏好偏差的问题，实验验证其有效性。

EvidenceRL: Reinforcing Evidence Consistency for Trustworthy Language Models

EvidenceRL: 为可信语言模型强化证据一致性

J. Ben Tamo, Yuxing Lu, Benoit L. Marteau, Micky C. Nnamdi, May D. Wang

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Pekin University（培根大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 EvidenceRL通过强化学习框架在训练中强制证据遵循，提升语言模型在医疗诊断和法律推理中的证据接地和可信度，同时保持任务准确性。

Tree Search for LLM Agent Reinforcement Learning

基于树搜索的LLM代理强化学习

Yuxiang Ji, Ziyu Ma, Yong Wang, Guanhua Chen, Xiangxiang Chu, Liaoni Wu

机构 * Xiamen University（厦门大学） ； AMAP, Alibaba Group（阿里集团AMAP实验室） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Tree-GRPO方法，通过树结构提升LLM代理在长期任务中的表现，利用树搜索共享前缀以增加rollout数量，并通过理论分析证明其与直接偏好学习等效。

Comments ICLR 2026, Code: https://github.com/AMAP-ML/Tree-GRPO

From Self-Evolving Synthetic Data to Verifiable-Reward RL: Post-Training Multi-turn Interactive Tool-Using Agents

从自演化合成数据到可验证奖励强化学习：训练后多轮交互工具使用智能体

Jiaxuan Gao, Jiaao Chen, Chuyi He, Shusheng Xu, Di Jin, Yi Wu

专题命中 后训练与偏好优化 ：post-training(title,abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出EigenData框架，结合自演化数据代理与验证器强化学习，通过合成数据提升多轮交互工具使用智能体的训练效率和性能。

Comments Submitted to ICML 2026

BandPO: Bridging Trust Regions and Ratio Clipping via Probability-Aware Bounds for LLM Reinforcement Learning

BandPO: 通过概率感知边界弥合信任区域与比率裁剪用于大语言模型强化学习

Yuan Li, Bo Wang, Yufei Gao, Yuqian Yao, Xinyuan Wang, Zhangyue Yin, Xipeng Qiu

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 BandPO通过概率感知边界解决大语言模型强化学习中的探索瓶颈，提升性能并缓解熵崩溃问题。

Comments Code available at https://github.com/OpenMOSS/BandPO.git

Spectrum Tuning: Post-Training for Distributional Coverage and In-Context Steerability

频谱调节：面向分布覆盖和上下文可引导性的后训练

Taylor Sorensen, Benjamin Newman, Jared Moore, Chan Park, Jillian Fisher, Niloofar Mireshghallah, Liwei Jiang, Yejin Choi

机构 * University of Washington（华盛顿大学） ； Stanford University（斯坦福大学） ； Microsoft Research（微软研究院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Spectrum Tuning方法，通过Spectrum Suite提升模型在多样化分布下的引导能力和输出空间覆盖性。

Comments ICLR 2026

Beyond RLHF and NLHF: Population-Proportional Alignment under an Axiomatic Framework

超越RLHF和NLHF：在公理框架下的人口比例对齐

Kihyun Kim, Jiawei Zhang, Asuman Ozdaglar, Pablo A. Parrilo

机构 * MIT LIDS（麻省理工学院LIDS） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 后训练与偏好优化 ：RLHF(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于公理框架的人口比例对齐方法，通过社会选择理论解决传统偏好学习中的偏差和操纵问题，并在推荐任务和语言模型对齐中验证了其有效性。

Comments ICLR 2026

Multi-Objective Alignment of Language Models for Personalized Psychotherapy

多目标对齐语言模型以实现个性化心理治疗

Mehrab Beikzadeh, Yasaman Asadollah Salmanpour, Ashima Suvarna, Sriram Sankararaman, Matteo Malgaroli, Majid Sarrafzadeh, Saadia Gabriel

机构 * Department of Computer Science, University of California, Los Angeles, CA, USA（计算机科学系，加州大学洛杉矶分校） ； Department of Psychology, The University of Texas at Austin, Austin, TX, USA（心理学系，德克萨斯大学奥斯汀分校） ； Department of Psychiatry, NYU Grossman School of Medicine, New York, NY, USA（精神病学系，纽约大学格罗斯曼医学院） 纠错

专题命中 后训练与偏好优化 ：language model(title)；LLM(abstract)；preference optimization(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出多目标对齐框架，通过直接偏好优化提升语言模型在心理治疗中的共情与安全性能，实验显示其在平衡患者偏好与临床安全方面优于传统方法。

Semi-Supervised Preference Optimization with Limited Feedback

半监督偏好优化与有限反馈

Seonggyun Lee, Sungjun Lim, Seojin Park, Soeun Cheon, Kyungwoo Song

机构 * Yonsei University（延世大学） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出半监督偏好优化方法，通过结合少量标注数据和大量未标注数据，有效提升模型对齐人类偏好的效率，减少数据获取成本。

Curriculum-DPO++: Direct Preference Optimization via Data and Model Curricula for Text-to-Image Generation

Curriculum-DPO++: 通过数据和模型课程直接优化偏好用于文本到图像生成

Florinel-Alin Croitoru, Vlad Hondru, Radu Tudor Ionescu, Nicu Sebe, Mubarak Shah

机构 * Department of Computer Science, University of Bucharest（布加勒斯特大学计算机科学系） ； University of Trento（特伦托大学） ； Center for Research in Computer Vision (CRCV), University of Central Florida（中央佛罗里达大学计算机视觉研究中心） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 Curriculum-DPO++通过数据和模型课程增强直接偏好优化，提升文本到图像生成的性能。

Comments arXiv admin note: substantial text overlap with arXiv:2405.13637

Translate Policy to Language: Flow Matching Generated Rewards for LLM Explanations

将策略翻译为语言：通过生成连续归一化流生成的奖励用于LLM解释

Xinyi Yang, Liang Zeng, Heng Dong, Chao Yu, Xiaoran Wu, Huazhong Yang, Yu Wang, Milind Tambe, Tonghan Wang

机构 * AIPD, Tencent, Shenzhen, China（腾讯人工智能与大数据研究院，深圳，中国） ； IIIS, Tsinghua University, Beijing, China（清华大学人工智能学院，北京，中国） ； EE, Tsinghua University, Beijing, China（清华大学电子工程系，北京，中国） ； CS, Tsinghua University, Beijing, China（清华大学计算机系，北京，中国） ； SEAS, Harvard University, Cambridge, USA（哈佛大学工程学院，剑桥，美国） ； College of AI, Tsinghua University, Beijing, China（清华大学人工智能学院，北京，中国） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；RLHF(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过生成连续归一化流生成奖励，训练LLM生成更准确、逻辑严谨且认知负担更低的解释，以提升智能体与人类共存的可靠性。

Comments Accepted by ICLR 2026

Dr. MAS: Stable Reinforcement Learning for Multi-Agent LLM Systems

Dr. MAS：多智能体大语言模型系统的稳定强化学习

Lang Feng, Longtao Zheng, Shuo He, Fuxiang Zhang, Bo An

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 Dr. MAS通过智能体级归一化方法稳定多智能体大语言模型的强化学习训练，提升性能并减少梯度不稳定问题。

Comments Preprint

Democratic Preference Alignment via Sortition-Weighted RLHF

通过排序加权RLHF实现民主偏好对齐

Suvadip Sana, Jinzhou Wu, Martin T. Wells

机构 * cornell（康奈尔大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 DemPO通过算法排序机制优化偏好对齐，确保民主代表性，提升模型对代表性公众价值观的反映能力。

Comments 16 pages, 5 figures

VISTA: Enhancing Visual Conditioning via Track-Following Preference Optimization in Vision-Language-Action Models

VISTA: 通过视觉跟踪偏好优化增强视觉条件化在视觉-语言-动作模型中

Yiye Chen, Yanan Jian, Xiaoyi Dong, Shuxin Cao, Jing Wu, Patricio Vela, Benjamin E. Lundell, Dongdong Chen

机构 * Nvidia（Nvidia公司） ； Microsoft（微软公司） ； University of Oxford（牛津大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 VISTA通过视觉跟踪偏好优化提升视觉条件化，增强VLA模型在视觉-动作对齐和任务性能上的表现。

Comments In submission. Project website: https://vista-vla.github.io/

Provable Defense Framework for LLM Jailbreaks via Noise-Augumented Alignment

通过噪声增强对齐的可证明防御框架对抗LLM劫持

Zehua Cheng, Jianwei Yang, Wei Dai, Jiahao Sun

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出通过噪声增强对齐的可证明防御框架，有效降低LLM劫持攻击成功率，提升模型鲁棒性与实用性。

Comments 10 pages

Latent Adversarial Regularization for Offline Preference Optimization

潜在对抗正则化用于离线偏好优化

Enyi Jiang, Yibo Jacky Zhang, Yinglun Xu, Andreas Haupt, Nancy Amato, Sanmi Koyejo

机构 * Department of Computer Science, Stanford University（斯坦福大学计算机科学系） ； Siebel School of Computing（塞贝尔计算学院） ； Data Science, University of Illinois at Urbana-Champaign（数据科学，伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GANPO，通过潜在空间正则化提升语言模型的离线偏好优化性能，增强鲁棒性并减少计算开销。

It's Not You, It's Clipping: A Soft Trust-Region via Probability Smoothing for LLM RL

并非你，而是剪裁：通过概率平滑的软信任区域进行大语言模型强化学习

Madeleine Dwyer, Adam Sobey, Adriane Chapman

机构 * University of Southampton（索姆塞特大学） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PSPO方法，通过概率平滑改进大语言模型强化学习中的信任区域，提升数学推理任务的性能。

GRACE: A Language Model Framework for Explainable Inverse Reinforcement Learning

GRACE：一种用于可解释逆强化学习的语言模型框架

Silvia Sapora, Devon Hjelm, Alexander Toshev, Omar Attia, Bogdan Mazoure

机构 * Apple（苹果公司） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 GRACE通过大型语言模型和进化搜索，从专家轨迹中逆向工程可解释的代码奖励函数，实现高效准确的奖励学习并生成强大策略。

Is On-Policy Data always the Best Choice for Direct Preference Optimization-based LM Alignment?

基于直接偏好优化的LM对齐中，策略数据是否总是最佳选择？

Zetian Sun, Dongfang Li, Xuhui Chen, Baotian Hu, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出对齐阶段假设，通过理论和实证分析，揭示了静态与策略偏好数据在LM对齐中的效果差异，并提出算法识别对齐阶段边界。

Comments Accepted by ICLR-2026

Unsupervised Elicitation of Language Models

无监督的语言模型引导

Jiaxin Wen, Zachary Ankner, Arushi Somani, Peter Hase, Samuel Marks, Jacob Goldman-Wetzler, Linda Petrini, Henry Sleight, Collin Burns, He He, Shi Feng, Ethan Perez, Jan Leike

机构 * Anthropic ； Schmidt Sciences ； New York University（纽约大学） ； George Washington University（乔治华盛顿大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出无监督算法ICM，通过模型自动生成标签来微调语言模型，无需外部监督，在多个任务中表现出色，尤其在超人类能力任务中表现更优。

Segmental Advantage Estimation: Enhancing PPO for Long-Context LLM Training

段落优势估计：增强PPO用于长上下文LLM训练

Xue Gong, Qi Yi, Ziyuan Nan, Guanhua Huang, Kejiao Li, Yuhao Jiang, Ruibin Xiong, Zenan Xu, Jiaming Guo, Shaohui Peng, Bo Zhou

机构 * LLM Department, Tencent（腾讯大语言模型部门） ； University of Chinese Academy of Sciences（中国科学院大学） ； Intelligent Software Research Center, Institute of Software, CAS（软件研究所智能软件研究中心） ； State Key Lab of Processors, Institute of Computing Technology, CAS（计算技术研究所处理器国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 段落优势估计通过减少稀疏奖励环境中的偏差，提升PPO在长上下文LLM训练中的稳定性和效率

Meta-Learning Objectives for Preference Optimization

元学习目标用于偏好优化

Carlo Alfano, Silvia Sapora, Jakob Nicolaus Foerster, Patrick Rebeschini, Yee Whye Teh

机构 * Department of Statistics University of Oxford（统计系牛津大学） ； Department of Engineering University of Oxford（工程系牛津大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于镜像下降的新型偏好优化算法MPO，通过进化策略发现针对特定偏好数据集属性的算法，并在MuJoCo和大语言模型对齐任务中取得显著效果。

Sample, Don't Search: Rethinking Test-Time Alignment for Language Models

样本，而非搜索：重新思考语言模型的测试时间对齐

Gonçalo Faria, Noah A. Smith

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.LG

AI总结 QAlign通过增加测试时间计算量，改进语言模型输出对齐，优于现有方法如best-of-n和多数投票。

Structure-Aligned Protein Language Model

结构对齐的蛋白质语言模型

Can Chen, David Heurtel-Depeiges, Robert M. Vernon, Christopher James Langmead, Yoshua Bengio, Quentin Fournier

机构 * Mila – Quebec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； Chandar Research Lab（钱达尔研究实验室） ； Polytechnique Montréal（蒙特利尔理工学院） ； Amgen（安进公司） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 通过结构对齐方法提升蛋白质语言模型的结构知识，增强其在生物应用中的性能。

Comments 28 pages, 16 figures, 9 tables

Better World Models Can Lead to Better Post-Training Performance

更好的世界模型可以导致更好的训练后性能

Prakhar Gupta, Henry Conklin, Sarah-Jane Leslie, Andrew Lee

机构 * University of Michigan（密歇根大学） ； Princeton University（普林斯顿大学） ； Harvard University（哈佛大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过比较不同世界建模策略，发现显式建模能提升Transformer的状态表示质量，从而增强强化学习后训练的效果。

The Sign Estimator: LLM Alignment in the Face of Choice Heterogeneity

Ali Aouad, Aymane El Gadarri, Vivek F. Farias

机构 * MIT（麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

Evaluating and Improving Cultural Awareness of Reward Models for LLM Alignment

Hongbin Zhang, Kehai Chen, Xuefeng Bai, Yang Xiang, Min Zhang

机构 * Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China（计算与智能研究所，哈尔滨工业大学，深圳，中国） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Under review;Work in progress;

Antislop: A Comprehensive Framework for Identifying and Eliminating Repetitive Patterns in Language Models

Samuel Paech, Allen Roush, Judah Goldfeder, Ravid Shwartz-Ziv

专题命中 后训练与偏好优化 ：language model(title)；LLM(abstract)；preference optimization(abstract)；分类 cs.CL、cs.LG

Comments 11 pages + appendices, 16 figures