语言大模型 / LLM

AlphaToken: Decoupling Adaptation and Stability for Path-Aware Response Token Valuation in LLM Post-Training

AlphaToken: 在LLM后训练中解耦适应性与稳定性的路径感知响应令牌估值

Liu Qing, Ou Wu, Yi Du

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 提出AlphaToken框架，通过解耦适应性（促进目标任务学习）和稳定性（保持预训练能力）并引入路径感知机制，利用Fisher漂移代理和Ghost点积扩展实现高效令牌估值，从而在微调和偏好优化中屏蔽低价值令牌，提升后训练性能并缓解灾难性遗忘。

Mitigating LLM biases toward spurious social contexts using direct preference optimization

通过直接偏好优化减轻LLM对虚假社会情境的偏见

Hyunji Nam, Dorottya Demszky

机构 * Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了LLM对虚假社会情境的鲁棒性，提出Debiasing-DPO方法，通过自监督训练和监督微调减少偏见并提升预测准确性。

Comments 26 pages

Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer

Zhihan Liu, Miao Lu, Shenao Zhang, Boyi Liu, Hongyi Guo, Yingxiang Yang, Jose Blanchet, Zhaoran Wang

专题命中 后训练与偏好优化 ：SFT(title,abstract)；RLHF(title,abstract)；LLM(abstract)；large language model(abstract)

Comments Accepted by The Thirty-Eighth Annual Conference on Neural Information Processing Systems. 31 pages, 7 figures

Aligning Large Language Models with Counterfactual DPO

Bradley Butcher

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；pretraining(abstract)

Reinforcement Learning in the Era of LLMs: What is Essential? What is needed? An RL Perspective on RLHF, Prompting, and Beyond

Hao Sun

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；prompting(title,abstract)；LLM(abstract)；large language model(abstract)

Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback

Viet Dac Lai, Chien Van Nguyen, Nghia Trung Ngo, Thuat Nguyen, Franck Dernoncourt, Ryan A. Rossi, Thien Huu Nguyen

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

Procedural Fairness Failures in RLHF from Preference Averaging

来自偏好平均的RLHF中的程序公平性失败

M P V S Gopinadh, Karthik Kamuju, Kummari Avinash, John Joshua, Srinivasa Raju Rudraraju

机构 * Vishnu Institute of Technology（维什努理工学院） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究指出标准RLHF因偏好平均引发程序公平性失败，提出PA-RLHF分开优化不同偏好模式，提升了对齐准确率并缩小了群体公平差距，对大模型和智能体系统有重要意义。

Comments 4 pages, Accepted at the ICLR 2026 Workshop on Algorithmic Fairness Across Alignment Procedures and Agentic Systems (AFAA)

Supersede: Diagnosing and Training the Memory-Update Gap in LLM Agents

Supersede: 诊断和训练LLM智能体中的记忆更新差距

Vedant Patel

机构 * Vrin ； Prime Intellect Hub 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文发现LLM智能体在长对话中无法有效更新事实（如用户搬家、价格变动），导致准确率从92%降至77%，并证明该差距源于记忆维护而非理解，且无法通过扩大记忆解决；为此提出Supersede强化学习环境，通过GRPO微调将小模型在真实对话中的更新准确率从9.0%提升至16.7%。

Comments 11 pages, 4 figures, 3 tables. Code, environment, model, and dataset: https://github.com/Vrin-cloud/supersede

Rethinking the Trust Region in LLM Reinforcement Learning

重新思考LLM强化学习中的信任区域

Penghui Qi, Xiangxin Zhou, Zichen Liu, Tianyu Pang, Chao Du, Min Lin, Wee Sun Lee

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Toronto（多伦多大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对PPO在LLM微调中因词表大导致的训练不稳定问题，提出基于策略散度直接约束的DPPO算法，并引入高效近似方法。

LEAF: Growing Trees Without Branching for Speech-Aware Large Language Model Post-Training

LEAF: 无需分支的树生长方法用于语音感知大语言模型后训练

Argyrios Gerogiannis, Yekaterina Yegorova, Mark Hasegawa-Johnson, Venugopal V. Veeravalli

机构 * University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对语音感知大语言模型后训练中GRPO方法粗粒度信用分配问题，提出LEAF方法，通过回溯式树结构学习、高信息量边界选择和跨度级优势分配，在语音问答和翻译任务上超越GRPO。

Comments 15 pages, 3 figures, 11 tables

Post-training makes large language models less human-like

后训练使大型语言模型更不像人类

Marcel Binz, Elif Akata, Abdullah Almaatouq, Mohammed Alsobay, Oleksii Ariasov, Franziska Brändle, David Broska, Jason W. Burton, Nuno Busch, Frederick Callaway, Vanessa Cheung, Brian Christian, Julian Coda-Forno, Can Demircan, Vittoria Dentella, Maria K. Eckstein, Noémi Éltető, Michael Franke, Thomas L. Griffiths, Fritz Günther, Susanne Haridi, Sebastian Hellmann, Stefan Herytash, Linus Hof, Eleanor Holton, Isabelle Hoxha, Zak Hussain, Akshay Jagadish, Elif Kara, Valentin Kriegmair, Evelina Leivada, Li Ji-An, Tobias Ludwig, Maximilian Maier, Marcelo G. Mattar, Marvin Mathony, Alireza Modirshanechi, Robin Na, Mariia Nadverniuk, Antonios Nasioulas, Surabhi S. Nath, Helen Niemeyer, Kate Nussenbaum, Sebastian Olschewski, Thorsten Pachur, Stefano Palminteri, Aliona Petrenco, Camille V. Phaneuf-Hadd, Angelo Pirrone, Manuel Rausch, Laura Raveling, Shashank Reddy, Milena Rmus, Evan M. Russek, Tankred Saanum, Kai Sandbrink, Louis Schiekiera, Johannes A. Schubert, Luca M. Schulze Buschoff, Nishad Singhi, Leah H. Somerville, Mikhail S. Spektor, Xin Sui, Christopher Summerfield, Mirko Thalmann, Anna I. Thoma, Taisiia Tikhomirova, Vuong Truong, Polina Tsvilodub, Konstantinos Voudouris, Kristin Witte, Shuchen Wu, Dirk U. Wulff, Hua-Dong Xiong, Songlin Xu, Lance Ying, Xinyu Zhang, Jian-Qiao Zhu, Eric Schulz

机构 * Helmholtz Munich（海德堡-慕尼黑亥姆霍兹中心） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Tübingen（图宾根大学） ； University of Oxford（牛津大学） ； Stanford（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过引入Psych-201数据集，发现后训练（将基础模型转化为有用助手的过程）一致地降低了模型与人类行为的对齐度，且这种错位在新模型世代中加剧，而人物诱导技术无法改善个体层面的预测。

LifeAlign: Lifelong Alignment for Large Language Models with Memory-Augmented Focalized Preference Optimization

LifeAlign: 为大型语言模型设计的终身对齐方法，结合记忆增强的聚焦偏好优化

Junsong Li, Jie Zhou, Bihao Zhan, Yutao Yang, Qianjun Pan, Shilian Chen, Tianyu Huai, Xin Li, Qin Chen, Liang He

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出LifeAlign，一种通过记忆增强的聚焦偏好优化实现终身对齐的方法，解决大型语言模型在连续学习任务中保持偏好对齐和知识保留的问题。

SQL-Commenter: Aligning Large Language Models for SQL Comment Generation with Direct Preference Optimization

SQL-Commenter: 通过直接偏好优化对齐大型语言模型以生成SQL注释

Lei Yu, Peng Wang, Jingyuan Zhang, Xin Wang, Jia Xu, Li Yang, Changzhi Deng, Jiajia Ma, Fengjun Zhang

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(title,abstract)；LLM(abstract)

AI总结 本文提出SQL-Commenter，通过构建复杂SQL查询数据集、持续预训练和直接偏好优化，提升SQL注释生成的准确性和质量，在Spider和Bird基准测试中优于现有方法。

Comments Accepted to ICPC 2026

Towards a Unified View of Large Language Model Post-Training

迈向大规模语言模型后训练的统一视角

Xingtai Lv, Yuxin Zuo, Youbang Sun, Hongyi Liu, Yuntian Wei, Zhekai Chen, Xuekai Zhu, Kaiyan Zhang, Bingning Wang, Ning Ding, Bowen Zhou

机构 * Tsinghua University（清华大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； WeChat AI Code（微信AI代码） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(title,abstract)；large language model(title)；SFT(abstract)

AI总结 本文提出混合后训练算法，通过统一的优化过程整合在线与离线数据，实现稳定探索与有效利用演示，提升大规模语言模型的推理能力。

Inverse Reinforcement Learning Meets Large Language Model Post-Training: Basics, Advances, and Opportunities

Hao Sun, Mihaela van der Schaar

机构 * Department of Applied Mathematics and Theoretical Physics（应用数学与理论物理系） ； University of Cambridge（剑桥大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(title)；LLM(abstract)

Sequence-level Large Language Model Training with Contrastive Preference Optimization

Zhili Feng, Dhananjay Ram, Cole Hawkins, Aditya Rawal, Jinman Zhao, Sheng Zha

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Interactions Across Blocks in Post-Training Quantization of Large Language Models

Khasmamad Shabanovi, Lukas Wiest, Vladimir Golkov, Daniel Cremers, Thomas Pfeil

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；分类 cs.CL、cs.AI、cs.LG

BAPO: Base-Anchored Preference Optimization for Overcoming Forgetting in Large Language Models Personalization

Gihun Lee, Minchan Jeong, Yujin Kim, Hojung Jung, Jaehoon Oh, Sangmook Kim, Se-Young Yun

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments The 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP 2024)

ROPO: Robust Preference Optimization for Large Language Models

Xize Liang, Chao Chen, Shuang Qiu, Jie Wang, Yue Wu, Zhihang Fu, Zhihao Shi, Feng Wu, Jieping Ye

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(title,abstract)；分类 cs.CL、cs.AI、cs.LG

When Does Online Imitation Learning Help in LLM Post-Training? The Role of (Non-)Realizability Beyond Horizon

在线模仿学习何时有助于LLM后训练？(非)可实现性超越视界的作用

Huaqing Zhang, Jingchu Gai, Juno Kim, Bingbin Liu, Andrej Risteski

机构 * Tsinghua University（清华大学） ； Carnegie Mellon University（卡内基梅隆大学） ； UC Berkeley（加州大学伯克利分校） ； Harvard University（哈佛大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；SFT(abstract)；分类 cs.LG

AI总结 本文挑战误差累积是在线模仿学习优势主要来源的观点，证明在线交互的收益关键取决于设置是否可实现，并在非可实现情况下提出奖励相关的结构特征，使在线学习仍能取得高性能。

Merge-Bench: Resolve Merge Conflicts with Large Language Models

Merge-Bench: 使用大型语言模型解决合并冲突

Benedikt Schesch, Michael D. Ernst

机构 * Amazon（亚马逊） ； University of Washington（华盛顿大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文构建了包含7938个真实合并冲突的数据集Merge-Bench，并利用组相对策略优化（GRPO）训练LLMergeJ模型，在Java程序上以14B参数超越多数商业LLM，但最佳模型正确解决率仍低于60%。

Comments 14 pages, 7 figures

ACE: Self-Evolving LLM Coding Framework via Adversarial Unit Test Generation and Preference Optimization

ACE：通过对抗性单元测试生成和偏好优化的自进化LLM编码框架

Yixu Huang, Xinglei Yu, Zhongyu Wei

机构 * School of Data Science Fudan University（数据科学学院 复旦大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出ACE框架，通过基于求解器-对抗架构的执行中心监督，实现自进化代码生成，无需真实代码或外部奖励模型，实验表明其在CodeContests、MBPP和LiveCodeBench上均优于现有求解器-验证器基线。

R2V Agent: Teaching SLMs When to Ask for Help

R2V Agent：教SLMs何时请求帮助

Raghu Vamshi Hemadri, Humaira Firdowse Mohammed, Rishabh Maheshwary, Srivatsava Daruru, Sagar Davasam, Vikas Yadav, Srinivas Sunkara, Sai Rajeswar

机构 * New York University Tandon School of Engineering（纽约大学Tandon工程学院） ； University of California, San Diego（加州大学圣地亚哥分校） ； Stanford University（斯坦福大学） ； ServiceNow Research（ServiceNow研究） ； Mila - Quebec AI Institute（魁北克AI研究院） ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；SLM(summary_cn,abstract)；language model(abstract)；small language model(abstract)

AI总结 R2V-Agent通过风险校准的SLM-LLM路由框架提升交互代理的可靠性，结合小型语言模型策略、更强的教师LLM、轻量级过程验证器和校准的步骤路由器，在多个基准测试中显著提升性能与成本效率。

Modeling Multi-Dimensional Cognitive States in Large Language Models under Cognitive Crowding

在认知拥挤下对大语言模型中的多维认知状态建模

Lin Zhong, Siyu Zhu, Zizhen Yuan, Jinhao Cui, Xinyang Zhao, Lingzhi Wang, Hao Chen, Qing Liao

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； City University of Macau（澳门城市大学） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出CognitiveBench基准，通过统一标注四个认知维度，发现LLM在多维建模中表现下降，提出HyCoLLM在双曲空间中建模，提升多维认知理解。

Comments Accepted at ACL 2026

Asymmetric Conflict and Synergy in Post-training for LLM-based Multilingual Machine Translation

Tong Zheng, Yan Wen, Huiwen Bao, Junfeng Guo, Heng Huang

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

Comments 22 pages

Improving Conversational Abilities of Quantized Large Language Models via Direct Preference Alignment

Janghwan Lee, Seongmin Park, Sukjin Hong, Minsoo Kim, Du-Seong Chang, Jungwook Choi

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；post-training(abstract)

Comments ACL 2024 Main

ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences

Yuanhe Tian, Ruyi Gan, Yan Song, Jiaxing Zhang, Yongdong Zhang

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

Comments 18 pages, 3 figures; Accepted by ACL-2024

TAPO: Transition-Aware Policy Optimization for LLM Agents

TAPO：面向大语言模型智能体的过渡感知策略优化

Cong Li, Peixi Peng, Yisen Zhao, Xinyu Hu, Shudong Liu, Zhan Su, Zhuojian Li

机构 * School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 该研究提出TAPO框架，通过策略优化与过渡监督交替训练，增强LLM智能体对环境过渡的敏感性，作为轻量即插即用模块，在WebShop和ALFWorld实验中提升任务性能。

Comments 16 pages, 5 figures

PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF

PS-PPO: 用于无评论者RLHF的前缀采样PPO

Doo Hwan Hwang, Kee-Eung Kim

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出PS-PPO方法，通过前缀采样和重要性加权修正，在无评论者RLHF中减少训练计算和内存，保持准确率。

Journal ref ICML 2026 published

"I understand your perspective": LLM Persuasion through the Lens of Communicative Action Theory

“我理解你的观点”：通过交往行动理论视角看LLM的说服与谄媚

Esra Dönmez, Agnieszka Falenska

机构 * Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所） ； Interchange Forum for Reflecting on Intelligent Systems, University of Stuttgart（斯图加特大学智能系统反思交流论坛） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究基于哈贝马斯的交往行动理论，通过模拟Reddit讨论，发现LLM能有效传达言外之意（如建立信任），其谄媚策略与观点改变强相关，且人类更偏好LLM生成的论证。

Journal ref Findings of the Association for Computational Linguistics: ACL 2025