语言大模型 / LLM

FlowPRO: Reward-Free Reinforced Fine-Tuning of Flow-Matching VLAs via Proximalized Preference Optimization

FlowPRO：通过近端偏好优化对流匹配VLA进行无奖励强化微调

Yihao Wu, He Zhang, Junbo Tan, Xueqian Wang, Zhengyou Zhang

机构 * Tencent Robotics X（腾讯机器人X实验室） ； Futian Laboratory（福田实验室） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 提出FlowPRO框架，通过近端偏好优化（RPRO）和干预-回滚数据收集方法，实现无奖励的离线强化微调，在四类长时程双臂任务中取得最高成功率。

Where to Look: Can Foundation Models Reach a Target Viewpoint Through Active Exploration?

看向哪里：基础模型能否通过主动探索达到目标视角？

Liyang Li, Muzhi Zhu, Zhiyue Zhao, Hengyu Zhao, Ke Liu, Linhao Zhong, Hao Chen, Chunhua Shen

机构 * Zhejiang University（浙江大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 提出目标视角复现（TVR）任务及TVRBench基准，通过分析现有模型瓶颈并构建统一后训练框架，将9B开源模型成功率提升至50%以上。

Comments Project page: https://github.com/aim-uofa/TVRBench

GraphDancer: Training LLMs to Explore and Reason over Graphs via Two-Stage Curriculum Post-Training

GraphDancer: 通过两阶段课程后训练训练LLMs在图上的探索与推理

Yuyang Bai, Zhuofeng Li, Ping Nie, Jianwen Xie, Yu Zhang

机构 * Texas A&M University（德克萨斯大学A&M分校） ； University of Waterloo（滑铁卢大学） ； Lambda（Lambda公司） ； University of Oregon（俄勒冈大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出GraphDancer两阶段后训练框架，通过图感知课程逐步增加任务难度，使LLMs学会在异构图上进行自然语言推理与函数调用交织的探索与推理，仅用3B骨干模型即在跨域基准上超越更强基线。

Comments 15 pages, Project website: https://yuyangbai.com/graphdancer/

MaPPO: Maximum a Posteriori Preference Optimization with Prior Knowledge

MaPPO：结合先验知识的最大后验偏好优化

Guangchen Lan, Sipeng Zhang, Tianle Wang, Yuwei Zhang, Daoan Zhang, Xinpeng Wei, Xiaoman Pan, Hongming Zhang, Dong-Jun Han, Christopher G. Brinton

机构 * Purdue University（普渡大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Amazon（亚马逊） ； Meta, FAIR ； Yonsei University（延世大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MaPPO通过整合先验奖励知识优化偏好学习，提升对齐性能，无需额外超参数，适用于离线和在线设置，支持DPO变体插件，实验显示在多个基准上效果显著。

GRAPHIA: Harnessing Social Graph Data to Enhance LLM-Based Social Simulation

GRAPHIA：利用社交图数据增强基于LLM的社会模拟

Jiarui Ji, Zehua Zhang, Zhewei Wei, Bin Tong, Guan Wang, Bo Zheng

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 GRAPHIA通过强化学习利用社交图数据作为LLM训练的监督信号，提升社会模拟的微观和宏观对齐效果，实验显示其在多个真实网络中显著提高预测精度和社会现象复制能力。

Comments accepted by ACL26 main

CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks

CausalRM：基于观察性用户反馈的因果理论奖励建模用于RLHF

Hao Wang, Licheng Pan, Zhichao Chen, Chunyuan Zheng, Zhixuan Chu, Xiaoxi Li, Yuan Lu, Xinggao Liu, Haoxuan Li, Zhouchen Lin

机构 * Peking University（北京大学） ； Xiaohongshu Inc.（小红书公司） ； Zhejiang University（浙江大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；LLM(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CausalRM框架，通过因果理论处理观察性用户反馈中的噪声和偏见问题，提升RLHF任务性能，实验显示在WildGuardMix和HarmBench上分别提升49.2%和32.7%。

Resonate: Reinforcing Text-to-Audio Generation via Online Feedback from Large Audio Language Models

Resonate：通过来自大音频语言模型的在线反馈强化文本到音频生成

Xiquan Li, Junxi Liu, Wenxi Chen, Haina Zhu, Ziyang Ma, Xie Chen

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；preference optimization(abstract)

AI总结 Resonate通过整合在线GRPO和大音频语言模型奖励，提升文本到音频生成的音频质量和语义对齐性能。

Reward Models Inherit Value Biases from Pretraining

奖励模型继承预训练中的价值偏见

Brian Christian, Jessica A. F. Thompson, Elle Michelle Yang, Vincent Adam, Hannah Rose Kirk, Christopher Summerfield, Tsvetomira Dumbalska

机构 * Department of Experimental Psychology, University of Oxford（心理学系，牛津大学） ； Department of Computer Science, University of Oxford（计算机科学系，牛津大学） ； AI/ML Research Group, Universitat Pompeu Fabra（人工智能/机器学习研究组，庞培法华大学） ； Oxford Internet Institute, University of Oxford（牛津互联网研究所，牛津大学） 纠错

专题命中 后训练与偏好优化 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究发现奖励模型继承预训练模型的价值偏见，影响其对代理和共融的偏好，揭示了预训练阶段对安全和对齐的重要性。

Journal ref International Conference on Learning Representations (ICLR), 2026

Scaf-GRPO: Scaffolded Group Relative Policy Optimization for Enhancing LLM Reasoning

Scaf-GRPO：基于 scaffolding 的组相对策略优化以增强大语言模型推理能力

Xichen Zhang, Sitong Wu, Yinghao Zhu, Haoru Tan, Shaozuo Yu, Ziyi He, Jiaya Jia

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Scaf-GRPO通过渐进式训练框架，在模型学习停滞时提供分层提示，有效提升大语言模型的数学推理能力。

Comments Code: https://github.com/JIA-Lab-research/Scaf-GRPO Accepted by ICLR 2026

Alignment through Meta-Weighted Online Sampling: Bridging the Gap between Data Generation and Preference Optimization

通过元权重在线采样对齐：弥合数据生成与偏好优化之间的差距

Junming Yang, Ning Xu, Biao Liu, Shiqi Qiao, Xin Geng

机构 * School of Computer Science and Engineering, Southeast University, Nanjing, China（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MetaAPO通过动态结合数据生成与模型训练，有效解决偏好优化中的分布不匹配问题，提升对齐效果并降低标注成本。

Comments Accepted by ICLR 2026

Stabilizing Off-Policy Training for Long-Horizon LLM Agent via Turn-Level Importance Sampling and Clipping-Triggered Normalization

通过回合级重要性采样和触发式归一化稳定长时程LLM代理的离策略训练

Chenliang Li, Adel Elmahdy, Alex Boyd, Zhongruo Wang, Siliang Zeng, Alfredo Garcia, Parminder Bhatia, Taha Kass-Hout, Cao Xiao, Mingyi Hong

机构 * Texas A&M University（德克萨斯A&M大学） ； GE HealthCare（通用电气医疗） ； University of Minnesota（明尼苏达大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SORL通过回合级重要性采样和触发式归一化稳定长时程LLM代理的离策略训练，减少梯度方差并防止优化崩溃。

References Improve LLM Alignment in Non-Verifiable Domains

参考文献提高非可验证领域的LLM对齐

Kejian Shi, Yixin Liu, Peifeng Wang, Alexander R. Fabbri, Shafiq Joty, Arman Cohan

机构 * Yale University（耶鲁大学） ； Meta ； Scale AI ； Salesforce Research（Salesforce 研究） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出参考引导的LLM评估器，通过增强LLM对齐的评估器和自我改进，显著提升了非可验证领域中LLM的性能。

Comments ICLR 2026 Camera Ready

General Exploratory Bonus for Optimistic Exploration in RLHF

在RLHF中引入乐观探索的通用探索奖金

Wendi Li, Changdae Oh, Sharon Li

机构 * Department of Computer Sciences University of Wisconsin-Madison（计算机科学系 威斯康星大学麦迪逊分校） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出GEB框架，通过理论分析和实验验证，解决了RLHF中乐观探索的偏差问题，提供了一种统一且有效的探索奖金方法。

Comments ICLR 2026

Less is More: Improving LLM Alignment via Preference Data Selection

少即是多：通过偏好数据选择改进大语言模型对齐

Xun Deng, Han Zhong, Rui Ai, Fuli Feng, Zheng Wang, Xiangnan He

机构 * University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Alibaba Cloud Computing（阿里云计算） ； MoE Key Lab of BIPC, University of Science and Technology of China（中国科学技术大学MoE关键实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 通过改进偏好数据选择策略，提升大语言模型对齐效果，实验显示在较少数据下实现显著性能提升。

Look Inward to Explore Outward: Learning Temperature Policy from LLM Internal States via Hierarchical RL

向内看，向外探：通过分层强化学习从LLM内部状态学习温度策略

Yixiao Zhou, Yang Li, Dongzhou Cheng, Hehe Fan, Yu Cheng

机构 * Zhejiang University（浙江大学） ； Southeast University（东南大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Introspective LLM通过分层强化学习从LLM内部状态学习温度策略，提升数学推理任务中的探索效率与可解释性。

Post-Training Denoising of User Profiles with LLMs in Collaborative Filtering Recommendation

利用LLM进行协同过滤推荐的用户资料后训练去噪

Ervin Dervishaj, Maria Maistro, Tuukka Ruotsalo, Christina Lioma

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 利用LLM对用户资料进行后训练去噪以提升协同过滤推荐效果

Comments Accepted at the 48th European Conference on Information Retrieval (ECIR 2026)

Are My Optimized Prompts Compromised? Exploring Vulnerabilities of LLM-based Optimizers

我的优化提示是否被 compromised？探索基于 LLM 的优化器的漏洞

Andrew Zhao, Reshmi Ghosh, Vitor Carvalho, Emily Lawton, Keegan Hines, Gao Huang, Jack W. Stokes

机构 * Tsinghua University（清华大学） ； Microsoft（微软） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现基于 LLM 的提示优化存在重大安全漏洞，提出假奖励攻击及轻量级防御措施，揭示优化流程为重要攻击目标。

Comments Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2026)

Prioritized Replay for RL Post-training

训练后强化学习的优先级回放

Mehdi Fatemi

机构 * IEEE 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一种基于经验成功统计的优先级回放方法，用于大型语言模型训练后强化学习，无需预定义难度层级或外部标签，通过动态调整优先级提升学习效率。

DreamPRM-Code: Function-as-Step Process Reward Model with Label Correction for LLM Coding

DreamPRM-Code: 一种基于函数作为步骤的进程奖励模型与标签校正用于LLM编码

Ruiyi Zhang, Peijia Qin, Qi Cao, Pengtao Xie

机构 * University of California, San Diego（加州大学圣迭戈分校） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 DreamPRM-Code通过链式函数提示策略和元学习校正机制，提升LLM在编码任务中的表现，达到LiveCodeBench的最高准确率

Teaching Language Models to Critique via Reinforcement Learning

通过强化学习教学语言模型进行批评

Zhihui Xie, Jie Chen, Liyu Chen, Weichao Mao, Jingjing Xu, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CTRL框架，通过强化学习训练批评模型以提升代码生成的准确性和性能，实现迭代改进和误差缓解。

RLHF: A comprehensive Survey for Cultural, Multimodal and Low Latency Alignment Methods

Raghav Sharma, Manan Mehta, Sai Tiger Raina

机构 * Northeastern University（东北大学） ； University of Southern California（南加州大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Selective Preference Optimization via Token-Level Reward Function Estimation

Kailai Yang, Zhiwei Liu, Qianqian Xie, Jimin Huang, Erxue Min, Sophia Ananiadou

机构 * National Centre for Text Mining, The University of Manchester（曼彻斯特大学文本挖掘中心） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； Center for Language and Information Research, Wuhan University（武汉大学语言与信息研究中心） ； The Fin AI（Fin AI公司） ； Baidu Inc.（百度公司） ； Archimedes Research（阿基米德研究） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted by the EMNLP 2025 main conference

Journal ref https://aclanthology.org/2025.emnlp-main.359/

Preference Optimization by Estimating the Ratio of the Data Distribution

Yeongmin Kim, Heesun Bae, Byeonghu Na, Il-Chul Moon

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments NeurIPS 2025

ReDit: Reward Dithering for Improved LLM Policy Optimization

Chenxing Wei, Jiarui Yu, Ying Tiffany He, Hande Dong, Yao Shu, Fei Yu

机构 * Guangdong Lab of AI and Digital Economy (SZ), China（广东人工智能与数字经济实验室（深圳）） ； College of Computer Science and Software Engineering, Shenzhen University, China（深圳大学计算机科学与软件工程学院） ； Hong Kong University of Science and Technology (Guangzhou), China（香港科技大学（广州）） ； Tencent, Shenzhen, China（腾讯（深圳）） ； School of Information Technology, Carleton University, Canada（卡尔顿大学信息技术学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 34 pages, 19 figures

Demystifying Domain-adaptive Post-training for Financial LLMs

Zixuan Ke, Yifei Ming, Xuan-Phi Nguyen, Caiming Xiong, Shafiq Joty

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments EMNLP 2025 (Oral, ARR best paper nomination)

Dual Caption Preference Optimization for Diffusion Models

Amir Saeidi, Yiran Luo, Agneet Chatterjee, Shamanthak Hegde, Bimsara Pathiraja, Yezhou Yang, Chitta Baral

机构 * School of Computing and Augmented Intelligence（计算与增强智能学院） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Learning from Reference Answers: Versatile Language Model Alignment without Binary Human Preference Data

Shuai Zhao, Yunqiu Xu, Linchao Zhu, Yi Yang

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments The code is at https://github.com/mzhaoshuai/RefAlign

OpenRLHF: An Easy-to-use, Scalable and High-performance RLHF Framework

Jian Hu, Xibin Wu, Wei Shen, Jason Klein Liu, Zilin Zhu, Weixun Wang, Songlin Jiang, Haoran Wang, Hao Chen, Bin Chen, Weikai Fang, Xianyu, Yu Cao, Haotian Xu, Yiming Liu

机构 * Team Project Leader（团队项目负责人） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments update template

Stratified GRPO: Handling Structural Heterogeneity in Reinforcement Learning of LLM Search Agents

Mingkang Zhu, Xi Chen, Bei Yu, Hengshuang Zhao, Jiaya Jia

机构 * The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

A Generative Approach to LLM Harmfulness Mitigation with Red Flag Tokens

David Dobre, Mehrnaz Mofakhami, Sophie Xhonneux, Leo Schwinn, Gauthier Gidel

机构 * Université de Montréal（蒙特利尔大学） ； Mila（Mila研究所） ； Technical University of Munich（慕尼黑技术大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments 15 pages, 6 figures