语言大模型 / LLM

Moral Susceptibility and Robustness under Persona Role-Play in Large Language Models

道德敏感性与在角色扮演下大型语言模型的鲁棒性

Davi Bastos Costa, Felippe Alves, Renato Vicente

机构 * TELUS Digital Research Hub（TELUS数字研究中心） ； Center for Artificial Intelligence and Machine Learning（人工智能与机器学习中心） ； Institute of Mathematics, Statistics and Computer Science（数学、统计与计算机科学研究所） ； University of São Paulo（圣保罗大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

AI总结 本文研究了大型语言模型在角色扮演下的道德反应，通过道德基础问卷基准测试，量化了道德敏感性和鲁棒性，揭示了模型家族对鲁棒性的影响显著，而预训练对敏感性起主导作用。

Comments Added experiments with a logit-based method and now reporting unbounded metrics

Beyond Mode-Seeking RL: Trajectory-Balance Post-Training for Diffusion Language Models

超越模式寻求强化学习：扩散语言模型的轨迹平衡后训练

Saba Ahmadi, Prasanna Parthasarathi, Yufei Cui

机构 * Noah’s Ark Lab（Noah’s Ark 实验室） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出TraFL方法，通过轨迹平衡目标提升扩散语言模型的后训练效果，在多个基准测试中均优于基线模型。

GIFT: Group-Relative Implicit Fine-Tuning Integrates GRPO with DPO and UNA

GIFT: 组相对隐式微调整合GRPO与DPO和UNA

Zhichao Wang

机构 * Inflection AI 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.LG

AI总结 GIFT结合GRPO组采样、DPO隐式奖励和UNA的隐式与显式优势MSE，通过z-score标准化消除DPO隐式奖励中的不可行分区函数Z(x)和RLHF/RLVR目标中的KL系数β，以组相对隐式微调解决相同参数策略族，用提示适应的β(x)替代外部调优的β。

LEMON: Learning Executable Multi-Agent Orchestration via Counterfactual Reinforcement Learning

LEMON：通过反事实强化学习学习可执行多智能体编排

Xudong Chen, Yixin Liu, Hua Wei, Kaize Ding

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 LEMON通过反事实强化学习生成可执行的多智能体编排规范，整合任务特定角色、定制职责、容量级别和依赖结构，提升多智能体系统解决方案质量和执行效率。

Comments Submitted to Neurips 2026

Self-Distilled Agentic Reinforcement Learning

自蒸馏代理强化学习

Zhengxi Lu, Zhiyuan Yao, Zhuowen Han, Zi-Han Wang, Jinyang Wu, Qi Gu, Xunliang Cai, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

机构 * Zhejiang University（浙江大学） ； Meituan（美团） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SDAR方法，通过将OPSD作为辅助目标并保持RL为主优化，解决多轮代理中的稳定性问题，提升性能。

Safety-Constrained Reinforcement Learning with Post-Training Reachability Verification for Robot Navigation

具有事后训练可达性验证的安全强化学习用于机器人导航

Qisong He, Xinmiao Huang, Jinwei Hu, Zhuoyun Li, Yi Dong, Changshun Wu, Xiaowei Huang

机构 * University of Liverpool（利物浦大学） ； Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 本文提出一种基于条件价值风险约束的强化学习框架，通过训练对高成本尾部结果敏感的策略，并在训练后利用神经网络可达性验证评估其安全边际，实验表明该方法在导航任务中实现了更高的安全验证率。

Resolving Action Bottleneck: Agentic Reinforcement Learning Informed by Token-Level Energy

消除行动瓶颈：由令牌级能量指导的代理强化学习

Langzhou He, Junyou Zhu, Yue Zhou, Zhengyao Gu, Junhua Liu, Wei-Chieh Huang, Henry Peng Zou, David Wipf, Philip S. Yu, Qitian Wu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所） ； Technical University of Berlin（柏林技术大学） ； University of Southern California（南加州大学） ； University of Hong Kong（香港大学） ； Broad Institute of MIT and Harvard（MIT和哈佛大学Broad研究所） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ActFocus方法，通过令牌级能量建模解决强化学习中令牌级训练信号分配不均的问题，显著提升性能。

Comments Preprint

Reinforcement Learning for Diffusion LLMs with Entropy-Guided Step Selection and Stepwise Advantages

基于熵引导的步骤选择和分步优势的扩散语言模型强化学习

Vishnu Teja Kunde, Fatemeh Doudi, Mahdi Farahbakhsh, Dileep Kalathil, Krishna Narayanan, Jean-Francois Chamberland

机构 * Department of Electrical & Computer Engineering（电气与计算机工程系） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种针对扩散语言模型的强化学习方法，通过熵引导选择步骤和分步优势估计，实现无偏策略梯度，提升生成效果和计算效率。

From Sycophantic Consensus to Pluralistic Repair: Why AI Alignment Must Surface Disagreement

从阿谀共识到多元修复：为何AI对齐必须显现分歧

Varad Vishwarupe, Nigel Shadbolt, Marina Jirotka

机构 * Department of Computer Science, University of Oxford（牛津大学计算机科学系） ； Institute for Ethics in AI, University of Oxford（牛津大学人工智能伦理研究所） ； Responsible Technology Institute, University of Oxford（牛津大学负责任技术研究所） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出多元对齐需通过对话机制表面价值冲突，提出多元修复评分指标，探讨部署阶段的治理层对多元主义的影响。

It Takes Two: Your GRPO Is Secretly DPO

两人即可：你的GRPO其实暗含DPO

Yihong Wu, Liheng Ma, Lei Ding, Muzhi Li, Xinyu Wang, Kejia Chen, Zhan Su, Zhanguang Zhang, Chenyang Huang, Yingxue Zhang, Mark Coates, Jian-Yun Nie

机构 * UdeM（蒙特利尔大学） ； McGill（麦吉尔大学） ； Mila（Mila人工智能研究院） ； UManitoba（曼尼托巴大学） ； CUHK（香港中文大学） ； ZJU（浙江大学） ； UAlberta（阿尔伯塔大学） ； Amii（阿米人工智能研究院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出2-GRPO，通过仅两个rollouts构建对比信号，理论分析显示其性能接近16-GRPO，训练效率提升显著。

PhyMotion: Structured 3D Motion Reward for Physics-Grounded Human Video Generation

PhyMotion: 结构化3D运动奖励用于物理基础的人体视频生成

Yidong Huang, Zun Wang, Han Lin, Dong-Ki Kim, Shayegan Omidshafiei, Jaehong Yoon, Jaemin Cho, Yue Zhang, Mohit Bansal

机构 * UNC Chapel Hill（UNC夏洛特希尔大学） ； FieldAI ； NTU Singapore（新加坡国立大学） ； AI2 ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出PhyMotion，一种结构化的3D运动奖励机制，通过物理模拟器评估人体运动的物理可行性，提升视频生成中人体动作的真实感。

Comments First two authors contributed equally, website: https://phy-motion.github.io/

Generative Bayesian Optimization: Generative Models as Acquisition Functions

生成贝叶斯优化：生成模型作为获取函数

Rafael Oliveira, Daniel M. Steinberg, Edwin V. Bonilla

机构 * CSIRO’s Data61（CSIRO的数据61） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.LG

AI总结 本文提出利用生成模型作为批量贝叶斯优化的候选解采样器，通过直接优化偏好信号生成高效的获取函数，适用于高维和组合优化问题。

Comments Published at ICLR 2026. Compared with the proceedings version on OpenReview, this version includes a minor revision to Section 3

Journal ref The Fourteenth International Conference on Learning Representations (ICLR 2026)

Hierarchical Image Tokenization for Multi-Scale Image Super Resolution

多尺度图像超分辨率的分层图像标记

Isma Hadji, Enrique Sanchez, Adrian Bulat, Brais Martinez, Georgios Tzimiropoulos

机构 * Samsung AI Center Cambridge, UK（三星AI研究中心（剑桥，英国）） ； Technical University of Iasi, Romania（亚西技术大学（罗马尼亚）） ； Queen Mary University of London, UK（伦敦女王玛丽大学（英国）） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 本文提出基于视觉自回归模型的多尺度图像超分辨率方法，通过引入分层图像标记和直接偏好优化正则化项，提升模型灵活性与效率，实现无需外部数据的高精度多尺度输出。

Comments Accepted for publication at ICML 2026. *Joint first authorship (alphabetical order). arXiv admin note: substantial text overlap with arXiv:2506.04990

CreFlow: Corrective Reflow for Sparse-Reward Embodied Video Diffusion RL

CreFlow：稀疏奖励具身视频扩散强化学习的纠正回流

Zhenyang Ni, Yijiang Li, Ruochen Jiao, Simon Sinong Zhan, Sipeng Chen, Zhenfei Yin, Minshuo Chen, Philip Torr, Zhaoran Wang, Qi Zhu

机构 * Northwestern University（西北大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； University of Oxford（牛津大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 本文提出CreFlow框架，通过信用感知NFT损失和纠正回流损失提升高维视频生成性能，有效解决稀疏奖励下的具身任务执行问题。

CoCoEdit: Content-Consistent Image Editing via Region Regularized Reinforcement Learning

CoCoEdit：通过区域正则化的强化学习实现内容一致的图像编辑

Yuhui Wu, Chenxi Xie, Ruibin Li, Liyi Chen, Qiaosi Yi, Lei Zhang

机构 * The Hong Kong Polytechnic University, Hong Kong（香港理工大学） ； OPPO Research Institute, ShenZhen, China（OPPO研究院，深圳，中国） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 本文提出CoCoEdit框架，通过区域正则化强化学习提升图像编辑内容一致性，利用改进的指令和掩码生成高质量训练集，并引入像素相似度奖励和区域正则化器，提升编辑质量和一致性。

Comments Accepted by ICML 2026