语言大模型 / LLM

Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning

不确定性感知的LLM引导策略塑形用于稀疏奖励强化学习

Ujjwal Bhatta, Utsabi Dangol, Sumaly Bajracharya, Rodrigue Rizk, KC Santosh

机构 * USD AI Research Lab（USD人工智能研究实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出ULPS框架，结合校准的大语言模型与不确定性估计，通过A*轨迹微调BERT模型提供动作建议，并用熵机制平衡LLM引导与PPO策略，在MiniGridUnlockPickup基准上显著提升成功率、奖励效率和样本复杂度。

Comments Accepted to the 2026 IEEE Conference on Artificial Intelligence (IEEE CAI). 6 pages, 3 figures. Code available at: https://github.com/USD-AI-ResearchLab/uncertainty-aware-llm-rl

Multi-Objective Preference Optimization: Improving Human Alignment of Generative Models

多目标偏好优化：提升生成模型的人类对齐

Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；preference optimization(title,abstract)；LLM(abstract_cn)；post-training(abstract)

AI总结 针对RLHF和偏好优化方法假设单一目标的问题，提出多目标偏好优化框架MOPO，通过约束KL散度最大化主要目标并保障次要目标下限，在合成基准和人类偏好数据上实现帕累托最优策略。

Comments arXiv admin note: text overlap with arXiv:2406.18853 by other authors

Korean Culture into LLM Alignment: Toward Cultural Coherence

将韩国文化融入大语言模型对齐：迈向文化一致性

MinJae Jung, Minwoo Kim

机构 * SKT ； LG AI Research（LG人工智能研究） ； Kanana Team（Kanana团队） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对大语言模型的文化对齐，提出构建性定义而非仅抑制负面输出，设计基于提示的种子生成器扩展韩国危害分类，结合韩国法律、社会规范和解释惯例制定安全响应策略，通过DPO微调提升韩国文化安全率且不损害通用能力。

Comments Accepted to ICML 2026 Workshop on Culture X AI

What Do People Actually Want From AI? Mapping Preference Plurality

人们真正希望从AI中得到什么？偏好多元性映射

Julia Sepúlveda Coelho, Scott A. Hale

机构 * Oxford Internet Institute, University of Oxford（牛津大学互联网研究所） ； Meedan 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过分析75个国家1500份开放式回答，发现不同人对AI的期望各异，多数价值观仅被少数人要求，且同一词语（如“真实性”）含义分歧，某些能力存在争议，揭示当前RLHF偏好聚合方法的根本缺陷。

Comments Accepted at the 2026 ACM Conference on Fairness, Accountability, and Transparency (FAccT '26)

SWE-IF: Aligning Code Evaluation with Human Preference

SWE-IF: 使代码评估与人类偏好对齐

Ming Zhong, Xiang Zhou, Ting-Yun Chang, Qingze Wang, Nan Xu, Xiance Si, Dan Garrette, Shyam Upadhyay, Jeremiah Liu, Jiawei Han, Benoit Schillings, Jiao Sun

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SWE-IF基准，通过可验证指令分类法VeriCode评估代码指令遵循能力，发现指令遵循是区分LLM代码质量的关键，与功能正确性结合更能匹配人类偏好。

Comments ICML 2026

Controllable Molecular Generative Foundation Models

可控分子生成基础模型

Yihan Zhu, Yuhan Liu, Weijiang Li, Tengfei Luo, Meng Jiang

机构 * University of Notre Dame（诺丁汉大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；post-training(abstract)；分类 cs.LG

AI总结 提出CoMole，一种基于基团感知图扩散的统一框架，结合强化学习优化条件反向策略，在材料与药物设计的九个目标上均实现最优可控性，MAE最高降低48.2%，且无需规则修正。

Teach a Reward Model to Correct Itself: Reward Guided Adversarial Failure Discovery for Robust Reward Modeling

教会奖励模型自我修正：奖励引导的对抗性失败发现以实现鲁棒奖励建模

Pankayaraj Pathmanathan, Furong Huang

机构 * University of Maryland College Park（马里兰大学College Park分校） ； Capital One 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出REFORM框架，通过奖励引导的受控解码自动发现奖励模型失败模式，并利用生成的对抗样本自我改进，提升鲁棒性而不牺牲奖励质量。

Journal ref ACL 2026 Main Conference [Oral]

Local Guidance, Global Impact: Gaussian-Reshaped Trust Region Unlocks Behavior Transitions

局部引导，全局影响：高斯重塑信任区域解锁行为转变

Bingxu Liu, Jiashun Liu, Johan Obando-Ceron, Hao Wang, Runze Liu, Pablo Samuel Castro, Aaron Courville, Ling Pan

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Mila - Québec AI Institute（魁北克AI研究院） ； Université de Montréal（蒙特利尔大学） ； Fudan University（复旦大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对PPO在非平稳环境中优化失效的问题，提出高斯信任区域策略优化（GTR），通过高斯核重塑信任区域实现非单调约束，在保持局部稳定性的同时允许必要的大幅策略更新，并在多种任务中取得强性能。

Comments 21 pages

AdaJudge: Adaptive Multi-Perspective Judging for Reward Modeling

AdaJudge: 自适应多视角评判用于奖励建模

Yongliang Miao, Yangyang Liang, Mengnan Du

机构 * Emory University（埃默里大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出AdaJudge框架，通过门控精化块和自适应多视角池化模块，联合优化表示与聚合，解决奖励建模中静态归纳偏差和表示不匹配问题，在RM-Bench和JudgeBench上超越现有模型。

Comments ACL 2026

AdaGRPO: A Capability-Aware Adaptive Enhancement for Flow-based GRPO

AdaGRPO: 一种面向基于流的GRPO的能力感知自适应增强方法

Jiazi Bu, Pengyang Ling, Yujie Zhou, Yibin Wang, Yuhang Zang, Tianyi Wei, Xiaohang Zhan, Jiaqi Wang, Tong Wu, Xingang Pan, Dahua Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） ； Stanford University（斯坦福大学） ； Shanghai Innovation Institute（上海创新研究院） ； The Chinese University of Hong Kong（香港中文大学） ； Fudan University（复旦大学） ； CPII under InnoHK（InnoHK下的CPII） ； Adobe Research（Adobe研究） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出AdaGRPO，通过在线课程过滤策略和跨层级优势融合，解决流模型GRPO中提示选择随机和优势估计缺乏全局视角的问题，提升训练稳定性和性能。

Comments Project Website: https://bujiazi.github.io/adagrpo.github.io/

Reinforcement Learning from Denoising Feedback

基于去噪反馈的强化学习

Qi He, Huan Chen, Ya Guo, Huijia Zhu, Yi R. Fung, Baojian Zhou

机构 * Fudan University（复旦大学） ； Ant Group（蚂蚁集团） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出RLDF方法，利用去噪反馈进行策略损失估计，通过优化中间噪声状态到裁剪干净状态并结合加权时间步采样，在扩散语言模型上提升性能和泛化性。

CORE: Contrastive Reflection Enables Rapid Improvements in Reasoning

CORE: 对比反思实现推理能力的快速提升

Linas Nasvytis, Simon Jerome Han, Ben Prystawski, Satchel Grant, Noah D. Goodman, Judith E. Fan

机构 * Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 提出对比反思（CORE）非参数学习算法，通过对比成功与失败的推理轨迹生成自然语言洞察，在少量样本和 rollout 下实现比参数方法（GRPO）和非参数方法（GEPA、情景RAG、MemRL）更快的推理性能提升。

Robots Need More than VLA and World Models

机器人需要的不仅仅是VLA和世界模型

Elis Karcini, Faisal Mehrban, Quang Nguyen, Mac Schwager, Arash Ajoudani, Cesar Cadena, Jan Peters, Marco Hutter, Haitham Bou-Ammar

机构 * Motoniq.ai ； Stanford University（斯坦福大学） ； Istituto Italiano di Tecnologia（意大利技术研究院） ； ETH Zurich（苏黎世联邦理工学院） ； Technical University of Darmstadt（德累斯顿技术大学） ； UCL Centre for AI（伦敦大学学院人工智能中心） 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)

AI总结 本文认为机器人通用智能的关键瓶颈不仅是策略学习，还缺乏将非结构化行为数据转化为机器人可用监督的机制，并提出了四种缺失的接口组件。