语言大模型 / LLM

AlphaToken: Decoupling Adaptation and Stability for Path-Aware Response Token Valuation in LLM Post-Training

AlphaToken: 在LLM后训练中解耦适应性与稳定性的路径感知响应令牌估值

Liu Qing, Ou Wu, Yi Du

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 提出AlphaToken框架，通过解耦适应性（促进目标任务学习）和稳定性（保持预训练能力）并引入路径感知机制，利用Fisher漂移代理和Ghost点积扩展实现高效令牌估值，从而在微调和偏好优化中屏蔽低价值令牌，提升后训练性能并缓解灾难性遗忘。

GREAT: Generalizable Backdoor Attacks in RLHF via Emotion-Aware Trigger Synthesis

GREAT: 通过情感感知触发器在RLHF中实现可泛化的后门攻击

Subrat Kishore Dutta, Yuelin Xu, Piyush Pant, Xiao Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA赫尔姆霍茨信息安全中心） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；prompting(abstract)；分类 cs.LG

AI总结 提出GREAT框架，利用情感感知触发器在RLHF中构造自然分布后门，通过潜在空间聚类和多样性提示策略生成愤怒触发器，实现对未见触发器的泛化攻击。

Detector-Evasive LLM Paraphrasing via Constrained Policy Optimization

通过约束策略优化实现检测器规避的LLM释义

Mingyi Wang, Zhuoer Shen, Yuheng Bu, Shaofeng Zou

机构 * School of ECEE, Arizona State University（亚利桑那州立大学电子工程与计算机科学学院） ； Department of Computer Science, University of California, Santa Barbara（加州大学圣巴巴拉分校计算机科学系） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出DEPO算法，将检测器规避的LLM释义建模为约束马尔可夫决策过程，通过拉格朗日对偶强化学习在保持语义的同时实现高效规避。

RLHF May Not Reflect Genuine Preferences

RLHF 可能不反映真实偏好

Bijean Ghafouri, Eun Cheol Choi, Priyanka Dey, Emilio Ferrara

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)

AI总结 本文指出 RLHF 中的标注响应可能并非真实偏好，通过提出测量有效性诊断方法，发现不一致性具有系统性偏差，过滤高不一致标注者会显著改变模型输出。

Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling

通过贝叶斯非负奖励建模缓解RLHF中的奖励黑客

Zhibin Duan, Guowei Rong, Zhuo Li, Bo Chen, Mingyuan Zhou, Dandan Guo

机构 * Zhejiang University（浙江大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出贝叶斯非负奖励模型（BNRM），通过非负因子分析和变分推断，在Bradley-Terry偏好模型中实现解耦与去偏，有效缓解奖励过度优化，提升鲁棒性和可解释性。

Comments Accepted as an Oral presentation at ICML 2026. The code is available at https://github.com/GuoweiRong/Bayesian-Non-negative-Reward-Model

Margin Adaptive DPO: Leveraging Reward Model for Granular Control in Preference Optimization

Margin Adaptive DPO: 利用奖励模型实现偏好优化中的细粒度控制

Hyung Gyu Rho

机构 * Independent Researcher（独立研究者） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Margin-Adaptive Direct Preference Optimization (MADPO)方法，通过奖励模型估计偏好边界并自适应调整DPO损失权重，实现实例级别的细粒度控制，在摘要任务上优于现有方法。

Optimizing Diversity and Quality through Base-Aligned Model Collaboration

通过基座对齐模型协作优化多样性与质量

Yichen Wang, Chenghao Yang, Tenghao Huang, Muhao Chen, Jonathan May, Mina Lee

机构 * University of Chicago（芝加哥大学） ； University of Southern California, Information Sciences Institute（南加州大学信息科学研究所） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出基座对齐模型协作框架（BACo），在推理时通过令牌级路由策略动态结合基座LLM与其对齐版本，以单次前向传递同时提升生成多样性和质量。

Comments ICML 2026. (47 pages, 22 figures)

Where to Look: Can Foundation Models Reach a Target Viewpoint Through Active Exploration?

看向哪里：基础模型能否通过主动探索达到目标视角？

Liyang Li, Muzhi Zhu, Zhiyue Zhao, Hengyu Zhao, Ke Liu, Linhao Zhong, Hao Chen, Chunhua Shen

机构 * Zhejiang University（浙江大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 提出目标视角复现（TVR）任务及TVRBench基准，通过分析现有模型瓶颈并构建统一后训练框架，将9B开源模型成功率提升至50%以上。

Comments Project page: https://github.com/aim-uofa/TVRBench

GRPO-TTA: Test-Time Visual Tuning for Vision-Language Models via GRPO-Driven Reinforcement Learning

GRPO-TTA：基于GRPO驱动的强化学习进行视觉语言模型的测试时视觉调优

Yujun Li, Hongyuan Zhang, Yuan Yuan

机构 * School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（人工智能、光学与电子学院（iOPEN），西北工业大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 提出GRPO-TTA方法，将GRPO应用于测试时适应，通过将类特定提示预测重构为组策略优化问题，并设计对齐奖励和分散奖励，在多种基准上优于现有方法。

The Representation-Rationalizability Tradeoff in Reward Learning

奖励学习中的表示-可理性权衡

Jing Dong, Yaoliang Yu, Pascal Pourpart

机构 * Vector Institute（向量研究所） ； University of Waterloo（滑铁库大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 本文研究RLHF中奖励学习面临的表示与可理性之间的权衡，通过分解交叉熵损失为表示项和聚合项，证明更丰富的表示会扩大不可理性比较的数量，且联合训练无法自动达到最优平衡点。

"I've Seen How This Goes": Characterizing Diversity via Progressive Conditional Surprise

“我知道这会如何发展”：通过渐进条件惊奇度刻画多样性

Matthew Khoriaty, David Williams-King, Shi Feng

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一种基于上下文学习的多样性度量方法 Decan（D_{Ca_n}），通过单次前向传递计算每个字节的得分，无需嵌入模型、参考语料或人工标注，在多个基准上验证了其有效性。

Comments 28 pages, 18 figures, 9 tables. Accepted to the Workshop on Generative AI, Creativity, and Human-AI Co-Creation @ ICML 2026 (non-archival). Code and data: https://github.com/AMindToThink/icl-diversity

ActiveUltraFeedback: Efficient Preference Data Generation using Active Learning

ActiveUltraFeedback：使用主动学习的高效偏好数据生成

Davit Melikidze, Marian Schneider, Jessica Lam, Martin Wertich, Ido Hakimi, Barna Pásztor, Andreas Krause

机构 * University of Freiburg（弗赖堡大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ActiveUltraFeedback主动学习流水线，通过不确定性估计和两种新采样方法（DRTS和DeltaUCB）动态选择最具信息量的响应对，以最少六分之一的标注数据实现与静态基线相当或更优的下游性能。

Comments 40 pages, 9 figures, 26 tables

Learning Query-Specific Rubrics from Human Preferences for DeepResearch Report Generation

从人类偏好中学习查询特定评分标准用于DeepResearch报告生成

Changze Lv, Jie Zhou, Wentao Zhao, Jingwen Xu, Shihan Dou, Zisu Huang, Muzhao Tian, Xiaohua Wang, Yang Liu, Pluto Zhou, Tao Gui, Le Tian, Xiao Zhou, Xiaoqing Zheng, Xuanjing Huang, Jie Zhou

机构 * Tencent（腾讯） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 提出一种通过强化学习训练查询特定评分标准生成器的流水线，以解决DeepResearch长报告生成中缺乏可验证奖励信号的问题，并在人类偏好测试和下游任务中取得显著性能提升。

Towards Precise Intent-Aligned VLA Aerial Navigation via Expert-Guided GRPO

迈向精确意图对齐的VLA空中导航：基于专家引导的GRPO

Tianyang Chen, Wenjun Li, Xin zhou, Yuze Wu, Fei Gao

机构 * Zhejiang University Differential Robotics（浙江大学差分机器人实验室） 纠错

专题命中 后训练与偏好优化 ：SFT(summary_cn,abstract)

AI总结 提出EG-GRPO框架，通过专家数据增强在线rollout和异构并行流水线，解决VLA模型在无人机导航中因数据稀缺和探索低效导致的意图对齐问题，成功率提升至SFT基线的2.13倍，意图对齐性能提升60.9%。

Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective

从对比视角重新审视基于可验证奖励的强化学习

Feng Zhang, Xinhong Ma, Ziqiang Dong, Xi Leng, Jianfei Zhao, Xin Sun, Yang Yang, Guanjun Jiang

机构 * Beijing Institute of Technology（北京理工大学） ； Qwen Business Unit of Alibaba（阿里巴巴Qwen业务部） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ConSPO方法，通过对比序列级策略优化，解决GRPO在目标函数上的似然错配和信用分配不敏感问题，在推理任务上超越强基线。

Task-Induced Representational Invariances Depend on Learning Objective in Deep RL

任务诱导的表征不变性依赖于深度强化学习中的学习目标

Manu Srinath Halvagal, Sebastian Lee, SueYeon Chung

机构 * Department of Physics, Harvard University（哈佛大学物理系） ； Kempner Institute, Harvard University（哈佛大学凯普纳研究所） ； Center for Computational Neuroscience, Flatiron Institute（Flatiron研究所计算神经科学中心） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract_cn)；分类 cs.LG

AI总结 本文通过MDP约简理论分析深度强化学习中的表征，发现基于价值的方法（DQN）学习对MDP同态对称性不变的表征，而基于策略梯度的方法（PPO）学习对动作对称性不变的表征，这些差异影响迁移学习并在LLM中呈现提示依赖性。

SDR: Set-Distance Rewards for Radiology Report Generation

SDR：用于放射学报告生成的集合距离奖励

Halil Ibrahim Gulluk, Max Van Puyvelde, Wim Van Criekinge, Olivier Gevaert

机构 * Stanford University（斯坦福大学） ； Stanford University School of Medicine（斯坦福大学医学院） ； Ghent University（根特大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 针对胸部X光报告生成中标准奖励不兼容的问题，提出基于集合距离的连续置换不变奖励，通过GRPO后训练和测试时缩放显著提升性能。

From Fragments to Facts: A Curriculum-Driven DPO Approach for Generating Hindi News Veracity Explanations

从碎片到事实：一种课程驱动的DPO方法用于生成印地语新闻真实性解释

Pulkit Bansal, Raghvendra Kumar, Shakti Singh, Adam Jatowt, Sriparna Saha

机构 * TCS Research（TCS研究） ； Department of Computer Science and Engineering, Indian Institute of Technology Patna（印度理工学院帕纳布计算机科学与工程系） ； Indian Institute of Technology Patna（印度理工学院帕纳布） ； University of Innsbruck（因斯布鲁克大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；preference optimization(abstract)；分类 cs.CL

AI总结 针对印地语等低资源语言的虚假信息检测，提出一种结合直接偏好优化（DPO）与课程学习的框架，通过引入“实际性”和“精炼度”参数优化解释质量，实验验证了生成连贯、相关解释的有效性。

Comments Accepted at ACL 2026 Findings

Simultaneous Multi-objective Alignment Across Verifiable and Non-verifiable Rewards

同时多目标对齐：可验证与不可验证奖励

Yiran Shen, Yu Xia, Jonathan Chang, Prithviraj Ammanabrolu

机构 * ucsd（加州大学圣地亚哥分校） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MAHALO框架，通过标准化PRM训练、多动作头DPO和PRM引导解码，实现大语言模型在可验证与不可验证奖励上的多目标对齐，减少目标冲突并支持推理时控制。

Comments ICML 2026

MASCOT: Towards Multi-Agent Socio-Collaborative Companion Systems

MASCOT: 迈向多智能体社会协作伴侣系统

Yiyang Wang, Yiqiao Jin, Alex Cabral, Josiah Hester

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对多智能体系统中的人格崩溃和社会谄媚问题，提出MASCOT框架，通过双层优化策略（人格感知行为对齐与协作对话优化）提升角色一致性和对话贡献。

Comments 15 pages, 9 figures. https://hello-diana.github.io/MASCOT/

Expected Value Alignment for Generative Reward Modeling in Formal Mathematics Verification

形式数学验证中生成式奖励建模的期望值对齐

Shihao Ji, Haotao Tan, Zihui Song, Mingyu Li

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出期望值对齐（EVA）方法，通过从模型词元分布中提取连续分数，在保持生成式奖励模型离散输出的同时实现连续评分，用于Lean 4形式验证。

CAST: Non-Privileged Clipped Asymmetric Self-Teaching with Advantage Flipping for GRPO

CAST：用于GRPO的非特权裁剪非对称自教学与优势翻转

Yang Li, Gongle Xue, Yijia Guo, Yuheng Yuan, Liwen Hu, Lei Ma

机构 * School of Software and Microelectronics, Peking University, Beijing（北京大学软件与微电子学院） ； School of Artificial Intelligence, Peking University, Beijing（北京大学人工智能学院） ； School of Computer Science, Peking University, Beijing（北京大学计算机科学学院） ； School of Future Technology, Peking University, Beijing（北京大学未来技术学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出CAST方法，通过无答案的自教师模型和双向局部优势符号翻转，解决GRPO中奖励稀疏和组相对优势消失的问题，提升数学推理性能。

Comments 10 pages

Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation

群体相对策略优化中的优势崩塌：诊断与缓解

Xixiang He, Qiyao Sun, Ao Cheng, Xingming Li, Xuanyu Ji, Hailun Lu, Runke Huang, Qingyong Hu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对GRPO在可验证奖励强化学习中的优势崩塌问题，提出诊断指标ACR和轻量级扩展方法AVSPO，通过注入虚拟奖励样本减少梯度消失，提升模型推理能力。

Comments Accepted at the International Conference on Machine Learning (ICML 2026). Project page: https://QingyongHu.github.io/AVSPO

AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents

AgentProcessBench：诊断工具使用代理的步骤级过程质量

Shengda Fan, Xuyan Ye, Yupeng Huo, Zhi-Yuan Chen, Yiju Guo, Shenzhi Yang, Wenkai Yang, Shuqi Ye, Jingwen Chen, Haotian Chen, Xin Cong, Yankai Lin

机构 * Renmin University of China（中国人民大学） ； Beijing Jiaotong University（北京交通大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出AgentProcessBench基准，通过三元标注方案和错误传播规则评估工具增强轨迹中的步骤级有效性，揭示当前模型在区分中立与错误动作方面的挑战，并证明过程信号对结果监督的补充价值。

From Demonstrations to Rewards: Test-Time Prompt Optimization for VLM Reward Models

从演示到奖励：VLM奖励模型的测试时提示优化

Christian Gumbsch, Leonardo Barcellona, Lennard Schünemann, Platon Karageorgis, Andrii Zadaianchuk, Zehao Wang, Sergey Zakharov, Fabien Despinoy, Rahaf Aljundi, Efstratios Gavves

机构 * University of Amsterdam（阿姆斯特丹大学） ； Catholic University of Leuven（鲁汶天主大学） ； Toyota Research Institute（丰田研究院） ； Toyota Motor Europe（丰田欧洲公司） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Demo2Reward方法，利用少量专家演示在测试时优化VLM奖励模型的提示指令，减少假阳性并保持真阳性，无需额外训练即可提升下游策略学习。

lmfaoooo at SemEval-2026 Task 1: Humor Is an Audience. Preference Modeling for Constrained Humor Generation

lmfaoooo at SemEval-2026 Task 1: 幽默是受众。面向约束幽默生成的偏好建模

Alexey Tikhonov, Alexey Ivanov

机构 * Inworld.AI Berlin, Germany（Inworld.AI柏林，德国） ； OpenAI ； Mountain View, CA（山景城，加利福尼亚州） 纠错

专题命中 后训练与偏好优化 ：prompting(abstract)；分类 cs.CL、cs.AI

AI总结 针对约束幽默生成任务，提出“生成多候选-偏好选择”策略，利用人类成对比较训练偏好模型，在MWAHAHA任务英、中、西语子任务中分别获得第1、第1和第2名。

Comments 5 pages. Accepted for SEMEVAL 2026

One Bias After Another: Mechanistic Reward Shaping and Persistent Biases in Language Reward Models

一个接一个的偏差：语言奖励模型中的机械奖励塑造与持续偏差

Daniel Fein, Max Lamparth, Violet Xiang, Mykel J. Kochenderfer, Nick Haber

机构 * Stanford University（斯坦福大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过系统测量五个高质量奖励模型中的偏差，发现长度、谄媚、过度自信等持续问题，并提出一种简单的后处理干预方法（机械奖励塑造）来减轻低复杂度偏差。

Comments ICML 2026 Camera-ready

Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation

Avatar Forcing：用于自然对话的实时交互式头部化身生成

Taekyung Ki, Sangwon Jang, Jaehyeong Jo, Jaehong Yoon, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） ； NTU Singapore（新加坡国立大学） ； DeepAuto.ai 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 提出Avatar Forcing框架，通过扩散强制实现实时交互式头部化身生成，利用直接偏好优化进行无标签学习，在低延迟（约500ms）下生成富有表现力的反应动作。

Comments CVPR 2026. Project page: https://taekyungki.github.io/AvatarForcing/

Machine Learning Surrogate Modeling for Homogenization of Hyperelastic Materials with Boolean Microstructures

具有布尔微结构的超弹性材料均匀化的机器学习代理建模

Matthias Brändel, Oliver Rheinbach

机构 * Technische Universität Bergakademie Freiberg（弗赖贝格应用科学大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 提出一种监督学习方法，利用低维微观结构描述符（如面积分数、形状描述符τ、两点相关函数S2(r)和线路径函数ℓ(z)）预测超弹性复合材料的有效拉梅参数，并通过留一法交叉验证评估泛化能力。

Comments 16 pages, 7 figures

B-GRTO: Bootstrapped Group Relative Tool Optimization for Referring Segmentation

B-GRTO: 引导式分组相对工具优化用于指代分割

Mario Markov, Stefan Maria Ailuro, Mohammad Mahdi, Luc Van Gool, Danda Pani Paudel

机构 * INSAIT ； Sofia University "St. Kliment Ohridski"（索菲亚大学"圣克莱门特·欧赫里迪斯基"） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.LG

AI总结 提出B-GRTO框架，通过引导式预训练和分组相对工具优化，联合优化策略与可微分割解码器，显著提升复杂指代分割性能。