语言大模型 / LLM

OR Else: A Differentiable Trust Region for Policy Optimization

OR 否则：用于策略优化的可微信赖域

Chinmay Rane, Kanishka Tyagi, Michael Manry

机构 * Quantiphi Inc（昆蒂菲公司） ； Self Machines Inc（自机器公司） ； The University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究 PPO 和 GRPO 中裁剪代理目标导数突变问题，提出用输出重置（OR）规则优化。通过对比实验，在广义优势估计下 PPO-OR 有更高奖励模型得分，组相对优势下 GRPO-OR 虽平均得分未升但差异更小，OR 改变了优化行为但奖励效果有别。

Comments 22 pages, 5 figures

LatentGym: A Testbed For Cross-Task Experiential Learning With Controllable Latent Structure

LatentGym: 具有可控潜在结构的跨任务经验学习测试平台

Daksh Mittal, Tommaso Castellani, Thomson Yen, Naimeng Ye, Fangyu Wu, Minghui Chen, Tiffany Cai, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

机构 * Columbia University（哥伦比亚大学） ； Oumi Blog | Code | Models（Oumi博客 | 代码 | 模型） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出LatentGym测试平台，通过可控潜在变量分离探索与利用，研究LLM代理在跨任务序列中的适应性学习机制。

Comments 61 pages

Learning When to Trust via Selective Context Preference Optimization

通过选择性上下文偏好优化学习何时信任

Xian Sun, Wei Chow, Yingshuo Wang, Junhao Liu, Wei Gao, Qing Wu, Lingdong Kong

机构 * Duke University（杜克大学） ； National University of Singapore（新加坡国立大学） ； UC Berkeley（加州大学伯克利分校） ； UC Irvine（加州大学欧文分校） ； Northeastern University（东北大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究针对语言模型易受误导性外部信号影响的问题，提出SCOPE方法，在含四种条件的MIST基准上优化DPO目标，降低SC2W的同时保持正常上下文下的准确率，主张以选择性信任评判模型。

Comments Project Page at https://worldbench.github.io/scope GitHub Repo at https://github.com/worldbench/SCOPE HF Dataset at https://huggingface.co/datasets/worldbench/MIST-Bench

The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation

多轮长期规划的物理学：通过单教师和多教师策略蒸馏从预训练到训练后

Tianyi Men, Zhuoran Jin, Kang Liu, Jun Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究多轮长期规划问题，通过引入统一可控环境，利用预训练、GRPO、OPD及MOPD等方法，研究规划能力在不同阶段的获取、塑造与整合，展示了多教师策略蒸馏对跨环境能力整合的作用。

FORGE-plus: Force-Budgeted Recovery for Contact-Rich Assembly with a Frozen LLM Supervisor

FORGE-plus：使用冻结的语言模型监督器进行力预算的富接触装配恢复

Kyupaeck Jeff Rah, Midum Oh

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究在规定力上限下实现紧间隙装配及从插入失败中恢复的问题，提出含冻结大语言模型的两层框架，该模型分配力上限并选恢复策略，通过实验评估，此框架表现良好，解决了部分夹具故障问题，也有负面结果。

Structured Output Collapses Answer Diversity Across 44 Language Models

结构化输出会削弱44种语言模型的答案多样性

Tapan Parikh

机构 * Cornell Tech（康奈尔理工学院） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究语言模型在特定格式要求下答案多样性变化，通过对44个模型进行31个类别提示实验，发现结构化输出使答案收敛、多样性降低，存在寄存器梯度，揭示了模型对不同格式的响应差异及对答案多样性的影响。

Comments 12 pages, 1 figure. Companion to the One-Word Census (arXiv:2607.12796). Code, data, and interactive explorer: https://github.com/tap2k/modelun/tree/main/studies/structured

When Implausible Tokens Get Reinforced: Tail-Aware Credit Calibration for LLM Reinforcement Learning

当不合理的令牌得到强化时：大语言模型强化学习的尾部感知信用校准

Xiuyi Lou, Zicheng Xu, Yu-Neng Chuang, Hoang Anh Duy Le, Zhaozhuo Xu, Guanchu Wang, Vladimir Braverman

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Rice University（里士满大学） ； Workato（Workato公司） ； University of North Carolina at Charlotte（北卡罗来纳州夏洛特大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大语言模型强化学习中统一信用分配的问题，提出尾部感知信用校准方法TACO，通过计算尾部风险分数校准信用，抑制不良正更新，实验证明该方法优于基线，提升训练稳定性。

JustLLMGRPO: Radiographic Control for Chest X-Ray Generation

JustLLMGRPO：面向胸部X射线生成的放射学控制

Pengxiang Cai, Xiaohan Li, Anglin Liu, Qingyuan Zeng, Zexun Li, Jintai Chen

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.AI

AI总结 JustLLMGRPO仅对LLM提示词策略应用GRPO，在冻结Sana生成器的前提下，提升了胸部X射线生成的质量，同时维持了提示词对齐度，实现了最优性能。

Teaching MLLMs to Say No: Generalized Referring Expression Comprehension via Refusal Calibrated GRPO

训练多模态大语言模型（MLLMs）说“不”：基于拒绝校准GRPO的广义指代表达理解

Xuzheng Yang, Jun Ling, Tao Huang, Caiyan Qin, Peng Wang

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对MLLMs因训练缺负样本导致无法拒绝不存在对象的问题，提出RC-GRPO方法，在保持定位精度的同时增强拒绝能力，在三个GREC基准上表现优异。

When Do Surrogate Updates Improve Decisions? A Local Theory of Trajectory-Wise Transfer

替代更新何时能改进决策？轨迹式迁移的局部理论

Yuyang Shen

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(abstract)；分类 cs.LG

AI总结 该研究提出轨迹式迁移的局部理论，探究替代更新改进决策的条件，推导相关梯度、校准等理论结果，通过网格世界和LLM后训练实验验证结论。

Comments 22 pages in total, including references and appendices; 3 composite figures (9 panels) and 4 tables. Code is available at https://github.com/Ethan-Shen-Individual-Lab/surrogate-to-decision-transfer

BridgeAlign: Bridging Preference Alignment for Humanities and Social Sciences

BridgeAlign：面向人文社科的偏好对齐框架

Ru Peng, Haokai Xu, Xijun Gu, Tianyu Zhao, Zhiting Fan, Yawen Zeng, Yihong Zhuang, Jinyang Zhang, Kexin Yang, Jian Wu, Hao Chen, Junyang Lin, Dayiheng Liu, Junbo Zhao

机构 * Alibaba Group（阿里巴巴集团） ； Ant Group（蚂蚁集团） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 该研究针对人文社科领域的偏好对齐需求，提出BridgeAlign框架，经21万+合成偏好样本对齐后，使Qwen3-8B在17个基准测试中优于11个强基线，且人工偏好与知识能力无权衡。

Agentic-DPO: From Imitation to Agentic Policy Optimization on Expert Trajectories

Agentic-DPO：从专家轨迹上的模仿到智能体策略优化

Yixiong Chen, Alan Yuille

机构 * Johns Hopkins University（约翰·霍普金斯大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型智能体基于专家轨迹训练只学动作序列、难应对错误的问题，提出Agentic-DPO方法，通过转化专家轨迹为状态条件偏好监督，结合策略保持增强，实现低成本智能体策略优化，实验验证其有效性。

Beyond Supervised Clarification: Input Rewriting with LLMs for Dialogue Discourse Parsing

超越有监督澄清：基于LLM的输入重写用于对话篇章解析

Yiming Liu, Ziyue Zhang, Zhichao Xu, Xin Yu, Yingheng Tang, Tianyu Jiang, Jie Cao

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；prompting(abstract)；分类 cs.CL

AI总结 研究在无监督条件下利用LLM零样本或基于解析器反馈重写输入以提升对话篇章解析性能，发现重写常引入回归，提出选择性干预问题并识别可重写性预测为关键缺失能力。

Comments Accepted to SIGDIAL 2026. 17 pages, 2 figures

Post-Hoc Merging is Not Enough: Many-Shot Model Merging with Loss-Gap Balancing

事后合并是不够的：基于损失差距平衡的多轮模型合并

Kyungjin Im, Miru Kim, Chanin Eom, Minhae Kwon

机构 * Soongsil University, Republic of Korea（韩国顺斯大学） ； Department of Electrical and Computer Engineering, Sungkyunkwan University, Republic of Korea（成均馆大学电子与计算机工程系） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出METIS方法，通过迭代多轮合并和任务损失差距加权，解决多任务模型合并中的信息擦除问题，显著提升最差任务性能。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models

全双工语音模型中的多面交互对齐

Atsumoto Ohashi, Neil Zeghidour, Alexandre Défossez, Eugene Kharitonov

机构 * Kyutai ； Gradium 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(abstract)；分类 cs.CL

AI总结 针对全双工对话模型交互性问题，提出基于强化学习的后训练对齐方法，从暂停处理、话轮转换、回馈和用户打断四个维度优化，并加入LLM奖励防止语义退化，在Moshi和PersonaPlex上取得一致改进。

LCAM: A Framework for Diagnosing Interactional Alignment Failures in Con-versational AI

LCAM：诊断对话式AI中交互对齐失败的框架

Manuele Reani, Hongyu Tian

机构 * School of Management and Economics, The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳校区管理学院） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 提出分层认知对齐模型（LCAM），通过五层对齐和两种失调极性诊断对话式AI的交互失败，应用于LLM咨询案例揭示潜在危害。

ELMER: Evolutionary Language Model that Explores and Refines

ELMER：探索与优化的进化语言模型

Matthew Siper, Ahmed Khalifa, Julian Togelius

机构 * New York University（纽约大学） ； University of Malta（马耳他大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出进化语言模型 ELMER，通过微调 Qwen3-8B 并结合 oDPO 优化，实现自然语言策略搜索与编译，提升进化搜索效率，证明语言可作为可执行程序空间的可引导搜索表示。

Comments Submitted to AAAI Conference 2026, 8 pages, 6 figures, 1 table

Aligning Large Vision-Language Models at Test Time: A Trajectory-Guided Structured Sampling Approach

测试时对齐大型视觉语言模型：一种轨迹引导的结构化采样方法

Tianbao Jiang, Weicong Ni, Gerard de Melo, Linlin Wang

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有视觉语言模型测试时对齐方法资源密集、训练与推理分布不匹配的问题，提出轨迹引导结构化采样的测试时对齐方法，在多模态推理数据集上提升准确率且推理开销可控。

Making Open-Source Text LLM Watermarks Durable Against Merging

使开源文本语言模型水印在合并后仍具耐久性

Luisa Scharff, Thibaud Gloaguen, Robin Staab, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；post-training(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何让开源文本语言模型水印在模型合并后仍具耐久性，提出合并对抗训练算法，该算法能将水印融入模型权重，在保留下游能力的同时优于所有基线，还评估了针对现实合并场景的水印，表明对抗训练可提高水印耐久性。

Rewarding Better Thinking for LLM Preference Alignment

奖励更好的思维以实现大语言模型偏好对齐

Xubo Liu, Wenya Guo, Ruxue Yan, Xinying Qian, Ying Zhang

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型偏好对齐问题，提出思维清单奖励（TCR）方法，将偏好对转化为思维清单评估推理轨迹，引入EMA残差公式减少与结果监督重叠，实验证明该方法能提升对齐性能。

Comments under review

Where Should RL Post-Training Compute Go? Model Size, Search, Learning, and Feedback

强化学习训练后计算资源应投向何处？模型大小、搜索、学习与反馈

Patrick Wilhelm, Odej Kao

机构 * Technische Universität Berlin（柏林工业大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.LG

AI总结 研究强化学习训练后计算资源分配问题，引入浮点运算核算框架，通过LoRA适配的Qwen2.5策略发现条件分配前沿，揭示模型选择与训练分配关联及奖励系统对核算影响，提出RACE协议，建议相关论文报告总浮点运算及计算分配方式。

Selective Timestep Weighting and Advantage-Based Replay for Sample-Efficient Diffusion RLHF

用于样本高效扩散强化学习从人类反馈中学习的选择性时间步加权和基于优势的重放

Eric Zhu, Abhinav Shrivastava, Soumik Mukhopadhyay

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究如何提高扩散模型中强化学习从人类反馈的效率，提出选择性时间步加权和基于优势的重放两种互补策略，通过强调信息丰富的时间步和轨迹优化，提升反馈效率，样本效率比基线提高6倍。

Comments 19 pages, 18 figures, 4 tables. Submission under review. A shorter, non-archival 4-page abstract version of this work was accepted to CVPR 2026 Workshops (GCV, CVEU)

RL Post-Training Builds Compositional Reasoning Strategies

强化学习后训练构建组合推理策略

Azwar Abdulsalam, Nishil Patel, Andrew Saxe

专题命中 后训练与偏好优化 ：post-training(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 研究强化学习后训练能否组合原始技能成高级策略，通过在可观察环境实验发现，强化学习能解决预训练模型难题，通过分阶段组合机制重组能力，组合过程可复用巩固，与拒绝微调关键差异在选择性，预训练消融表明其对组合策略出现有影响。

Comments 8 pages, 6 figures. Accepted to the 2nd Workshop on Compositional Learning at ICML 2026, Seoul, South Korea

Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

更密集 ≠ 更好：持续后训练中同策略自蒸馏的局限性

Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

专题命中 后训练与偏好优化 ：post-training(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.LG

AI总结 研究通过自蒸馏策略优化（SDPO）发现，同策略自蒸馏在持续后训练中会加剧遗忘甚至崩溃，而GRPO等强化学习方法更保守地保留先前能力，表明密集自蒸馏并非默认的稳定器。

Mechanistic Analysis of Alignment Algorithms in Language Models

语言模型中对齐算法的机制分析

Aarush Sinha, Ishan Garg, Veeraraju Elluru, Arth Singh, Kushal Garg

机构 * University of Copenhagen（哥本哈根大学） ； Independent（独立研究者） ； IIT Jodhpur（印度理工学院焦特布尔分校） ； NIT Agartala（印度国立理工学院阿加尔塔拉分校） ； Narris 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过层间线性探针、稀疏自编码器和交叉编码器，系统分析了六种偏好优化方法在语言模型中的内部机制，发现不同目标函数导致不同的表示几何变换，并揭示了行为对齐与内部结构变化的不一致性。

Comments Work in Progress

Parameter Exploration for RLVR via Variational Learning

基于变分学习的RLVR参数探索

Vatsal Venkatkrishna, Nico Daheim, Iryna Gurevych

机构 * INSAIT, Sofia University “St. Kliment Ohridski”（INSAIT，圣克莱门特奥赫里德斯基索非亚大学） ； National Research Center for Applied Cybersecurity ATHENE（ATHENE国家应用网络安全研究中心） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文针对LLM强化学习的探索问题，提出参数空间探索思路，引入3PO方法，在OLMo-3-1025-7B等模型的数学推理等任务上，以相近计算成本相比GRPO提升性能，减少训练中的异常分组与轨迹。

GraphQAG: A Knowledge-Graph-Guided Visual Analytics Framework for Question-Answer Pairs Generation

GraphQAG：一种用于问答对生成的知识图谱引导型可视分析框架

Yize Li, Ruiqi Yu, Tianya Pan, Ningxin Li, Songyue Li, Xiangyang Wu, Jinchang Li, Zhiguang Zhou

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 该研究针对长文档知识碎片化的问题，提出GraphQAG知识图谱引导型可视分析框架，经评估可帮助用户优化问答对集合，提升问答对的全面性与可信度。

Query-Centric Optimization of AI Workflows via Approximate Query Processing and Proxy Models

基于近似查询处理和代理模型的AI工作流查询中心优化

Huayi Wang, Jun Xu, Gromit Yeuk-Yin Chan

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(abstract)

AI总结 提出将AI工作流视为声明式查询，利用近似查询处理（AQP）和代理模型（PM）过滤减少昂贵模型调用，在TPC-DS和LLM流水线上实现85-90%和60-70%的调用减少。

AeroDPO: Unleashing Lightweight UAV Navigation with High-Fidelity Perception and Automated Preference Optimization

AeroDPO：释放具备高保真感知与自动偏好优化的轻量级无人机导航能力

Peng Xu, Chengcheng Wang, Shaohua Wan

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出AeroDPO，通过高保真感知与自动偏好优化，使20亿参数轻量级无人机导航模型达到70亿参数模型的成功率，同时降低分布外场景碰撞率，成为自主空中智能体新SOTA。

Comments 7 pages, 3 figures, 4 tables

SAGA: Score-Weighted Adaptive Generation Alignment for Low-Resource Nordic Language Models

SAGA：面向低资源北欧语言模型的分数加权自适应生成对齐

Hoda Fakharzadehjahromy, Emil Wiman, Andreas Bueff, Hafsteinn Einarsson, Fredrik Heintz

机构 * Linköping University（林雪平大学） ； University of Iceland（冰岛大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 该研究提出SAGA框架，用依存句法分析器监督取代人类偏好标注，在丹麦语、冰岛语等低资源北欧语言上提升了GPT-SW3-1.3B的语法质量，为相关语言的语法对齐提供了实用替代方案。

Comments 18 pages, 7 figures