语言大模型 / LLM

LearNAT: Learning NL2SQL with AST-guided Task Decomposition for Large Language Models

LearNAT: 基于AST引导任务分解的NL2SQL大语言模型学习

Weibin Liao, Xin Gao, Tianyu Jia, Rihong Qiu, Yifan Zhu, Yang Lin, Xinyu Ma, Junfeng Zhao, Yasha Wang

机构 * School of Computer Science, Peking University（北京大学计算机科学系） ； Key Laboratory of High Confidence Software Technologies, Ministry of Education（教育部高可信软件技术重点实验室） ； Big Data Technology Research Center, Nanhu Laboratory（纳米实验室大数据技术研究中心） ； National Engineering Research Center For Software Engineering, Peking University（北京大学软件工程国家工程研究中心） ； Peking University Information Technology Institute (Tianjin Binhai)（北京大学信息技术研究院（天津滨海）） ； School of Computer Sciences, Beijing University of Posts and Telecommunications（北京邮电大学计算机科学系） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Seed, ByteDance Inc.（字节跳动公司） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；preference optimization(abstract)

AI总结 提出LearNAT框架，通过AST引导的分解合成过程和边际感知强化学习，增强小规模LLM的NL2SQL任务分解能力，以7B参数模型达到GPT-4可比性能。

Comments Accepted by ICLR'26

Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning

通过强化学习优化RAG重排序器与LLM反馈

Yuhang Wu, Xiangqing Shen, Fanfan Wang, Cangqi Zhou, Zhen Wu, Xinyu Dai, Rui Xia

机构 * Nanjing University of Science and Technology（南京理工大学） ； Nanjing University（南京大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出RRPO框架，通过强化学习将重排序与LLM生成质量对齐，消除了对昂贵人工标注的依赖，实验显示其在知识密集型基准上优于基线模型。

Comments 17 pages

Staleness-Learning Rate Scaling Laws for Asynchronous RLHF

异步RLHF的陈旧度-学习率缩放定律

Jingwei Song, Haofeng Xu, Jie Xiao, Chengke Bao, Jingwei Shi, Pengbin Feng, Weixun Wang, Yuhang Han, Chuan Wu, Linfeng Zhang, Bill Shi

机构 * The University of Hong Kong（香港大学） ； Shanghai Jiao Tong University（上海交通大学） ； Gradient ； University of Southern California（南加州大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；分类 cs.AI、cs.LG

AI总结 研究异步GRPO中陈旧rollout的影响，推导出陈旧度与学习率之间的缩放定律，揭示稳定性受累积漂移和陈旧度约束的双重条件。

Beyond Supervised Clarification: Input Rewriting with LLMs for Dialogue Discourse Parsing

超越有监督澄清：基于LLM的输入重写用于对话篇章解析

Yiming Liu, Ziyue Zhang, Zhichao Xu, Xin Yu, Yingheng Tang, Tianyu Jiang, Jie Cao

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；prompting(abstract)；分类 cs.CL

AI总结 研究在无监督条件下利用LLM零样本或基于解析器反馈重写输入以提升对话篇章解析性能，发现重写常引入回归，提出选择性干预问题并识别可重写性预测为关键缺失能力。

Comments Accepted to SIGDIAL 2026. 17 pages, 2 figures

Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

更密集 ≠ 更好：持续后训练中同策略自蒸馏的局限性

Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

专题命中 后训练与偏好优化 ：post-training(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.LG

AI总结 研究通过自蒸馏策略优化（SDPO）发现，同策略自蒸馏在持续后训练中会加剧遗忘甚至崩溃，而GRPO等强化学习方法更保守地保留先前能力，表明密集自蒸馏并非默认的稳定器。

Many Voices, One Reward: Multi-Role Rubric Generation for LLM Judging and Reward Modeling

众声归一：面向大模型评判与奖励建模的多角色评分标准生成

Dazhi Fu, Jiuding Yang, Yiwen Guo, Jicong Fan

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）数据科学学院） ； LIGHTSPEED ； Independent Researcher（独立研究员） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出多角色评分标准生成框架(MRRG)，通过整合多个互补角色的评估标准，消除单一通用评估器的维度盲区，在偏好验证和强化学习奖励信号上均优于基线。

Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training

一层就够了吗？训练单个Transformer层可以匹配全参数RL训练

Zijian Zhang, Rizhen Hu, Athanasios Glentis, Dawei Li, Chung-Yiu Yau, Hongzhou Lin, Mingyi Hong

机构 * University of Minnesota（明尼苏达大学） ； Peking University（北京大学） ； Amazon（亚马逊） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 发现RL训练收益高度集中在少数Transformer层，仅训练单层即可恢复大部分全参数RL收益，且高贡献层集中在模型中部。

VLM-AR3L: Vision-Language Models for Absolute and Relative Rewards in Reinforcement Learning

VLM-AR3L：用于强化学习中绝对和相对奖励的视觉-语言模型

Kuan-Chen Chen, Winston Chen, Wei-Fang Sun, Min-Chun Hu

机构 * National Tsing Hua University（国立清华大学） ； NVIDIA AI Technology Center (NVAITC)（英伟达AI技术中心） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)

AI总结 提出VLM-AR3L框架，利用视觉-语言模型从偏好标签中学习绝对和相对奖励，结合状态评估与比较监督，在多种基准任务中优于先前方法。

Comments Accepted at IJCAI 2026. Project website: https://vlm-ar3l.github.io/

Direct Diffusion Score Preference Optimization via Stepwise Contrastive Policy-Pair Supervision

直接扩散分数偏好优化：通过逐步对比策略对监督

Dohyun Kim, Seungwoo Lyu, Seung Wook Kim, Paul Hongsuck Seo

机构 * Dept. of CSE, Korea University（韩国大学计算机科学与工程系） ； NVIDIA 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)

AI总结 提出DDSPO方法，通过对比策略对直接监督反向去噪步骤，无需奖励建模或人工标注，在文本-图像对齐和美学质量任务上优于现有方法。

Comments Accepted to ECCV 2026

Don't Let Gains FADE: Breaking Down Policy Gradient Weights in RL

不要让收益消失：解析强化学习中的策略梯度权重

Juliette Decugis, Sean O'Brien, Francis Bach, Gabriel Synnaeve, Taco Cohen

机构 * FAIR at Meta（Meta FAIR） ； Inria, Ecole Normale Supérieure（法国国家信息与自动化研究所，巴黎高等师范学院） ； University of California, San Diego（加利福尼亚大学圣迭戈分校） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出FADE方法，通过动态调整优势函数的正负和难度权重，解决RL训练不稳定和多样性崩溃问题，在7B和32B模型上分别提前20k和2k步达到最佳pass@1。

LASER: A Corrective Lens for LVLMs via Visual Attention Preservation and Sink Suppression

LASER: 通过视觉注意力保持与沉没抑制为LVLMs提供矫正透镜

Bowen Yuan, Zijian Wang, Yadan Luo, Shijie Wang, Zi Huang

机构 * The University of Queensland（昆士兰大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)

AI总结 针对大型视觉语言模型在长序列解码中视觉遗忘的问题，提出LASER后训练框架，通过视觉接地奖励和沉没抑制奖励调节注意力轨迹与分布，在8个基准上超越强基线。

Comments The 19th European Conference on Computer Vision (ECCV 2026)

Navigating the Alignment-Calibration Trade-off: A Pareto-Superior Frontier via Model Merging

导航对齐-校准权衡：通过模型合并实现帕累托更优前沿

Tiancheng Hu, Benjamin Minixhofer, Nigel Collier

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文发现后训练对齐不仅降低任务准确率，还严重损失校准性能，导致模型过度自信且输出多样性下降。通过简单地在对齐前后模型权重间进行插值，可以持续获得帕累托最优模型，同时提升准确率和恢复校准。

Comments ACL 2026 Findings

Rank-Then-Act: Reward-Free Control from Frame-Order Progress

先排序后行动：基于帧序进展的无奖励控制

Yuriy Maksyuta, George Bredis, Ruslan Rakhimov, Daniil Gavrilov

机构 * T-Tech 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Rank-Then-Act框架，利用视觉语言模型从专家视频中学习进度排序器，通过斯皮尔曼等级相关奖励函数实现无环境奖励的策略学习，在离散和连续控制任务中达到或超越现有方法。

Comments 20 pages, 15 figures

WorldSample: Closed-loop Real-robot RL with World Modelling

WorldSample：基于世界建模的闭环真实机器人强化学习

Yuquan Xue, Le Xu, Zeyi Liu, Zhenyu Wu, Zhengyi Gu, Xinyang Song, Bofang Jia, Ziwei Wang

机构 * PINE Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（南洋理工大学电气与电子工程学院PINE实验室） ； Department of Electronic Engineering, Tsinghua University, Beijing, China（清华大学电子工程系） ； School of Automation, Central South University, Changsha, China（中南大学自动化学院） ； School of Automation, Beijing University of Posts and Telecommunications, Beijing, China（北京邮电大学自动化学院） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 提出WorldSample框架，通过物理 rollout、世界模型生成与策略改进的闭环，结合策略节奏学习（PPL）调节训练，在接触性精密操作任务中成功率提升28%，训练步数减少59%。

Comments 16 pages, 9 figures, conference paper

DDPO-VC: Speaker De-Identification via Diffusion Denoising Policy Optimization

DDPO-VC：基于扩散去噪策略优化的说话人去识别

Liming Wang, Cody Karjadi, Rhoda Au, James Glass

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 提出DDPO-VC框架，通过强化学习后训练扩散模型，利用隐私与效用教师奖励信号，在说话人去识别中平衡隐私保护与下游任务效用，优于多种强基线方法。