语言大模型 / LLM

RecoverFly: A Failure-Aware Reinforcement Learning Post-Training Framework for Aerial Vision-Language Navigation

RecoverFly：面向空中视觉语言导航的故障感知强化学习后训练框架

Boxiong Wang, Hui Kang, Geng Sun, Jiahui Li, Chao Yu, Daxin Tian

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 RecoverFly是面向端到端无人机视觉-语言-动作策略的故障感知强化学习后训练框架，在TravelUAV基准上实现了优于AerialVLA的性能，提升了导航成功率。

CARGO-VL: Counterfactual Arbitration with Risk-Constrained Group Optimization for Vision-Language Models

CARGO-VL：面向视觉-语言模型的风险约束组优化反事实仲裁方法

De Jiang, Zhengyang Zhang, Kehong Yuan, Shaohua Ma

专题命中 后训练与偏好优化 ：language model(title)；post-training(abstract)；分类 cs.AI

AI总结 本研究提出CARGO-VL框架，结合XMC资源，通过组相对优化及原对偶控制器，提升视觉-语言模型的反事实仲裁性能，在多基准上优于逐点基线。

The Dark Room in the Reward Channel: Dense Prediction Rewards Collapse GRPO-Trained LLM Agents -- and The Channel, Not the Content, Decides What Works

奖励通道中的暗室：密集预测奖励使GRPO训练的大语言模型智能体崩溃——以及实际有效的方法

Yu Wang

专题命中 后训练与偏好优化 ：LLM(title,abstract)；分类 cs.LG

AI总结 研究发现密集预测奖励在GRPO训练下会使大语言模型智能体崩溃，通过单因素消融定位原因，提出方差分布标准，还通过受控信号传递矩阵对比奖励通道和辅助损失通道，表明奖励通道至多中性，辅助损失通道有优势。

Post-Training on Office Work Improves Software Engineering: A Behavioral Account of Cross-Domain Transfer

在办公工作上进行后训练可提升软件工程能力：跨域迁移的行为视角

Logan Ritchie, Sushant Mehta, Liudas Panavas, Edwin Chen

机构 * Surge AI 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 该研究通过在办公工作流程的长程多工具智能体任务上后训练Qwen3.5-122B-A10B，发现模型在无相关训练的软件工程基准SWE-Bench Pro上性能提升，证实长程后训练可跨域强化目标导向执行行为。

Comments 20 pages, 8 figures, 5 tables

MixFrag: Fragility-Guided Mixed-Precision Post-Training Quantization for Vision Transformers

MixFrag：面向视觉Transformer的脆弱性引导混合精度后训练量化

Md. Mehrab Hossain Opi, Robiul Islam Ryad, Md. Umar Faruk

机构 * Khulna University of Engineering & Technology (KUET)（库尔纳工程技术大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 针对现有PTQ方法精度分配低效问题，提出MixFrag框架，通过KL散度估计量化脆弱性并将位分配建模为MCKP，在ImageNet、COCO任务上实现最优混合精度PTQ性能。

Enhancing Scene Transition Awareness in Video Generation via Post-Training

通过后训练增强视频生成中的场景转换意识

Hanwen Shen, Jiajie Lu, Yupeng Cao, Xiaonan Yang

机构 * Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 本文提出TAV数据集，通过后训练提升视频生成中场景转换的理解能力，改善多场景生成效果并保持图像质量。

Journal ref Proceedings of the 14th International Joint Conference on Natural Language Processing and the 4th Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics (2025) 706-721

Less Data, Better Alignment: Data-Centric Multi-Evaluator Agreement for Preference Optimization

数据更少，对齐更好：用于偏好优化的数据中心多评估器一致性方法

Zhengtao Yao, Runhao Li, Xupeng Chen, Jiayi Cheng, Chenqian Le, Michael Yue, Siheng Wang, Haoyan Xu, Yuqi Li, Chenhao Wei, Zhengdao Li, Rongchao Zhang, Guang Yang, Yidong Wang, Junhao Dong

机构 * University of Southern California（南加州大学） ； New York University（纽约大学） ； Columbia University（哥伦比亚大学） ； University of California, Berkeley（加利福尼亚大学伯克利分校） ； City College of New York, CUNY（纽约市立大学城市学院） ； Stevens Institute of Technology（史蒂文斯理工学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 研究聚焦偏好优化，提出DMAPO方法，从目标策略生成候选响应，经多评估器评估、校正后保留高一致性示例。实验表明该方法数据效率高，能提升模型在MT - Bench等指标上的表现，且改变评估器或准则对下游性能影响小。

Comments 19 pages

JoyNexus: Service-Oriented Multi-Tenant Post-Training for VLA Models

JoyNexus：面向服务的视觉语言动作模型多租户训练后处理

Haoran Sun, Wentao Zhang, Junyang Hua, Hedan Yang, Yongjian Guo, Yifei Zhang, Xiaolong Xiang, Mingxi Luo, Jing Long, Chen Zhao, Chen Zhou, Wanting Xu, Qiming Yang, Hui Zhang, Song Wang, Xiaodong Bai, Shuai Di, Xu Chu, Xiaotie Deng, Yicheng Gong, Junwu Xiong

机构 * Peking University（北京大学） ； Beihang University（北航） ； Beijing Institute of Technology（北京理工大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 针对VLA模型训练后处理问题，提出JoyNexus统一服务，解耦相关服务，多租户可通过API调用，引入组批处理提高效率，经评估能减少GPU时间，提升服务利用率。

Comments 23 pages, 12 figures

Breaking the Quality--Intelligibility Trade-off in Streaming Target Speaker Extraction via Deep-Feature-Anchored Preference Optimization

通过深度特征锚定偏好优化打破流式目标说话人提取中的质量-可懂度权衡

Shuhai Peng, Jinjiang Liu, Hui Lu, Liyang Chen, Guiping Zhong, Jiakui Li, Shiyin Kang, Zhiyong Wu

机构 * Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； SenseTime（商汤科技） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 研究流式目标说话人提取中的质量-可懂度权衡问题，提出扩大Conformer卷积核及基于WavLM的DPO微调策略，实现了相对可懂度10.9%的提升，同时音频质量和说话人相似度也有改善。

PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers

PAC-ACT：用于动作分块变换器的训练后演员评论家方法

Yujie Pang, Zudong Li

机构 * LeRobot 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 针对精密工业接触操纵问题，提出PAC-ACT框架，通过在块级别重新制定策略优化、构建特定架构并引入混合行为先验约束，提升了机器人策略在姿态扰动和接触力约束下的性能，实验验证了其有效性。

PeTeR: Post-Training Robustification of Probabilistic Circuits

PeTeR：概率电路的训练后鲁棒化

Adrian Ciotinga, Yeming Dai, YooJung Choi

机构 * School of Computing and Augmented Intelligence Arizona State University（计算与增强智能学院亚利桑那州立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 研究针对概率电路学习易过拟合和泛化能力弱的问题，提出PeTeR这一无需数据的训练后框架，可使预训练概率电路抵御分布变化，实证评估显示该框架能有效增强模型对随机和对抗性扰动的鲁棒性，性能良好。

Incentivizing Vision Language Models to Search for Long Video Question Answering

激励视觉语言模型进行长视频问答搜索

Harsh Goel, S P Sharan, Sahil Shah, Minkyu Choi, Joungbin An, Kristen Grauman, Sandeep P. Chinchali

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：language model(title)；post-training(abstract)；分类 cs.LG

AI总结 研究将长视频问答从被动单流程感知任务转变为多轮检索过程，核心方法是自然语言驱动搜索及强化学习后训练，贡献是提升长视频理解基准测试分数。

Comments To appear at the European Conference on Computer Vision (ECCV 2026)

WoVR: World Models as Reliable Simulators for Post-Training VLA Policies with RL

WoVR：基于世界模型的可靠模拟器用于训练后VLA策略的强化学习

Zhennan Jiang, Shangqing Zhou, Yutong Jiang, Zefang Huang, Mingjie Wei, Yuhui Chen, Tianxing Zhou, Zhen Guo, Hao Lin, Quanlu Zhang, Yu Wang, Haoran Li, Chao Yu, Dongbin Zhao

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 本文提出WoVR框架，通过可控动作条件视频世界模型和关键帧初始化回放提升模拟稳定性，实现稳定长周期模拟回放和有效策略优化，取得优于LIBERO的性能。

Comments 25pages, 11 figures

ALOE: Action-Level Off-Policy Evaluation for Vision-Language-Action Model Post-Training

ALOE: 面向视觉-语言-动作模型后训练的动作级离策略评估

Rushuai Yang, Hecheng Wang, Zhichao Wu, Chiming Liu, Xiaohan Yan, Xuan Du, Shuoyu Yue, Chuheng Zhang, Yunlong Wang, Yongcheng Liu, Lizhe Qi, Yi Chen, Wei Shan, Maoqing Yao

机构 * AgiBot ； The Hong Kong University of Science and Technology（香港科技大学） ； Fudan University（复旦大学） ； Nanjing University（南京大学） ； Independent Researcher（独立研究者） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 提出ALOE框架，通过离策略评估直接估计当前策略的价值，结合分块时序差分和保守值聚合，改善稀疏奖励下的信用分配，在四项真实世界操作任务中优于现有方法。

Temporal Preference Optimization for Unsupervised Retrieval

面向无监督检索的时间偏好优化

HyunJin Kim, Jaejun Shim, Young Jin Kim, JinYeong Bak

机构 * Microsoft, Redmond, USA（微软公司，美国红mond） ； Sungkyunkwan University, Suwon, South Korea（成均馆大学，韩国首尔） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 提出TPOUR方法，通过时间检索偏好优化（TRPO）和可学习时间嵌入插值，使无监督稠密检索器能捕捉时间相关性，在时间信息检索任务上超越有监督和无监督基线。

Comments Accepted to ICML 2026

Anatomy of Post-Training: Using Interpretability to Characterize Data and Shape the Learning Signal

后训练的解剖：利用可解释性表征数据并塑造学习信号

Leon Bergen, Usha Bhalla, Sidharth Baskaran, Max Loeffler, Raphael Sarfati, Dhruvil Gala, Ryan Panwar, Santiago Aranguri, Thomas Fel, Atticus Geiger, Matthew Kowal, Siddharth Boppana, Daniel Balsam, Owen Lewis, Jack Merullo, Thomas McGrath, Ekdeep Singh Lubana

机构 * Stanford University（斯坦福大学） ； Google Research（谷歌研究院） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 提出基于可解释性的数据后训练流程，通过统计假设识别偏好数据中的潜在概念，实现细粒度反馈，减少虚假关联和不良行为。

Seeing Before Colliding: Anticipatory Safe RL with Frozen Vision-Language Models

碰撞前的预见：利用冻结视觉-语言模型的预期性安全强化学习

Samuel Tetteh, Cody Fleming

机构 * Iowa State University（爱荷华州立大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.LG

AI总结 提出VLM-Safe-RL框架，通过冻结视觉-语言模型生成预期性成本项，改进CMDP拉格朗日更新，在高速碰撞场景下实现安全与回报的平衡。

Comments 44pages, 26 figures

Post-Training Augmentation Invariance

训练后增强不变性

Keenan Eikenberry, Lizuo Liu, Yoonsang Lee

机构 * Department of Mathematics, Dartmouth College（达特茅斯学院数学系） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 提出训练后增强不变性框架，通过轻量级MLP适配器网络在预训练模型潜空间上实现近似不变性，无需微调且保持原始特征。

Drifting Preference Optimization for One-Step Generative Models

一步生成模型的漂移偏好优化

Zhou Jiang, Yandong Wen, Zhen Liu

机构 * Westlake University（西湖大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.LG

AI总结 提出 DrPO 方法，通过在线采样和排序构建非参数偶极偏好场及参考漂移，实现一步式生成模型的无梯度偏好微调。

Comments 24 pages, 9 figures

Post-Training Corrections for Improved Time-Series Forecasting

人在回路的自适应优化用于改进时间序列预测

Hamza Cherkaoui, Malik Tiomoko, Giuseppe Paolo, Zhang Yili, Yu Meng, Zhang Keli, Hafiz Tiomoko Ali

机构 * SAMOVAR Télécom SudParis Institut Polytechnique de Paris（Telecom SudParis高等研究院） ； Noah Ark Lab（Noah Ark实验室） ； Independent Researcher（独立研究员） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 提出一种无需重训练或修改架构的轻量级后训练自适应优化框架，通过强化学习、上下文赌博机或遗传算法自动学习表达性变换来校正模型输出，并支持人类专家通过自然语言引导校正，从而在多个基准上以最小计算开销持续提升预测精度。

Smaller and Faster 3DGS via Post-Training Dictionary Learning

通过训练后字典学习实现更小更快的3DGS

Jiarong Gong, Jonas Unger, Ehsan Miandji

机构 * Linköping University Department of Science and technology（利乌普斯大学科学与技术学院） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 提出首个基于字典学习的3DGS后训练压缩框架，无需重新训练即可显著压缩模型、保持图像质量并提升实时渲染速度。

Prompt-Level Reward Specifications for Open-Ended Post-Training

面向开放式后训练的提示级奖励规范

Zijun Weng, Xiaohui Hu, Shuangyong Song, Yongxiang Li, Kaidong Yu, Xuanjing Huang

机构 * Fudan University（复旦大学） ； Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.（星辰AGI实验室，中国电信人工智能技术（北京）有限公司） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.CL

AI总结 提出一种提示级奖励规范框架，通过离线构建可复用的任务自适应评分准则和可执行硬约束检查器，在训练前显式化奖励标准，无需人工偏好标注或单独训练奖励模型，在多个开放式基准上提升了离线排序和在线强化学习效果。

Comments 39 pages, 4 figures, 16 tables

Affective Music Recommendation: A Rollout-Based World Model for Offline Preference Optimization

情感音乐推荐：基于展开世界模型的离线偏好优化

Audrey Chan, Aaron Labbé, Jacob Lavoie, Jordan Bannister, Arsène Fansi Tchango, Guillaume Lajoie, Laurent Charlin

机构 * LUCID Inc. Toronto Canada ； LUCID Inc. Montr\' e al Canada ； Mila --- Qu\' e bec AI Institute Montr\' e al Canada ； LUCID Inc. ； Mila --- Qu\' e bec AI Institute 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.LG

AI总结 针对在线情感实验受伦理限制的问题，提出基于展开世界模型的情感音乐推荐系统AMRS，利用因果Transformer预测用户情感状态，并通过离线偏好优化提升推荐效果。

REED: Post-Training Representation Editing for Cross-Domain Linguistic Steganalysis

REED: 面向跨域语言隐写分析的后训练表示编辑

Ruohan Lei, Jianxin Gao, Wanli Peng, Huimin Pei

机构 * China Agricultural University（中国农业大学） ； Jiangsu Normal University（江苏师范大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 提出一种后训练表示编辑方法，通过构造域偏移向量和源域封面到隐写方向指导编辑，实现无需架构修改或参数更新的高效跨域语言隐写分析。

Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization

推理至关重要：通过推理条件偏好优化减轻多模态大型推理模型中的幻觉

Jiawei Kong, Hao Fang, Shunxiang Liao, Jinyu Li, Bin Chen, Hao Wu, Shu-Tao Xia, Min Zhang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 提出推理条件直接偏好优化（RC-DPO）方法，通过将思维链作为答案生成的条件并对比不同思维链下的偏好，结合蒙特卡洛树搜索和注意力引导的思维链剪枝生成偏好数据，有效减轻多模态大型推理模型中的幻觉。

Credit Assignment with Resets in Language Model Reasoning

语言模型推理中带有重置的信用分配

Ankur Samanta, Akshayaa Magesh, Ayush Jain, Youliang Yu, Daniel Jiang, Kavosh Asadi, Kaveh Hassani, Paul Sajda, Jalaj Bhandari, Yonathan Efroni

机构 * Meta AI ； Columbia University（哥伦比亚大学） ； Meta Superintelligence Labs（Meta超智能实验室） ； Tel Aviv University（特拉维夫大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.AI

AI总结 提出随机重置策略优化（RRPO）和自重置策略优化（SRPO）两种方法，通过重置到中间状态并重新采样反事实延续来改进语言模型多步推理中的信用分配，SRPO在多个推理基准上优于标准GRPO和RRPO。

Tail-Aware HiFloat4: W4A4 Post-Training Quantization for Wan2.2

Tail-Aware HiFloat4: 面向Wan2.2的W4A4训练后量化

Zhanfeng Feng, Shuai Guo, Xin Di, Long Peng, Yang Cao, Zhengjun Zha

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 提出Tail-Aware HiFloat4方法，通过感知激活尾部的百分位校准和紧凑PTQ状态恢复，在HiFloat4数值格式下对Wan2.2进行W4A4训练后量化，减少罕见校准异常值的影响。

CompassDPO: Dynamics-Controlled Direct Preference Optimization for Robust Safety Alignment

CompassDPO: 用于鲁棒安全对齐的动态控制直接偏好优化

Jilong Liu, Yonghui Yang, Pengyang Shao, Wenjian Tao, Hao Zhan, Haokai Ma, Wei Qin, Richang Hong

机构 * Hefei University of Technology（合肥工业大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.LG

AI总结 提出CompassDPO，通过隐式DPO奖励边际控制更新方向和幅度，无需外部奖励模型，在PKU-SafeRLHF等基准上提升鲁棒性。

Linear-DPO: Linear Direct Preference Optimization for Diffusion and Flow-Matching Generative Models

Linear-DPO: 用于扩散和流匹配生成模型的线性直接偏好优化

Kesong Li, Yixuan Xu, Kuo-kun Tseng, Weiyi Lu, Kan Liu, Tao Lan

机构 * School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.LG

AI总结 本文提出Linear-DPO，通过统一的反向时间SDE框架推导出涵盖扩散和流匹配的通用DPO目标，指出标准DPO目标在文本到图像生成中不最优，并通过定性定量实验验证了其在扩散模型和流匹配模型上的优越性。

Comments Code and models are available at: https://github.com/Whynot0101/Linear-DPO . Work done during an internship at Alibaba Group

Distributed Direct Preference Optimization

分布式直接偏好优化

Zhanhong Jiang

机构 * Translational AI Center, Iowa State University, Ames, USA（翻译人工智能中心，爱荷华州立大学，爱荷华州阿姆斯） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.LG

AI总结 本文研究了在分布式环境中直接偏好优化（DPO）的收敛性和时间复杂度，分析了联邦学习和去中心化学习中偏好数据碎片化对优化动态的影响，并提出了具有理论保证的鲁棒且可扩展的实现实现方法。

Comments 29 pages, 12 figures