语言大模型 / LLM

CoFi-PGMA: Counterfactual Policy Gradients under Filtered Feedback for Multi-Agent LLMs

CoFi-PGMA：在多智能体LLM中基于过滤反馈的反事实策略梯度

Stela Tong, Elai Ben-Gal

机构 * Stanford Graduate School of Business（斯坦福商学院） ； Stanford University（斯坦福大学） ； Department of Mathematics（数学系） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；RLHF(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对多智能体LLM中过滤反馈导致的RLHF目标不准确问题，提出CoFi-PGMA框架，通过边际贡献反事实目标修正路由和协作机制下的学习信号，并提供实用训练算法和实证研究。

Comments 17 pages, 0 figures

Probe-Based Data Attribution: Discovering and Mitigating Undesirable Behaviors in LLM Post-Training

基于探针的数据归因：发现并缓解LLM微调后的不良行为

Frank Xiao, Santiago Aranguri

机构 * California Institute of Technology（加利福尼亚理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于探针的数据归因方法，通过分析测试提示和偏好对的激活差异向量，识别导致特定行为的数据点，并通过重新训练验证归因。该方法在OLMo 2的生产DPO训练中发现有害行为，过滤数据点可显著减少此类行为。

DVPO: Distributional Value Modeling-based Policy Optimization for LLM Post-Training

DVPO：基于分布价值建模的策略优化用于大语言模型后训练

Dingwei Zhu, Zhiheng Xi, Shihan Dou, Yuhui Wang, Sixian Li, Junjie Ye, Honglin Guo, Shichun Liu, Chenhao Huang, Yajie Yang, Junlin Shang, Senjie Jin, Ming Zhang, Jiazheng Zhang, Caishuang Huang, Yunke Zhang, Yuran Wang, Tao Gui

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； Honor Device Co., Ltd（荣誉设备有限公司） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 DVPO通过结合条件风险理论与分布价值建模，在噪声监督下提升大语言模型后训练的鲁棒性和泛化能力，优于PPO、GRPO等方法。

Data-efficient Targeted Token-level Preference Optimization for LLM-based Text-to-Speech

高效的目标令牌级偏好优化用于基于大语言模型的文本到语音

Rikuto Kotoge, Yuichi Sasaki

机构 * SpiralAI Inc.（SpiralAI公司） ； The University of Osaka（大阪大学） ； Shizuoka University（izuoka大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；LLM(title)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TKTO方法，通过无需配对数据实现高效训练，直接优化令牌级单位，提升日语音识别准确率39%并降低CER 54%。

Comments Accepted at ACL 2026 (Main)

Hindsight Preference Optimization for Financial Time Series Advisory

金融时间序列建议的 hindsight 偏好优化

Yanwei Cui, Guanghui Wang, Xing Zhang, Peiyang He, Ziyuan Li, Bing Zhu, Wei Qiu, Xusheng Wang, Zheng Yu, Anqi Xin

机构 * AWS Generative AI Innovation Center（AWS生成式AI创新中心） ； HSBC Holdings Plc（汇丰控股有限公司） ； HSBC Technology Center China（汇丰技术中心（中国）） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过回顾性偏好优化方法，利用观测结果生成偏好对，提升语言模型在金融时间序列预测中的建议质量。

Comments Accepted at ICLR 2026 TSALM Workshop

AI Safety Training Can be Clinically Harmful

AI安全训练可能造成临床伤害

Suhas BN, Andrew M. Sherrill, Rosa I. Arriaga, Chris W. Wiese, Saeed Abdullah

机构 * College of Information Sciences and Technology, Penn State University（宾夕法尼亚州立大学信息科学与技术学院） ； Department of Psychiatry and Behavioral Sciences, Emory University（埃默里大学精神病学与行为科学系） ； School of Interactive Computing, Georgia Tech（佐治亚理工学院交互计算学院） ； School of Psychology, Georgia Tech（佐治亚理工学院心理学学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究评估了四种生成模型在认知行为疗法场景中的表现，发现其在高严重性情况下治疗适当性显著下降，提出需通过多轴评估框架确保AI心理健康系统的安全性。

Comments 26 pages, 5 figures, 10 tables

Think Anywhere in Code Generation

在代码生成中任意思考

Xue Jiang, Tianyu Zhang, Ge Li, Mengyang Liu, Taozhi Chen, Zhenhua Xu, Binhua Li, Wenpin Jiao, Zhi Jin, Yongbin Li, Yihong Dong

机构 * School of Computer Science, Peking University（1 计算机科学系，北京大学） ； Tongyi Lab, Alibaba Group（2 龙洋实验室，阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出Think-Anywhere机制，使LLM在代码生成过程中可按需调用推理，通过冷启动训练和基于结果的强化学习奖励，实现适应性推理，提升代码生成性能和可解释性。

Reducing Detail Hallucinations in Long-Context Regulatory Understanding via Targeted Preference Optimization

通过定向偏好优化减少长上下文监管理解中的细节幻觉

Yang Liu, Bin Chong, Yuhan Lin, Chongyang Zhang, Hao Zheng, Ziyi Zhang, Jiayu Liang, Ran Ran, Qian Li, Kefu Xu

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出DetailDPO框架，通过定向偏好优化减少长上下文监管文档中的细节幻觉，实验显示在不同模型和上下文长度下，DetailDPO有效降低细节错误率，跨领域迁移表现良好。

Comments 16 pages, 4 figures

AeSlides: Incentivizing Aesthetic Layout in LLM-Based Slide Generation via Verifiable Rewards

AeSlides：通过可验证奖励激励基于大语言模型的幻灯片生成中的美观布局

Yiming Pan, Chengwei Hu, Xuancheng Huang, Can Huang, Mingming Zhao, Yuean Bi, Xiaohan Zhang, Aohan Zeng, Linmei Hu

机构 * Beijing Institute of Technology（北京理工大学） ； Zhipu AI (Z.ai)（智谱AI） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出AeSlides框架，通过可验证奖励优化幻灯片生成的美观布局，实验表明其在布局合规性、空格减少、元素碰撞和视觉平衡方面均优于现有方法。

Comments 21 pages, 25 figures, 9 tables

World-Env: Leveraging World Model as a Virtual Environment for VLA Post-Training

World-Env: 利用世界模型作为虚拟环境进行VLA后训练

Junjin Xiao, Yandan Yang, Xinyuan Chang, Ronghan Chen, Feng Xiong, Mu Xu, Wei-Shi Zheng, Qing Zhang

机构 * School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院） ； AMap, Alibaba Group（阿里巴巴集团高德地图） ； Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（教育部机器智能与先进计算重点实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)

AI总结 针对VLA模型在数据稀缺场景下的性能下降问题，提出World-Env框架，通过虚拟仿真器替代真实环境，提升安全性和效率，实现任务完成检测与持续奖励。

Reward Models Are Secretly Value Functions: Temporally Coherent Reward Modeling

奖励模型实际上是隐含的价值函数：时间一致的奖励建模

Alex Nikulkov

机构 * AI at Meta（Meta人工智能） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出时间一致的奖励建模方法，通过正则化项使奖励模型在任意token位置输出代表条件期望，提升token级奖励可解释性，并在ProcessBench上取得SOTA性能，同时优化PPO的资源利用。

Comments 27 pages, 14 figures

Building a Precise Video Language with Human-AI Oversight

构建具有人机监督的精确视频语言

Zhiqiu Lin, Chancharik Mitra, Siyuan Cen, Isaac Li, Yuhan Huang, Yu Tong Tiffany Ling, Hewei Wang, Irene Pi, Shihang Zhu, Ryan Rao, George Liu, Jiaxi Li, Ruojin Li, Yili Han, Yilun Du, Deva Ramanan

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CHAI框架，通过专家与AI协作提升视频描述精度，改进开源模型并实现专业级视频生成。

Comments CVPR 2026 Highlight. Project page: https://linzhiqiu.github.io/papers/chai/

Structural Enforcement of Goal Integrity in AI Agents via Separation-of-Powers Architecture

通过分权架构在AI代理中强制实施目标完整性

Rong Xiang

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；prompting(abstract)；分类 cs.AI

AI总结 本文提出分权架构PEA，通过分离意图生成、授权和执行层，强制保障系统安全，解决AI代理目标不一致问题，提出五个核心贡献。

When Policies Cannot Be Retrained: A Unified Closed-Form View of Post-Training Steering in Offline Reinforcement Learning

当政策无法再训练时：一种统一的闭式视图的离线强化学习后训练引导

Elias Hossain, Mohammad Jahid Ibna Basher, Ivan Garibay, Ozlem Garibay, Niloofar Yousefi

机构 * College of Engineering and Computer Science（工程与计算机科学学院） 纠错

专题命中 后训练与偏好优化 ：post-training(title)；分类 cs.AI、cs.LG

AI总结 研究探讨了在离线强化学习中，冻结的演员在部署时通过专家产品组合与目标条件先验进行适应，发现精度加权组合在退化或随机先验下仍能保持冻结演员的稳定性，而其他方法失效。同时揭示了在冻结演员设置下，PoE与KL正则化适应的闭式恒等式。

SEVerA: Verified Synthesis of Self-Evolving Agents

SEVerA: 验证合成自进化代理

Debangshu Banerjee, Changming Xu, Eugene Ie, Ming Zhang, Daiyi Peng, Chu-Cheng Lin, Gagandeep Singh

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google（谷歌） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 SEVerA通过引入形式化guarded生成模型，结合搜索、验证和学习三阶段框架，在程序验证、符号数学合成等任务中实现零约束违规，提升自进化代理的正确性和性能。

Comments First Formally Verified Self-Evolving LLM Agents

V-GRPO: Online Reinforcement Learning for Denoising Generative Models Is Easier than You Think

V-GRPO：去噪生成模型的在线强化学习比你想象的更容易

Bingda Tang, Yuhui Zhang, Xiaohan Wang, Jiayuan Mao, Ludwig Schmidt, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） ； Tsinghua University（清华大学） ； Amazon FAR（亚马逊FAR） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 后训练与偏好优化 ：pretraining(abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出V-GRPO方法，通过结合ELBO近似与GRPO算法，实现稳定高效的去噪生成模型在线强化学习，优于传统MDP方法，在文本到图像合成中取得最佳性能。

Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs

以自身声音对齐：用于减轻大型视觉-语言模型幻觉的自我纠正偏好学习

Byeonggeuk Lim, JungMin Yun, Junehyoung Kwon, Kyeonghyun Kim, YoungBin Kim

机构 * Graduate School of Advanced Imaging Sciences, Multimedia and Film（高级影像科学研究生院，多媒体与电影系） ； Department of Artificial Intelligence（人工智能系） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 本文提出AVES-DPO框架，通过内在知识生成分布数据，利用共识验证机制诊断幻觉并引导模型自我纠正，有效缓解LVLMs的幻觉问题，仅需5200样本即优于现有基线。

Comments Accepted to ACL 2026

Learning an Image Editing Model without Image Editing Pairs

无需图像编辑配对学习图像编辑模型

Nupur Kumari, Sheng-Yu Wang, Nanxuan Zhao, Yotam Nitzan, Yuheng Li, Krishna Kumar Singh, Richard Zhang, Eli Shechtman, Jun-Yan Zhu, Xun Huang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Adobe Research（Adobe研究） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.LG

AI总结 本文提出无需配对数据的图像编辑模型训练方法，通过扩散模型解卷积和视觉语言模型反馈实现端到端优化，同时结合分布匹配损失提升视觉真实性。

Comments project page: https://nupurkmr9.github.io/npedit/ ICLR 2026

Mobile-R1: Towards Interactive Capability for VLM-Based Mobile Agent via Systematic Training

Mobile-R1: 通过系统性训练提升基于视觉语言模型的移动代理的交互能力

Jihao Gu, Qihang Ai, Yingyao Wang, Pi Bu, Jingxuan Xing, Zekun Zhu, Wei Jiang, Ziming Wang, Yingxiu Zhao, Ming-Liang Zhang, Jun Song, Yuning Jiang, Bo Zheng

机构 * Future Living Lab, Alibaba Group（未来生活实验室，阿里巴巴集团） ； Alibaba Group Holding Limited（阿里巴巴集团控股有限公司） ； Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 本文提出Mobile-R1系统性训练方法，通过分层课程学习提升移动代理的探索与自我纠正能力，并构建中文移动数据集和基准测试。

Comments 19 pages, 15 figures

Learning to Credit the Right Steps: Objective-aware Process Optimization for Visual Generation

学习正确的步骤：面向视觉生成的客观感知过程优化

Rui Li, Ke Hao, Yuanzhi Liang, Haibin Huang, Chi Zhang, Yun Gu, XueLong Li

机构 * University of Science and Technology of China（科学技术大学） ； Shanghai Jiao Tong University（交通大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 本文提出OTCA框架，通过细粒度奖励分配提升视觉生成质量，解决传统GRPO在奖励分配上的不足。