语言大模型 / LLM

Inference Cost Attacks for Retrieval-Augmented Large Language Models

检索增强型大语言模型的推理成本攻击

Chengliang Liu, Liangbo Ning, Yujuan Ding, Wenqi Fan

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI

AI总结 提出RA-ICA攻击范式，通过向外部知识库注入恶意文档，利用CREEP框架和MA-GRPO算法，使RAG增强的LLM系统推理时token消耗增加高达13.12倍且成功率超过90%。

Comments Accepted at The ACM Web Conference 2026 (WWW '26)

Journal ref Proceedings of the ACM Web Conference 2026 (WWW '26), April 13-17, 2026, Dubai, United Arab Emirates

Letting Tutor Personas Speak Up for LLMs: Learning Steering Vectors from Dialogue via Preference Optimization

让导师角色为LLMs发声：通过偏好优化从对话中学习引导向量

Jaewook Lee, Alexander Scarlatos, Simon Woodhead, Andrew Lan

机构 * University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Eedi 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出使用偏好优化训练引导向量，从人类导师-学生对话中提取导师角色信息，以控制大语言模型的行为，实现多样化的教学风格。

Comments Accepted to ACL 2026 BEA Workshop

Enhancing Paraphrase Type Generation: The Impact of DPO and RLHF Evaluated with Human-Ranked Data

增强释义类型生成：基于人工排序数据的DPO和RLHF评估影响

Christopher Lee Lübbers

机构 * University of Göttingen（哥廷根大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 本研究利用人工排序的释义类型数据集，结合直接偏好优化（DPO）使模型输出与人类判断对齐，将释义类型生成准确率提升3个百分点，人类偏好评分提升7个百分点，并创建了新的标注数据集以支持更严格的评估。

Comments 21 pages, 11 figures. Master's thesis, University of Goettingen, December 2024. Code: https://github.com/cluebbers/dpo-rlhf-paraphrase-types. Models: https://huggingface.co/collections/cluebbers/enhancing-paraphrase-type-generation-673ca8d75dfe2ce962a48ac0

PR2: Predictive Routing Replay for MoE-Based LLM Reinforcement Learning

PR2: 基于MoE的大语言模型强化学习中的预测性路由重放

Daize Dong, Junlin Chen, Haolong Jia, Jiang Liu, Jiawei Wu, Huanwei Di, Jialian Wu, Zhengzhong Liu, Zicheng Liu, Emad Barsoum, Dimitris N. Metaxas, Hongyi Wang

机构 * Rutgers University（罗格斯大学） ； AMD ； MBZUAI 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对MoE大语言模型强化学习中路由器漂移导致的不稳定性问题，提出预测性路由重放方法，通过轻量级演化预测器减少路由不匹配，提升训练稳定性和性能。

Plan-R1: Safe and Feasible Trajectory Planning as Language Modeling

Plan-R1：安全且可行的轨迹规划作为语言建模

Xiaolong Tang, Meina Kan, Shiguang Shan, Xilin Chen

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)

AI总结 提出Plan-R1两阶段轨迹规划框架，通过原则对齐与行为学习解耦，结合规则奖励和方差解耦GRPO，显著提升自动驾驶规划的安全性和可行性。

Comments Accepted by ICLR2026

FSA-GRPO: Teaching Auditory LLMs to Use Few-shot Demonstrations

FSA-GRPO：训练听觉大语言模型使用少样本示例

Haolong Zheng, Siyin Wang, Xulin Fan, Zengrui Jin, Mark Hasegawa-Johnson

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；prompting(abstract)

AI总结 提出基于强化学习的后训练方法FSA-GRPO，通过专门设计的奖励机制鼓励模型利用少样本示例，增强其少样本适应能力，在儿童语音识别、语音翻译和音频理解等任务上取得提升。

ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents

ARBOR: 通过可复用评分标准缓冲区的在线过程奖励用于搜索智能体

Zheng Liu, Longxiang Zhang, Xintong Wang, Zhiang Xu, Shaoxiong Zhan, Xin Shan, Wen Huang, Tao Dai, Shu-Tao Xia, Chengfu Huo, Liang Ding

机构 * Tsinghua University（清华大学） ； Alibaba Group（阿里巴巴集团） ； Peking University（北京大学） ； Shenzhen University（深圳大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 针对基于LLM的搜索智能体训练中结果奖励缺乏过程监督的问题，提出ARBOR框架，通过维护跨查询共享的评分标准记忆库，利用对比轨迹生成局部草案并整合为通用评分标准，以稀疏成对判断提供过程级梯度，在四个多跳QA基准上优于GRPO和DAPO基线。

HARVE: Hacking-Aware Reward-Head Vector Editing for Robust Reward Models

HARVE：面向鲁棒奖励模型的感知黑客奖励头向量编辑

Shuang Liu, Yuxuan Bo, Qiuyang Zhao, Caiyue Huang, Xiaorong Chen, Yanguang Liu, Mengnan Du

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Virginia（弗吉尼亚大学） ； Harvard University（哈佛大学） ； Stanford University（斯坦福大学） ； University of Michigan（密歇根大学） ； New Jersey Institute of Technology（新泽西理工学院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对奖励模型易受奖励黑客攻击的问题，提出无需训练的奖励头编辑方法HARVE，通过移除与黑客相关子空间对齐的奖励头向量分量，提升鲁棒性并保持通用能力。

Ranking Free RAG: Replacing Re-ranking with Selection in RAG for Sensitive Domains

无排序RAG：用选择替代重排序以应用于敏感领域

Yash Saxena, Ankur Padia, Mandar S Chaudhary, Kalpa Gunaratna, Srinivasan Parthasarathy, Manas Gaur

机构 * University of Washington（华盛顿大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出METEORA框架，通过DPO微调LLM生成检索理由、统计肘部检测自适应截断和验证器过滤，在敏感领域实现可解释、高效且鲁棒的证据选择，无需重排序。

Comments ICML 2026

TextAlign: Preference Alignment for Text Rendering with Hierarchical Rewards

TextAlign: 基于层次化奖励的文本渲染偏好对齐

Mingxuan Cui, Jingpu Yang, Fengxian Ji, Qian Jiang, Zhecheng Shi, Jiaming Wang, Zirui Song, Fajri Koto, Xiuying Chen

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·穆萨大学人工智能学院） ； Chinese Academy of Sciences Institute of Automation（中国科学院自动化研究所） ； Northeastern University（东北大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；foundation model(abstract)；post-training(abstract)；preference optimization(abstract)

AI总结 提出TextAlign框架，通过层次化视觉语言模型奖励将文本渲染错误分解为全局、单词和字形级别，并转化为标量偏好信号，利用GRPO或DPO进行后训练对齐，在不改变生成器架构下提升文本渲染准确性。

PaddleOCR-VL-1.6: Expanding the Frontier of Document Parsing with Under-Optimized Region Refinement and Progressive Post-Training

PaddleOCR-VL-1.6：通过欠优化区域精炼和渐进式后训练扩展文档解析前沿

Zelun Zhang, Hongen Liu, Suyin Liang, Yubo Zhang, Yiqing Xiang, Jiaxuan Liu, Ting Sun, Manhui Lin, Yue Zhang, Changda Zhou, Tingquan Gao, Cheng Cui, Yi Liu, Dianhai Yu, Yanjun Ma

机构 * PaddlePaddle Team, Baidu Inc.（百度公司PaddlePaddle团队） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 提出PaddleOCR-VL-1.6，通过区域感知数据优化框架识别并增强前代模型的薄弱区域，结合渐进式后训练策略，在OmniDocBench v1.6上达到96.33%的新SOTA。

Alignment-Aware Decoding

对齐感知解码

Frédéric Berdoz, Luca A. Lanzendörfer, René Caky, Roger Wattenhofer

机构 * EPFL, Switzerland（瑞士联邦理工学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 提出一种推理时增强模型对齐的方法——对齐感知解码（AAD），可解释为隐式奖励优化，无需额外训练，在多种基准和模型规模上优于强基线，并能生成合成数据改善数据受限场景下的对齐。

Comments Accepted at ICML 2026

Mitigating False Credit Propagation: Probabilistic Graphical Reward Aggregation for Rubric-Based Reinforcement Learning

缓解虚假信用传播：基于概率图奖励聚合的准则强化学习

Can Lv, Mingju Chen, Heng Chang, Shiji Zhou

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京未来区块链与隐私计算先进创新中心，人工智能学院，北京航空航天大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 针对准则奖励中因忽略准则间依赖关系导致的虚假信用传播问题，提出概率图框架Graphical Event Aggregation for Rubric rewards (GEAR)，通过建模潜在伯努利事件和软抑制传播实现依赖感知的奖励聚合，在多个基准上提升性能并减少信用泄漏。

Learning to Solve, Forgetting to Retain: Correct-Set Turnover in RLVR

学会解决，忘记保留：RLVR中的正确集更替

Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Peng Fu, Zheng Lin

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； JD.COM（京东） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对强化学习可验证奖励（RLVR）中模型遗忘已解决问题的问题，提出正确集更替现象和修复窗口原则，并设计保留感知的回顾机制\method{}，通过零额外开销的预部署批量替换提升多模态任务性能。

Follow-Your-Preference++: Rethinking Preference Alignment for Image Inpainting

Follow-Your-Preference++：重新思考图像修复中的偏好对齐

Junkun Yuan, Yutao Shen, Toru Aonishi, Hideki Nakayama, Yue Ma

机构 * Zhejiang University（浙江大学） ； The University of Tokyo（东京大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；preference optimization(abstract)

AI总结 本文从基本原理出发，通过直接偏好优化框架和公开奖励模型构建偏好数据，系统研究了图像修复中的偏好对齐问题，发现奖励模型存在偏差但可通过集成缓解，并在标准指标、大视觉语言模型评估和人类评估上显著超越先前最先进模型。

Comments 23 pages, 14 figures. arXiv admin note: substantial text overlap with arXiv:2509.23082

Physical Plausibility Reasoning via HCM-GRPO: Empowering Compact Model for Superior Performance

通过 HCM-GRPO 实现物理合理性推理：赋能紧凑模型以获得卓越性能

Zhiyuan Hu, Zheng Sun, Yi Wei, Long Yu

机构 * Tsinghua University（清华大学） ； Alibaba Health Information Technology Limited（阿里巴巴健康信息技术有限公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)

AI总结 针对多模态大语言模型在物理合理性推理中数据缺乏和推理能力弱的问题，提出包含大规模数据集和 HCM-GRPO 方法的完整解决方案，以紧凑模型超越大规模开源和闭源模型。

What Makes Interaction Trajectories Effective for Training Terminal Agents?

什么使得交互轨迹对训练终端代理有效？

Sidi Yang, Chaofan Tao, Jierun Chen, Tiezheng Yu, Ruoyu Wang, Yuxin Jiang, Yiming Du, Wendong Xu, Jing Xiong, Taiqiang Wu, Lifeng Shang, Xiaohui Li, Ngai Wong, Haoli Bai

机构 * The University of Hong Kong（香港大学） ； Huawei Technologies（华为技术有限公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文通过Terminal-Lego流水线研究交互轨迹的教学效能，发现低分代理（DeepSeek-V3.2）的轨迹比高分代理（Claude Opus 4.6）更能提升学生泛化能力，归因于环境接地监督（EGS），并展示了极佳的数据效率。

FGRPO: Federated GRPO with Adaptive Aggregation on Non-IID Data

FGRPO：非独立同分布数据上具有自适应聚合的联邦GRPO

Pengyu Chen, Shaowei Li, Kai Wang, Yunsheng Yuan, Kai Han, Jun Luo, Feng Li

机构 * School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） ； School of Mathematical Science, Peking University（北京大学数学科学学院） ； School of Computer Science and Artificial Intelligence, Shanghai University of Finance and Economics（上海财经大学计算机科学与人工智能学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.LG

AI总结 提出联邦GRPO（FGRPO）框架，通过基于相对性能增益的自适应聚合机制，在非独立同分布数据上实现去中心化推理模型微调，兼顾数据隐私与鲁棒收敛。

Phantom Transfer: Data Poisoning can Survive Data-Level Defences

幻影转移：数据投毒可存活于数据级防御

Andrew Draganov, Tolga H. Dur, Anandmayi Bhongade, Mary Phuong

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 提出一种名为“幻影转移”的数据投毒攻击，即使知道毒药如何被放入良性数据集也无法过滤，该攻击通过修改阈下学习以适应现实场景，并在多种数据级防御下存活。

GeoAlign: Beyond Semantics with State-Guided Spatial Alignment in VLA Models

GeoAlign: VLA模型中的状态引导空间对齐超越语义

Yizhi Chen, Zhanxiang Cao, Xinyi Peng, Yixiao Zheng, Xiaxi Si, Yiheng Li, Liyun Yan, Keqi Zhu, Xueyun Chen, Shengcheng Fu, Tianyue Zhan, Yufei Jia, Jinming Yao, Yan Xie, Kun Wang, Cewu Lu, Yue Gao

机构 * Tongji University（同济大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； Jingdezhen Ceramic University（景德镇陶瓷大学） ； Tsinghua University（清华大学） ； HONOR（HONOR公司） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 提出GeoAlign架构，通过RGB几何分支的后训练和机器人本体状态引导的几何特征查询，实现几何感知的空间对齐和动态可供性选择，在多个基准上取得高性能。

Comments 20 pages, 9 figures, 8 tables, including appendix

CREward: A Type-Specific Creativity Reward Model

CREward：一种类型特定的创造力奖励模型

Jiyeon Han, Ali Mahdavi-Amiri, Hao Zhang, Haedong Jeong

机构 * Simon Fraser University（西蒙弗雷泽大学） ； Sogang University（首尔大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)

AI总结 提出首个类型特定的创造力奖励模型CREward，通过几何、材质和纹理三个轴评估创造力，并应用于创造力评估、可解释创造力及创意样本获取。

Comments Accepted to CVPR 2026