语言大模型 / LLM

Freshness-Aware Prioritized Experience Replay for LLM/VLM Reinforcement Learning

具有新鲜度意识的优先经验回放用于LLM/VLM强化学习

Weiyu Ma, Yongcheng Zeng, Yan Song, Xinyu Cui, Jian Zhao, Xuhui Liu, Mohamed Elhoseiny

机构 * King Abdullah University of Science and Technology（卡布尔大学科学与技术大学） ； Chinese Academy of Sciences, Institute of Automation（中国科学院自动化研究所） ； AI Centre, Department of Computer Science, University College London（伦敦大学学院人工智能中心） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究所） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出Freshness-Aware PER，通过引入指数衰减机制解决LLM/VLM强化学习中优先级过时问题，显著提升样本效率，在多个任务中取得优异表现。

Modeling Multi-Dimensional Cognitive States in Large Language Models under Cognitive Crowding

在认知拥挤下对大语言模型中的多维认知状态建模

Lin Zhong, Siyu Zhu, Zizhen Yuan, Jinhao Cui, Xinyang Zhao, Lingzhi Wang, Hao Chen, Qing Liao

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； City University of Macau（澳门城市大学） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出CognitiveBench基准，通过统一标注四个认知维度，发现LLM在多维建模中表现下降，提出HyCoLLM在双曲空间中建模，提升多维认知理解。

Comments Accepted at ACL 2026

Enhancing LLM-based Search Agents via Contribution Weighted Group Relative Policy Optimization

通过贡献加权群体相对策略优化增强基于LLM的搜索代理

Junzhe Wang, Zhiheng Xi, Yajie Yang, Hao Luo, Shihan Dou, Tao Gui, Qi Zhang

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理关键实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出CW-GRPO框架，通过整合过程监督与群体相对策略优化，提升搜索代理的信用分配效率，实验表明其在多个知识密集型基准上表现优异。

Comments Accepted to the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026), Main Conference

A Quasi-Experimental Developer Study of Security Training in LLM-Assisted Web Application Development

一个关于LLM辅助Web应用开发中安全培训的准实验开发者研究

Mohammed Kharma, Ahmed Sabbah, Radi Jarrar, Samer Zain, Mohammad Alkhanafseh, David Mohaisen

机构 * Department of Computer Science（计算机科学系） ； Birzeit University（巴里兹大学） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.LG

AI总结 本文通过准实验研究探讨了基于层的安全培训包是否能提升LLM辅助身份中心Java Spring Boot后端的安全质量，结果显示培训后安全缺陷显著减少。

Comments 8 pages, 3 figures, 6 tables

PARM: Pipeline-Adapted Reward Model

PARM：流水线适应的奖励模型

Xingyu Fan, Wei Shao, Jiacheng Liu, Linqi Song, Pheng Ann Heng

机构 * Graduate Student Member, IEEE（IEEE研究生会员） ； Member, IEEE（IEEE会员） ； Senior Member, IEEE（IEEE高级会员） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对多阶段LLM流水线中奖励指导不足的问题，提出PARM模型，通过整合奖励模型到 formulation 和 solution 阶段，提升代码生成质量与稳定性。

Efficient Federated RLHF via Zeroth-Order Policy Optimization

高效联邦RLHF via零阶策略优化

Deyi Wang, Qining Zhang, Lei Ying

机构 * University of Michigan（密歇根大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；分类 cs.LG

AI总结 本文提出一种高效联邦RLHF算法Par-S$^2$ZPO，通过零阶优化和二进制扰动降低通信、计算和内存复杂度，理论分析证明其在样本复杂度上与集中式方法相当，但策略更新迭代更快，在MuJoCo任务中表现更优。

One Adapts to Any: Meta Reward Modeling for Personalized LLM Alignment

一个适应任何：面向个性化大语言模型对齐的元奖励建模

Hongru Cai, Yongqi Li, Tiezheng Yu, Fengbin Zhu, Wenjie Wang, Fuli Feng, Wenjie Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出元奖励建模（MRM）方法，通过元学习框架优化奖励模型初始化，提升个性化对齐的效率与鲁棒性，实验表明其在少样本场景下表现优异。

Comments Accepted by SIGIR 2026

S2H-DPO: Hardness-Aware Preference Optimization for Vision-Language Models

S2H-DPO：面向视觉-语言模型的硬度感知偏好优化

Nitish Shukla, Surgan Jandial, Arun Ross

机构 * Michigan State University（密歇根州立大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；preference optimization(title)

AI总结 本文提出S2H-DPO框架，通过三级层次推理构建多图象偏好数据，提升多图象推理性能，同时保持单图象推理能力，推动视觉偏好对齐的前沿发展。

Journal ref Findings of the Association for Computational Linguistics: ACL 2026

Sampling for Quality: Training-Free Reward-Guided LLM Decoding via Sequential Monte Carlo

采样以保证质量：通过序列蒙特卡洛方法实现无训练奖励引导的大语言模型解码

Jelena Markovic-Voronov, Wenhui Zhu, Bo Long, Zhipeng Wang, Suyash Gupta, Kayhan Behdin, Bee-Chung Chen, Deepak Agarwal

机构 * LinkedIn 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种基于概率框架的奖励引导解码方法，通过结合模型转移概率和前缀依赖的奖励势能，改进传统解码方法的序列级质量优化。实验表明，该方法在代码生成和数学推理任务中显著提升性能。

FUSE: Ensembling Verifiers with Zero Labeled Data

FUSE：无需标注数据的验证器集成

Joonhyuk Lee, Virginia Ma, Sarah Zhao, Yash Nair, Asher Spector, Regev Cohen, Emmanuel J. Candès

机构 * Stanford University（斯坦福大学） ； Google（谷歌） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 FUSE通过无监督集成验证器提升大语言模型输出验证质量，无需标注数据，在多种生成模型和基准测试中表现优异。

PaTaRM: Bridging Pairwise and Pointwise Signals via Preference-Aware Task-Adaptive Reward Modeling

PaTaRM：通过偏好感知任务自适应奖励模型弥合成对和点状信号

Ai Jian, Jingqing Ruan, Xing Ma, Xiaoyun Zhang, Dailin Li, Weipeng Zhang, Ke Zeng, Xunliang Cai

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Meituan（美团） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 PaTaRM通过偏好感知奖励机制实现成对和点状信号的弥合，无需显式评分标签，提升奖励模型的鲁棒性和任务适应性，实验显示在多个基准测试中表现优异。

Comments ACL Main

ReflectRM: Boosting Generative Reward Models via Self-Reflection within a Unified Judgment Framework

ReflectRM: 通过统一判断框架内的自我反思提升生成奖励模型

Kai Qin, Liangxin Liu, Yu Liang, Longzheng Wang, Yan Wang, Yueyang Zhang, Long Xia, Zhiyuan Sun, Houde Liu, Daiting Shi

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Baidu Inc.（百度公司） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ReflectRM通过自我反思评估分析质量，提升偏好建模，实验表明其在四个基准测试中平均准确率提升3.7%，并有效缓解位置偏差。

Comments Preprint

From $\log π$ to $π$: Taming Divergence in Soft Clipping via Bilateral Decoupled Decay of Probability Gradient Weight

从log π到π：通过双侧解耦衰减概率梯度权重来驯服发散

Xiaoliang Fu, Jiaye Lin, Yangyi Fang, Chaowen Hu, Cong Qin, Zekai Shao, Binbin Zheng, Lu Pan, Ke Zeng

机构 * Meituan（美团） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DGPO方法，通过解耦衰减机制解决RLVR中概率梯度发散问题，提升大语言模型的推理能力。

ATLAS: Constitution-Conditioned Latent Geometry and Redistribution Across Language Models and Neural Perturbation Data

ATLAS：宪法条件下的潜在几何与语言模型及神经扰动数据的再分配

Gareth Seneque, Lap-Hang Ho, Nafise Erfanian Saeedi, Jeffrey Molendijk, Tim Elson

机构 * Australian Broadcasting Corporation（澳大利亚广播公司） 纠错

专题命中 后训练与偏好优化 ：language model(title)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ATLAS通过分析模型学习的表示几何结构，揭示了宪法条件下的潜在几何再分配机制，展示了在不同模型和子系统中几何结构的稳定性与可恢复性。

Comments 49 pages, 7 figures

GanitLLM: Difficulty-Aware Bengali Mathematical Reasoning through Curriculum-GRPO

GanitLLM：通过课程-GRPO实现难度感知的孟加拉数学推理

Shubhashis Roy Dipta, Khairul Mahbub, Nadia Najjar

机构 * University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出GanitLLM模型及新的难度感知孟加拉数学语料库和基于课程的GRPO流程，提升低资源环境下孟加拉数学推理能力。

Comments Accepted at ACL 2026 (Findings)

Train Separately, Merge Together: Modular Post-Training with Mixture-of-Experts

分开训练，合并一起：模块化后训练与专家混合

Jacob Morrison, Sanjay Adhikesaven, Akshita Bhagia, Matei Zaharia, Noah A. Smith, Sewon Min

机构 * University of Washington（华盛顿大学） ； University of California, Berkeley（加州大学伯克利分校） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 后训练与偏好优化 ：post-training(title)；language model(abstract)；分类 cs.LG

AI总结 本文提出BAR方法，通过独立训练领域专家并采用专家混合架构实现高效更新，避免了传统重训练的高成本和性能下降问题，实验显示其在多个领域任务中表现优异。

Comments 9 content pages, 23 pages overall, 3 figures

ConsistRM: Improving Generative Reward Models via Consistency-Aware Self-Training

ConsistRM：通过一致性感知自训练改进生成奖励模型

Yu Liang, Liangxin Liu, Longzheng Wang, Yan Wang, Yueyang Zhang, Long Xia, Zhiyuan Sun, Daiting Shi

机构 * Baidu Inc.（百度公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ConsistRM框架，通过一致性感知答案奖励和批评奖励提升生成奖励模型的稳定性与一致性，实验表明其在五个基准数据集上优于传统强化微调方法。

Comments Published as a Main conference paper at the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

Demystifying the unreasonable effectiveness of online alignment methods

解开在线对齐方法无理有效性的谜团

Enoch Hyunwook Kang

机构 * Foster School of Business University of Washington（华盛顿大学福斯特商学院） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文指出传统温度零后悔准则下，贪心在线对齐方法能实现常数累积后悔，揭示其实际高效性背后的理论原因。

Reverse Constitutional AI: A Framework for Controllable Toxic Data Generation via Probability-Clamped RLAIF

反宪法AI：通过概率限制RLAIF实现可控有毒数据生成的框架

Yuan Fang, Yiming Luo, Aimin Zhou, Fei Tan

机构 * East China Normal University（东华大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出反宪法AI框架，通过概率限制RLAIF生成可控的高质有毒数据，提升安全评估。

Comments Accepted to Findings of ACL 2026. 10 pages, 6 figures. Code and data available at https://github.com/ZeroLoss-Lab/R-CAI

Robust Tool Use via Fission-GRPO: Learning to Recover from Execution Errors

通过Fission-GRPO实现鲁棒的工具使用：学习从执行错误中恢复

Zhiwei Zhang, Fei Zhao, Rui Wang, Zezhong Wang, Bin Liang, Jiakang Wang, Yao Hu, Shaosheng Cao, Kam-Fai Wong

机构 * The Chinese University of Hong Kong（香港中文大学） ； Xiaohongshu Inc.（小红书公司） ； MoE Key Laboratory of High Confidence Software Technologies（可信软件技术国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Fission-GRPO框架，通过将执行错误转化为在线纠正监督，提升模型在多轮执行中的错误恢复能力，实验显示其在BFCL v4 Multi-Turn上提升了Qwen3-8B的错误恢复率和整体准确率。

Comments 9 pages, 4 figures, 4 tables. Accepted to ACL 2026 Main Conference

Culture-Aware Humorous Captioning: Multimodal Humor Generation across Cultural Contexts

具有文化意识的幽默标题生成：跨文化多模态幽默生成

Run Xu, Lu Li, Rongzhao Zhang, Jie Xu

机构 * Nanyang Technological University（南洋理工大学） ； Tongji University（同济大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一种多模态幽默生成任务，通过文化意识标题生成模型在不同文化背景下生成幽默标题，改进了文化背景下的图像相关性、语境适配性和幽默质量。

SELF-EMO: Emotional Self-Evolution from Recognition to Consistent Expression

SELF-EMO：从识别到一致表达的情感自我进化

Shaowei Zhang, Faqiang Qian, Yan Chen, Ziliang Wang, Kang An, Yong Dai, Mengya Gao, Yichao Wu

机构 * SenseTime ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； X-Humanoid 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SELF-EMO通过引入情感理解和表达辅助任务，结合角色自博弈机制和数据飞轮机制，实现情感识别与表达的自我进化，实验表明其在多个数据集上均取得最优性能。

GeometryZero: Advancing Geometry Solving via Group Contrastive Policy Optimization

GeometryZero：通过群体对比策略优化推进几何求解

Yikun Wang, Yibin Wang, Dianyi Wang, Zimian Peng, Qipeng Guo, Dacheng Tao, Jiaqi Wang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Zhejiang University（浙江大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出GeometryZero，通过群体对比策略优化训练小型模型，实现高效的几何推理，实验表明其在Geometry3K和MathVista上优于RL基线方法。

RS-HyRe-R1: A Hybrid Reward Mechanism to Overcome Perceptual Inertia for Remote Sensing Images Understanding

RS-HyRe-R1: 一种混合奖励机制以克服遥感图像理解中的感知惯性

Gaozhi Zhou, Hu He, Peng Shen, Jipeng Zhang, Liujue Zhang, Linrui Xu, Zeyuan Wang, Ziyu Li, Xuezhi Cui, Wang Guo, Haifeng Li

机构 * School of Mechanical and Electrical Engineering, Central South University（中南大学机械与电气工程学院） ； School of Geosciences and Info-Physics, Central South University（中南大学地球科学与信息物理学院） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出RS-HyRe-R1混合奖励机制，旨在克服遥感图像理解中的感知惯性问题，通过引入空间推理激活奖励、感知正确性奖励和视觉-语义路径演化奖励，提升模型的全面视觉证据挖掘能力，实验显示其在多个任务上表现优异。

Deep-Reporter: Deep Research for Grounded Multimodal Long-Form Generation

Deep-Reporter：基于多模态长形式生成的深度研究

Fangda Ye, Zhifei Xie, Yuxin Hu, Yihang Yin, Shurui Huang, Shikai Dong, Jianzhu Bao, Shuicheng Yan

机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； University of Edinburgh（爱丁堡大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Deep-Reporter框架，通过多模态搜索、检查清单引导合成和上下文管理，解决多模态长形式生成中的整合与选择难题，通过8K高质量数据集和M2LongBench测试集验证其有效性。

Comments 41 pages, 6 figures, 8 tables. Code available at https://github.com/fangda-ye/Deep-Report. v2: corrected typos and updated experimental results

Step-GRPO: Internalizing Dynamic Early Exit for Efficient Reasoning

Step-GRPO：内化动态早期退出以实现高效推理

Benteng Chen, Weida Wang, Shufei Zhang, Mingbao Lin, Min Zhang

机构 * East China Normal University（东华大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Rakuten Singapore（乐天新加坡） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 Step-GRPO通过内化动态早期退出机制，优化推理过程，提升效率与准确性，在不同模型规模上实现更优的准确率与效率平衡。

Comments This paper has been accepted for publication at the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

A convergent scheme for the Bayesian filtering problem based on the Fokker--Planck equation and deep splitting

基于福克-平面方程和深度分裂的贝叶斯滤波问题收敛方案

Kasper Bågmark, Adam Andersson, Stig Larsson, Filip Rydin

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 本文提出了一种近似非线性滤波密度的数值方案，并在理论和数值例子中建立了其收敛速率。通过深度分裂方案近似福克-平面方程，结合贝叶斯公式进行精确更新，实现在线滤波算法。采用基于采样的费曼-卡茨方法以缓解维度灾难。

Comments 22 pages, 3 figures