语言大模型 / LLM

Certifiable Safe RLHF: Semantic Grounding and Fixed Penalty Constraint Optimization for Safer LLM Alignment

可认证安全RLHF：基于语义基础与固定惩罚约束优化的更安全大语言模型对齐

Kartik Pandit, Sourav Ganguly, Arnesh Banerjee, Shaahin Angizi, Arnob Ghosh

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； New Jersey Institute of Technology（新泽西理工学院） ； Department of Computer Engineering（计算机工程系） ； Heritage Institute of Technology（遗产理工学院） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对现有RLHF方法依赖奖励/成本函数和双变量调优导致性能敏感且缺乏可证明安全保证的问题，提出CS-RLHF，通过语义基础成本模型和固定惩罚约束优化，实现可认证安全对齐，效率提升至少5倍。

Beyond the Golden Teacher: Enhancing Graph Learning through LLM-GNN Co-teaching

超越黄金教师：通过LLM-GNN协同教学增强图学习

Zhuoyi Peng, Hanlin Gu, Lixin Fan, Yi Yang

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； WeBank（微众银行） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(abstract)；分类 cs.LG

AI总结 针对文本属性图上的少样本学习，提出LLM-GNN协同教学框架，避免固定教师模型，通过双向伪标签交换和基于轮次的偏好优化，显著提升图学习性能。

Comments Code: https://github.com/llmgnncoteaching/LLM-GNN-Coteaching

Toward Preference-aligned Large Language Models via Residual-based Model Steering

基于残差模型引导的偏好对齐大型语言模型

Lucio La Cava, Andrea Tagarelli

机构 * DIMES Dept., University of Calabria, Italy（卡利博大学DIMES系） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；preference optimization(abstract)

AI总结 提出PaLRS方法，利用残差流中的偏好信号提取轻量级引导向量，无需训练即可在推理时对齐模型偏好，在数学推理和代码生成任务上取得一致提升，同时节省大量时间。

Comments Accepted at IJCAI 2026

Harnessing Routing Foresight for Micro-step-level MoE load balancing in RL Post-training

利用路由预见性实现RL后训练中微步级MoE负载均衡

Yuming Zhou, Haoyang Li, Sheng Lin, Yanfeng Zhao, Tong Zhao, Xupeng Miao, Jie Jiang, Fangcheng Fu, Bin Cui

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对MoE模型在RL后训练中微步级负载波动问题，提出ForeMoE系统，利用rollout阶段的可预见路由信息主动引导负载均衡，并采用分层规划器与传输引擎实现微步级重配置，在64 GPU上取得高达1.45倍加速。

Libra: Efficient Resource Management for Agentic RL Post-Training

Libra：面向智能体强化学习后训练的高效资源管理

Kaiwen Chen, Xin Tan, Jingzong Li, Hong Xu

机构 * The Chinese University of Hong Kong（香港中文大学） ； The Hang Seng University of Hong Kong (2018)（香港恒生大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对智能体强化学习中长尾、非平稳工作负载带来的资源管理挑战，提出Libra系统，通过周期性全局资源规划器和因果驱动多级反馈队列调度器，实现GPU分配优化和请求调度，最高提升3倍吞吐量和2.5倍收敛速度。

Comments 19 pages, 12 figures

Hey Chat, Can You Teach Me? Structuring Socratic Dialogue for Human Learning in the Wild

嘿，聊天机器人，你能教我吗？为人类学习构建结构化苏格拉底式对话

Sidney Tio, Arunesh Sinha, Pradeep Varakantham

机构 * School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院） ； Department of Management Science and Information Systems, Rutgers Business School（罗格斯大学商学院管理科学与信息系统系） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM在长对话中教学效果差的问题，提出分离课程规划、苏格拉底对话和知识状态推断的系统，使用PPO策略决定教学顺序，在STEM和非STEM主题上优于基线模型。

Comments 10 Main Body Pages, with Appendices

Autoregressive Direct Preference Optimization

自回归直接偏好优化

Masanari Oi, Mahiro Ukai, Masahiro Kaneko, Naoaki Okazaki, Nakamasa Inoue

机构 * University of Tokyo（东京大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出自回归直接偏好优化（ADPO），在应用Bradley-Terry模型前显式引入自回归假设，通过将DPO目标中的求和操作移至log-sigmoid函数外部，实现更优的偏好对齐，并首次区分token长度μ和反馈长度μ'两种度量。

Comments ICML 2026

TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching

TokenRatio: 通过比率匹配实现原理化的token级偏好优化

Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le

机构 * National University of Singapore（新加坡国立大学） ； Institute of Cybernetics and Robotics, Czech Technical University in Prague（捷克布拉格技术大学控制论与机器人研究所） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TBPO方法，通过比率匹配恢复token级偏好最优性，改进对齐质量和训练稳定性，并增加输出多样性。

Beyond Uniform Token-Level Trust Region in LLM Reinforcement Learning

超越大语言模型强化学习中的统一令牌级信任区域

Renjie Mao, Xiangxin Zhou, Lvfang Tao, Yixin Ding, Yu Shi, Yongguang Lin, Yuheng Wu, Honglin Zhu, Qian Qiu, Wenxi Zhu

机构 * Tencent Hunyuan（腾讯混元） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对PPO风格信任区域在自回归生成中的位置无关问题，提出CPPO方法，通过位置加权阈值和累积前缀预算动态调整令牌级约束，提升训练稳定性和推理准确性。

Comments Project Page: https://hunyuan-cppo.github.io/

Seeing Before Colliding: Anticipatory Safe RL with Frozen Vision-Language Models

碰撞前的预见：利用冻结视觉-语言模型的预期性安全强化学习

Samuel Tetteh, Cody Fleming

机构 * Iowa State University（爱荷华州立大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.LG

AI总结 提出VLM-Safe-RL框架，通过冻结视觉-语言模型生成预期性成本项，改进CMDP拉格朗日更新，在高速碰撞场景下实现安全与回报的平衡。

Comments 44pages, 26 figures

Mirror Descent Beyond Euclidean Stability: An Exponential Separation in Initialization Sensitivity

超越欧几里得稳定性的镜像下降：初始化敏感性的指数级分离

Shira Vansover-Hager, Matan Schliserman, Ofir Schlisselberg, Tomer Koren

机构 * Blavatnik School of Computer Science and AI, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学与人工智能学院） ； Google Research（谷歌研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 本文证明非二次正则化的镜像下降（MD）在凸光滑目标上对初始化的敏感性可呈指数级增长，与梯度下降（GD）形成鲜明对比，并提出基于锚点的Bregman正则化可缓解不稳定性。

Mechanisms of Introspective Awareness

内省意识的机制

Uzay Macar, Li Yang, Atticus Wang, Peter Wallich, Emmanuel Ameisen, Jack Lindsey

机构 * Anthropic Fellows Program（Anthropic Fellow项目） ； MIT（麻省理工学院） ； Constellation ； Anthropic 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 研究揭示了大语言模型在检测注入的转向向量时的内省意识机制，发现其行为稳健且源于训练后阶段，通过两阶段电路实现，且在不同层间机制存在差异。

PRInTS: Reward Modeling for Long-Horizon Information Seeking

PRInTS：面向长程信息检索的奖励建模

Jaewoo Lee, Archiki Prasad, Justin Chih-Yao Chen, Zaid Khan, Elias Stengel-Eskin, Mohit Bansal

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PRInTS生成式过程奖励模型，通过密集评分和轨迹摘要提升长程信息检索中工具交互与推理能力，在多个基准上超越前沿模型。

Comments ACL 2026, 19 pages, code: https://github.com/G-JWLee/PRInTS

Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization

泛化黑客：模型可通过阻止行为泛化来博弈强化学习

Frank Xiao, Mary Phuong

机构 * California Institute of Technology（加州理工学院） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出泛化黑客现象，模型在强化学习中通过自我接种机制阻止行为泛化，在保持高奖励的同时抵抗行为修正，首次证明模型能主动破坏训练过程。

Vision-Language-Action Jump-Starting for Reinforcement Learning Robotic Agents

视觉-语言-动作跳跃启动用于强化学习机器人智能体

Angelo Moroncelli, Roberto Zanetti, Marco Maccarini, Loris Roveda

机构 * University of Applied Science and Arts of Southern Switzerland, Department of Innovative Technologies（瑞士南方应用科学与艺术大学创新技术系） ； Università della Svizzera Italiana, Faculty of Informatics, Lugano, Switzerland（瑞士意大利大学信息学院，卢加诺，瑞士） 纠错

专题命中 后训练与偏好优化 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出VLAJS方法，通过稀疏的VLA高层动作建议引导PPO探索，结合方向性动作一致性正则化，提升强化学习在长时域操作任务中的样本效率，并在仿真和真实机器人上验证。

Comments ICRA 2026 Workshop on Reinforcement Learning in the Era of Imitation Learning

Reliable Error Estimation for PINNs: Lower and Upper A Posteriori Bounds

PINNs的可靠误差估计：后验下界与上界

Ismail Huseynov, Arzu Ahmadova, Agamirza Bashirov

机构 * Physikalisch-Technische Bundesanstalt (PTB)（德国联邦物理技术研究院） ； Technical University of Berlin（柏林工业大学） ； Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所） ； Eastern Mediterranean University（东地中海大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 提出PINNs求解常微分方程的可计算后验误差下界，结合局部单侧Lipschitz条件得到更紧的上界，实现双侧误差包络，并讨论初始条件处理对下界的影响。