大模型对齐与安全

Entropy-Aware On-Policy Distillation of Language Models

熵感知的在线策略蒸馏语言模型

Woogyeol Jin, Taywon Min, Yongjin Yang, Dennis Wei, Yi Zhou, Swanand Ravindra Kadhe, Nathalie Baracaldo, Kimin Lee

机构 * IBM Research, San Jose, CA, USA（IBM研究院，旧金山，加州，美国） ； University of Toronto, Ontario, Canada（多伦多大学，安大略，加拿大） ； Vector Institute, Ontario, Canada（向量研究所，安大略，加拿大） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 针对在线策略蒸馏中反向KL导致生成多样性下降和教师高熵时学习信号不稳定的问题，提出熵感知的在线策略蒸馏方法，通过在高熵时引入前向KL平衡模式寻求与模式覆盖，提升了生成多样性和学生-教师对齐度。

Comments 18 pages, 11 figures, ICML 2026

DRA-GRPO: Your GRPO Needs to Know Diverse Reasoning Paths for Mathematical Reasoning

DRA-GRPO：你的GRPO需要了解多样化的推理路径以进行数学推理

Xiwen Chen, Wenhui Zhu, Peijie Qiu, Xuanzhao Dong, Hao Wang, Haiyu Wu, Huayu Li, Aristeidis Sotiras, Yalin Wang, Abolfazl Razi

机构 * Morgan Stanley（摩根士丹利） ； Clemson University（克莱姆森大学） ； Arizona State University（亚利桑那州立大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； University of Notre Dame（圣母大学） ； University of Arizona（亚利桑那大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 针对GRPO在数学推理中因奖励信号非单射导致策略坍塌的问题，提出基于子模互信息的多样性感知奖励调整框架DRA，通过逆倾向评分去偏梯度估计，在五个数学基准上以少量数据和成本取得平均58.2%的准确率。

Comments ACL2026

ASRU: Activation Steering Meets Reinforcement Unlearning for Multimodal Large Language Models

ASRU：激活引导与强化遗忘融合用于多模态大语言模型

Jiahui Guang, Haiyan Wang, Yingjie Zhu, Cuiyun Gao, Jing Li, Di Shao, Zhaoquan Gu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 ASRU提出一种可控多模态遗忘框架，通过激活引导和强化学习提升多模态大语言模型的遗忘效果和生成质量，实验显示在Qwen3-VL上遗忘效果提升24.6%，生成质量提升5.8倍。

Sound and Complete Neurosymbolic Reasoning with LLM-Grounded Interpretations

基于LLM解释的完备且可靠的神经常识推理

Bradley P. Allen, Prateek Chhikara, Thomas Macaulay Ferguson, Filip Ilievski, Paul Groth

机构 * University of Amsterdam（阿姆斯特丹大学） ； University of Southern California（南加州大学） ； Rensselaer Polytechnic Institute（拉特格斯理工学院） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出将LLM直接集成到次协调逻辑的语义解释函数中，实现可靠且完备的神经常识推理，在GPQA和SimpleQA基准上宏F1提升约6个百分点，并成功检测药物安全知识库中的矛盾。

Comments 43 pages, 14 tables, 4 figures. Accepted to the 19th Conference on Neurosymbolic Learning and Reasoning (NeSy 2025); to appear Neurosymbolic Artifical Intelligence Special Issue on NeSy 2025 Extended Papers

Scenario Generation for Risk-Aware Reinforcement Learning with Probably Approximately Safe Guarantees

面向风险感知强化学习的情景生成与近似安全保证

Mohit Prashant, Arvind Easwaran

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对强化学习策略对转移扰动敏感导致不安全行为的问题，提出使用变分自编码器近似状态空间分布，通过构造上下界屏障证书并采样非鲁棒区域状态来收紧概率安全保证。

Comments 8 pages, preprint

Agentic Physical AI toward a Domain-Specific Foundation Model for Energy Systems: A Case Study on Nuclear Reactor Control

面向能源系统的领域特定基础模型的具身物理人工智能：以核反应堆控制为例

Yoon Pyo Lee, Samrendra Roy, Kazuma Kobayashi, Sajedul Talukder, Diab Abueidda, Seid Koric, Souvik Chakraborty, Syed Bahauddin Alam

机构 * The Grainger College of Engineering, Nuclear, Plasma & Radiological Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校格雷格学院工程学院、核等工程学院） ； Department of Nuclear Engineering, Hanyang University（汉阳大学核工程系） ； University of Texas - El Paso（德克萨斯大学埃尔帕索分校） ； National Center for Supercomputing Applications（国家超级计算应用中心） ； Department of Applied Mechanics, Indian Institute of Technology Delhi（印度德里理工学院应用力学系） ； Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi（印度德里理工学院亚里人工智能学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出通过紧凑语言模型作为具身物理人工智能，利用基于物理模拟器验证的策略优化替代感知推理，在核反应堆控制任务中实现领域特定基础模型，并展示了规模扩展带来的可靠性提升和策略集中化行为。

Comments Accepted for publication in npj Artificial Intelligence

InvEvolve: Evolving White-Box Inventory Policies via Large Language Models with Performance Guarantees

InvEvolve：通过具有性能保证的大语言模型进化白盒库存策略

Chenyu Huang, Jianghao Lin, Zhengyang Tang, Bo Jiang, Ruoqing Jiang, Benyou Wang, Lai Wei

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） ； Boston College（波士顿大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出InvEvolve框架，利用强化学习训练的大语言模型，结合置信区间认证，在线生成具有统计安全保证的白盒库存策略，在合成和真实零售数据上优于经典和深度学习方法。

Step-Wise Refusal Dynamics in Autoregressive and Diffusion Language Models

自回归与扩散语言模型中的逐步拒绝动态

Eliron Rahimi, Elad Hirshel, Rom Himelstein, Amit LeVi, Avi Mendelson, Chaim Baskin

机构 * Department of Computer Science, Technion – Israel Institute of Technology（技术学院计算机科学系，以色列技术学院） ； INSIGHT Lab, School of Electrical and Computer Engineering, Ben-Gurion University of the Negev, Israel（内斯坦实验室，贝内-加隆大学内加尔分校，以色列） ； Computer Science Department, University of Haifa, Haifa, Israel（海法大学计算机科学系，海法，以色列） 纠错

专题命中 安全训练 ：jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 研究扩散语言模型（DLM）与自回归（AR）模型在拒绝有害生成行为上的差异，发现扩散重掩码机制可促进恢复，提出逐步拒绝内部动态（SRI）信号，并基于此构建无需修改推理的越狱检测器。

Comments Preprint

Robust Driving Control for Autonomous Vehicles: An Intelligent General-sum Constrained Adversarial Reinforcement Learning Approach

自动驾驶鲁棒控制：一种智能一般和约束对抗强化学习方法

Junchao Fan, Qi Wei, Ruichen Zhang, Yang Lu, Jianhua Wang, Xiaolin Chang, Bo Ai

机构 * Beijing Key Laboratory of Security and Privacy in Intelligent Transportation（北京智能交通安全与隐私重点实验室） ； Beijing Jiaotong University（北京交通大学） ； College of Computing and Data Science（计算与数据科学学院） ； Nanyang Technological University（南洋理工大学） ； School of Computer Science and Technology（计算机科学与技术学院） ； Taiyuan University of Technology（太原科技大学） ； School of Electronics and Information Engineering（电子与信息工程学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对深度强化学习在自动驾驶中易受对抗攻击的问题，提出智能一般和约束对抗强化学习（IGCARL），通过战略性目标对手和鲁棒驾驶代理的交互训练，在约束优化下提升策略稳定性，实验表明成功率比现有方法提高至少27.9%。

Falsifiable Release Gates for Self-Improving Systems: Standing Invariants at Scale

用于自我改进系统的可证伪发布门限

Deepak Soni

机构 * AI Architect（人工智能架构师） 纠错

专题命中 安全训练 ：safety(abstract,comments)；分类 cs.AI

AI总结 研究自我改进系统安全声明，提出可证伪发布门限及构建验证方法，在Antahkarana运行时应用，经机器检查确保安全，发布验收结果，明确范围，使结果可重现、门限可在其他框架运行。

Comments 23 pages, 14 figures. Major revision merging the follow-up "Standing Invariants at Scale" into this paper per arXiv moderation: the machine-checked action-safety core preserved across six further releases, six new invariant families with teeth, and real-hardware self-improvement; suite grown from 122 to 563 tests. Software, gate suite, run artifacts, and TLA+ spec are open source

ChainCaps: Composition-Safe Tool-Using Agents via Monotonic Capability Attenuation

ChainCaps: 通过单调能力衰减实现组合安全的工具使用智能体

Xiaochong Jiang, Shiqi Yang, Ziwei Li, Lifei Liu, Haoran Yu, Yichen Liu

机构 * Independent Researcher, Seattle, WA, USA（华盛顿州塞勒姆独立研究员） ； Independent Researcher, New York City, NY, USA（纽约市纽约独立研究员） ； King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹科学技术大学） 纠错

专题命中 安全训练 ：safety(abstract,comments)；分类 cs.AI

AI总结 针对工具组合中的权限洗钱漏洞，提出ChainCaps机制，通过运行时能力预算交集传播规则，在不修改智能体或工具服务器的情况下，将攻击成功率从25-68%降至0-4.8%，同时保持96-100%的良性任务完成率。

Comments Published at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD) at ICML 2026

When Gradient Importance Lies: Adaptive LoRA Rank Allocation Fails Under GRPO

基于GRPO的LoRA秩分配：一项实证研究

Yash Ganpat Sawant

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 本文探讨LoRA秩分配在强化学习中的有效性，发现GRPO环境下梯度重要性无法预测容量需求，非均匀分配反而降低准确性。

Comments Accepted at the Insights from Negative Results in NLP Workshop, EMNLP 2026

Responsiveness Verification: Will Predictions Change? How Much? How Often?

响应性验证：预测会改变吗？改变多少？改变频率如何？

Harry Cheon, Meredith Stewart, Bogdan Kulynych, Tsui-Wei Weng, Berk Ustun

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本研究提出测量响应性的算法与交互模型框架，搭配统计保证，可用于检测累犯预测的排除情况、估计内容审核博弈成本、测试LLM基准鲁棒性，提升模型安全性与可靠性。

AI Guardrail Survival under Single-Cycle Agentic Self-Summarization

单循环智能体自摘要下的AI安全护栏存续性

Ted Kwartler, Alan Aqrawi, Arian Abbasi

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本研究探究单循环智能体自摘要中安全规则的丢失机制，发现仅检查规则文本存在性的审计不可靠，需结合外部真实值检测，还指出仅靠LLM评判标签会反转评估结论。

Grounding Large Language Models as Generalizable Policies in Network Control

大语言模型作为网络优化的通用策略

Duo Wu, Linjia Kang, Zhimin Wang, Fangxin Wang, Wei Zhang, Chongbo Sun, Xuefeng Tao, Wei Yang, Le Zhang, Wenwu Zhu, Peng Cui, Zhi Wang

机构 * Bytedance（字节跳动） ； Shenzhen International Graduate School（深圳国际研究生院） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Department of Computer Science and Technology（计算机科学与技术系） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出Trailblazer框架，利用大语言模型实现跨任务和环境的通用网络策略，通过网络对齐和策略协作机制提升效率与泛化能力。

Comments Arxiv version. Official version has been submitted to IEEE Transactions on Mobile Computing

Adaptive Supervised Anchoring for On-Policy Self-Distillation

面向策略内自蒸馏的自适应监督锚定

Meilin Yang, Zixuan Ding, Jianhao Nie, Weite Zhang, Yuxin Zhang, Zhiming Shao, Li Yu, Zhe Fu

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 针对策略内自蒸馏的 rollout 条件信号退化问题，提出分离监督路径并自适应调整锚定强度的框架，提升了任务获取能力并优化了可塑性-稳定性权衡。

Comments 9 pages, 4 figures, and 3 tables. Meilin Yang and Zixuan Ding contributed equally. Corresponding authors: Li Yu and Zhe Fu

CAPO: Critic-Guided Action-Aligned Policy Optimization for Advancing LLM Agent Capabilities

StepPO: 面向智能体强化学习的步骤对齐策略优化

Daoyu Wang, Qingchuan Li, Mingyue Cheng, Jie Ouyang, Shuo Yu, Chunli Liu, Shijin Wang, Qi Liu, Enhong Chen

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） 纠错

专题命中 安全训练 ：RLHF(abstract_cn)；分类 cs.CL

AI总结 提出StepPO，一种步骤级策略优化方法，通过将智能体强化学习从token级MDP重构为步骤级MDP并引入步骤级信用分配，以解决现有算法在智能体决策粒度上的不匹配问题，在多跳问答等任务上优于多种RL算法。

Goedel-Code-Prover: Hierarchical Proof Search for Open State-of-the-Art Code Verification

Goedel-Code-Prover：面向开放状态的最新代码验证的分层证明搜索

Zenan Li, Ziran Yang, Deyuan He, Haoyu Zhao, Andrew Zhao, Shange Tang, Kaiyu Yang, Aarti Gupta, Zhendong Su, Chi Jin

机构 * ETH Zürich（苏黎世联邦理工学院） ； Princeton Language and Intelligence（普林斯顿语言与智能实验室） ； Department of Computer Science, Princeton University（普林斯顿大学计算机科学系） ； MiroMind 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出Goedel-Code-Prover框架，通过分层证明搜索提升Lean4中代码验证的自动化水平，实现62%的成功率，优于现有基线方法。

Comments Published as a COLM paper

El Agente Gráfico: A Semantic Execution Runtime for Scientific Agents

图形代理：用于科学代理的结构化执行图

Jiaru Bai, Abdulrahman Aldossary, Thomas Swanick, Marcel Müller, Yeonghun Kang, Changhyeok Choi, Naruki Yoshikawa, Zijian Zhang, Jin Won Lee, Tsz Wai Ko, Aiwei Yin, Mohammad Ghazi Vakili, Chris Crebolder, Varinia Bernales, Alán Aspuru-Guzik

机构 * School of Computer Science, McGill University（计算机科学学院，麦吉尔大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 El Agente Gráfico通过结构化执行图和类型安全机制，实现科学代理的高效自动化，适用于复杂计算任务。

Machine Learning and Data Analysis Using Posets: A Survey

基于偏序集的机器学习与数据分析：一项综述

Arnauld Mesinga Mwafise

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本综述针对偏序集在机器学习与数据分析应用的研究缺口，提出四轴分类体系，梳理相关模型算法与资源，并明确下一代序感知机器学习的研究议程。

When Does Reward Teach State? A Hidden-Automaton Instrument and a Group-Language Warning Signal

奖励何时能引导对状态的理解？一种隐藏自动机工具与群语言边界

James E. Allchin

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究强化学习中高奖励与潜在状态理解的关系，通过将任务表示为隐藏自动机，利用三个可控轴（优化器强度、任务结构、观察信息量）来分别测量奖励成功和潜在状态学习，区分感知差距和规划差距，得出高奖励非任务理解证据且智能体恢复潜在状态可预测的结论。

Comments 17 pages, 3 figures, 6 tables (9-page main text). Ancillary file hidden-automata-rl-code.zip contains reproduction code and the complete per-run data behind every table and figure. v3: author name corrected, title revised, text rewritten for clarity, new robustness checks (nonlinear and off-policy probes) added; results and conclusions unchanged

Worst-Case Distance-Aware Error Bounds for Neural Networks

K-DAREK：基于距离的Kurkova- Kolmogorov网络误差

Masoud Ataei, Vikas Dhiman, Mohammad Javad Khojasteh

机构 * Microelectronic Engg. Rochester Institute of Technology Rochester, NY, USA（微电子工程系罗切斯特理工学院罗切斯特分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 K-DAREK是一种基于距离的Kurkova-Kolmogorov网络误差算法，用于高效且可解释的函数近似，具有不确定性量化和稳健的误差界。

HALT: Verification-Aware Stopping for Retrieval-Augmented Search Agents

HALT：面向检索增强搜索智能体的感知验证式停止策略

Daeyoung Roh, Donghee Han

机构 * KAIST（韩国科学技术院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 该研究针对检索增强搜索智能体的冗余检索问题，提出轻量级感知验证停止策略HALT，在三个多跳QA基准上减少冗余搜索且保持精确匹配，无需修改宿主智能体。

Comments 23 pages, 6 figures. Code: https://github.com/Noverse0/HALT

LM-mixup: Text Data Augmentation via Language Model based Mixup

LM-mixup：基于语言模型的混合文本数据增强方法

Zhijie Deng, Zhouan Shen, Ling Li, Yao Zhou, Zhaowei Zhu, Yanji He, Wei Wang, Jiaheng Wei

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； BIAI, ZJUT & D5Data.ai（BIAI、ZJUT及D5Data.ai） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出LM-Mixup方法，通过构建MIXTURE数据集并结合监督微调与GRPO强化学习，仅用3%的蒸馏数据即可高效增强低质量指令跟随数据，提升LLMs的指令微调效率与性能。

Comments COLM 2026

Latent Actions from Factorized Transition Effects under Agent Ambiguity

基于因子化转移效应的潜在动作在智能体模糊性下的研究

Heejeong Nam, Chandradithya S Jonnalagadda, Harshit Aggarwal, Eric Xu, Randall Balestriero

机构 * Brown University（布朗大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 针对多物体或干扰场景中动作源模糊问题，提出观测转移因子化（OTF）方法，将转移分解为稀疏的观测转移基元，并构建OTF-LAM模型，在逆向前向动力学框架下抽象出动作潜变量，实现零样本迁移和下游策略学习。

Comments Project Page: https://hazel-heejeong-nam.github.io/LAM/

Functional Cache Grafting: Robust and Rapid Code-Policy Synthesis for Embodied Agents

功能缓存嫁接：具身智能体的鲁棒且快速代码策略合成

Saehun Chun, Wonje Choi, Sera Choi, Sanghyun Ahn, Honguk Woo

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出FCGraft框架，通过维护函数级验证代码骨架及其键值缓存，对新任务进行缓存嫁接（拼接和修补），减少预填充计算并复用验证结构，实现更鲁棒和快速的策略合成。

Comments Accepted at ICML 2026

Safe In-Context Reinforcement Learning

安全的上下文强化学习

Amir Moeini, Minjae Kwon, Alper Kamil Bozkurt, Yuichi Motai, Rohan Chandra, Lu Feng, Shangtong Zhang

机构 * University of Virginia（弗吉尼亚大学） ； Virginia Commonwealth University（弗吉尼亚 Commonwealth 大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出SCARED方法，在无参数更新的上下文强化学习适应过程中，通过精确惩罚对偶法在约束马尔可夫决策过程框架下保证安全，实现奖励最大化与成本约束。

Comments ICML 2026

Compile, Then Page: Executable SOP Programs and a Capability-Gated Runtime for Procedural LLM Agents

编译，然后分页：用于过程性语言模型代理的可执行标准操作程序和能力门控运行时

Chenglin Yu, Li Yin, Qingxin Fan, Ying Yu, RunyangRay Zhong, Ming Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； The University of Hong Kong（香港大学） ； Zhejiang Normal University（浙江师范大学） ； Research Institute for Generative AI, The Hong Kong Polytechnic University（香港理工大学生成式人工智能研究所） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究针对企业代理遵循SOP的问题，将SOP约束编译成可执行伪代码，用程序引导堆栈机运行，通过实验表明编译文本有益，运行时指导受能力门控，给出编译后经模型级纪律检查再启用活动框架分页的实际指导。

Comments 9 pages, 3 figures, 5 tables

CGCE: Classifier-Guided Concept Erasure in Generative Models

CGCE：生成模型中的分类器引导概念擦除

Viet Nguyen, Vishal M. Patel

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究针对生成模型不安全内容生成的问题，提出分类器引导概念擦除（CGCE）框架。该框架用轻量级分类器检测并细化不良概念提示，仅在推理时修改不安全嵌入，能防止有害内容生成，在安全性和性能间取得平衡，实验验证其有效性。

Comments ECCV 2026

Guard Vector: Beyond English LLM Guardrails with Task-Vector Composition and Streaming-Aware Prefix SFT

Guard Vector：通过任务向量合成和流感知前缀监督微调超越英语大语言模型护栏

Wonhyuk Lee, Youngchol Kim, Yunjin Park, Junhyung Moon, Dongyoung Jeong, Wanjin Park

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 研究提出Guard Vector安全任务向量，通过与目标语言模型合成及流感知方法调整得到TGM，能提升分类质量、实现语言扩展和模型可移植性，前缀SFT保持流环境下分类质量，单令牌输出设计提高效率，有助于构建更负责的AI生态系统。