大模型对齐与安全

Oyster-II: Reinforcement Learning for Constructive Safety Alignment in Large Language Models

Oyster-II：大语言模型中用于建设性安全对齐的强化学习

Jiyang Guan, Yong Xie, Jun Chen, Jiexi Liu, Zipeng Ye, Defeng Li, Jiayu Shen, Jialing Tao, Hui Xue

机构 * Alibaba AAIG（阿里巴巴人工智能全球研究院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 研究大语言模型安全等问题，指出传统策略不足。基于Oyster-I范式，提出Oyster-II框架，采用强化学习结合零强化学习范式，在多基准测试中安全维度表现出色。

The Unverifiability of Artificial General Intelligence (AGI) Alignment, Static and Dynamic: From Trakhtenbrot's Wall to the Safety-Generality Tension

人工通用智能对齐的不可判定性

Jose Pascual Gumbau Mezquita

机构 * University Jaume I de Castelló（贾乌梅·伊大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(title)；分类 cs.CL、cs.AI

AI总结 本文证明了AGI安全的核心障碍不是对齐状态的不可能性，而是其结构性不可验证性，通过两个不可判定性定理和Trakhtenbrot墙揭示了工程防御的局限性，并推导出完备性-可靠性-可处理性三难困境。

Comments v2: substantially expanded and retitled. Adds unpublished results on the dynamic (self-modifying) case, deriving the persistence barrier from Rice's Theorem one level up; a supervisory-regress theorem linking the results to scalable oversight and Yampolskiy's verifier theory; and a unified treatment of all four barriers as one obstruction, the Expressivity Invariant

Safe Inference-Time Alignment via Lagrangian Reward Augmentation

通过拉格朗日奖励增强实现安全推理时对齐

Yaswanth Chittepu, Ativ Joshi, Sohini Chintala, Scott Niekum

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；harmlessness(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究提出拉格朗日奖励增强框架，从含奖励与成本模型的约束目标出发，经对偶化将问题转化为一维凸问题，校准对偶变量获增强奖励，提升推理时对齐的有益性与无害性权衡。

Harnessing Textual Refusal Directions for Multimodal Safety

利用文本拒绝方向实现多模态安全

Moreno D'Incà, Nicu Sebe, Massimiliano Mancini

机构 * University of Trento（特伦托大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 提出MARS方法，通过从LLM骨干提取的文本拒绝方向泛化到多模态，无需多模态安全数据即可提升安全性，在五个先进MLLM上验证了有效性。

Comments Preprint

When Aggregate Alignment Misleads: Auditing Policy Repair Without Per-State Expert Actions

当聚合对齐产生误导时：无需逐状态专家操作的审核策略修复

Peiying Zhu, Sidi Chang

机构 * Blossom AI（绽放人工智能公司） ； Blossom AI Labs（绽放人工智能实验室） 纠错

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究在酒店定价模拟器中，智能策略编辑器仅接收区域级诊断反馈时的策略修复问题，用多重启大语言模型编辑器进行修复，其不仅提升收益还减小情节构成距离，结果表明应按诊断反馈是否成可靠闭环结果评估策略修复。

VLM-CASE: Vision-Language Model Enabled Context-Adaptive Safety Envelopes for Anticipatory Safe Autonomous Driving

VLM-CASE：面向前瞻安全自动驾驶的视觉语言模型赋能上下文自适应安全包络

Tianjia Yang, Ke Li, Ruwen Qin, Xianbiao Hu

机构 * Department of Civil and Environmental Engineering, The Pennsylvania State University（宾夕法尼亚州立大学土木与环境工程系） ； Department of Civil Engineering, Stony Brook University（石溪大学土木工程系） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 针对恶劣工况下自动驾驶感知与性能退化、仅能事后响应的问题，提出基于微调VLM的上下文自适应安全包络框架，实现前瞻安全控制，在多场景仿真中性能优于基线方法。

Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment

将离策略令牌转换为策略内令牌：一种改进大语言模型对齐的插件方法

Yu Li, Xiuyu Li, Mingyang Yi, Jiaxing Wang, zhangliangxu, Zhaolong Xing, Zhen Chen

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 安全训练 ：alignment(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型强化学习后训练中离策略数据问题，提出选择性重要性采样（SIS），受拒绝采样启发，以离策略模型为提议分布进行令牌级拒绝测试，理论证明可减少梯度估计差距，实验验证其有效性。

LLMs Encode Harmfulness and Refusal Separately

大语言模型分别编码有害性和拒绝性

Jiachen Zhao, Jing Huang, Zhengxuan Wu, David Bau, Weiyan Shi

机构 * Northeastern University（东北大学） ； Stanford University（斯坦福大学） 纠错

专题命中 安全训练 ：safety(abstract)；jailbreak(abstract)；AI safety(abstract)；分类 cs.CL

AI总结 研究大语言模型对有害性的理解，发现其有害性和拒绝性在模型内分别编码，有害性方向与拒绝方向不同，据此揭示越狱方法原理及对抗微调影响，提出潜在危害表示的安全应用。

Pretraining Curricula Enable Selective Fine-tuning

预训练课程实现选择性微调

Sebastian A. Bruijns, Jirko Rubruck, Mia H. Whitefield, Kai J. Sandbrink, Fazl Barez, Christopher Summerfield

机构 * University of Oxford（牛津大学） 纠错

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究预训练课程如何影响学习、泛化和微调选择性，对比平衡与不平衡预训练方式，发现不平衡预训练促进上下文学习并提高拒绝微调选择性，还扩展到合成语言学习任务。

MIND-V: Hierarchical World Model for Long-Horizon Robotic Manipulation with RL-based Physical Alignment

MIND-V：基于强化学习物理对齐的长期机器人操作分层世界模型

Ruicheng Zhang, Mingyang Zhang, Jun Zhou, Xiaofan Liu, Zunnan Xu, Zhizhou Zhong, Puxin Yan, Haocheng Luo, Xiu Li

机构 * Tsinghua University（清华大学） ； X Square Robot（X Square机器人） ； Sun Yat-sen University（中山大学） ； HKUST（香港科技大学） 纠错

专题命中 安全训练 ：alignment(title)

AI总结 提出MIND-V分层世界模型，通过语义推理、行为语义桥接和运动视频生成，结合强化学习物理对齐，实现长期机器人操作视频的物理合理合成。

VISOR++: Universal Visual Inputs based Steering for Large Vision Language Models

VISOR++：基于通用视觉输入的大型视觉语言模型转向

Ravikumar Balakrishnan, Mansi Phute

机构 * HiddenLayer, USA（HiddenLayer美国分校） ； Georgia Institute of Technology, USA（佐治亚理工学院） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 研究视觉语言模型行为控制，针对现有方法局限，提出VISOR++，通过优化视觉输入实现行为控制，无需运行时访问模型内部，在多模型上验证有效性且能保持无关任务性能。

Evolutionary Guided Decoding: Iterative Value Refinement for LLMs

进化引导解码：大语言模型的迭代值细化

Zhenhua Liu, Lijun Li, Ruizhe Chen, Yuxian Jiang, Tong Zhu, Zhaochen Su, Wenliang Chen, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Soochow University（苏州大学） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现引导解码中值函数不准确源于分布差距，提出迭代值细化框架，用值探索提供训练信号，迭代自我细化利用改进值函数生成高质量数据，实验证明该框架能有效对齐语言模型并降低计算成本。

Comments Accepted to ACL 2026 (main conference)

Faithfulness to Refusal: A Causal Audit of Neuron Selectors

对拒绝的忠实性：神经元选择器的因果审计

Ananth Eswar, Pratinav Seth, Utsav Avaiya, Vinay Kumar Sankarapu

机构 * Lexsi Labs（Lexsi实验室） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 针对归因分数识别神经元行的因果有效性未经验证的问题，通过单次神经元行置零的配对审计，验证归因方法在识别冗余行、实现安全拒绝行为上的因果有效性，揭示排序稳定性不能代表因果有效性。

CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery

CRRL：一种用于自主系统恢复的基于因果关系的强化学习框架

Safia Fatima, Kai Olav Ellefsen, Leon Moonen

机构 * Simula Research Laboratory（Simula研究实验室） ； University of Oslo（奥斯陆大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究自主系统恢复中传统强化学习问题，引入基于因果关系的CRRL框架，利用驾驶日志因果关系塑造训练信号，使策略与基于规则的恢复有效协作，提升相关指标。

Comments 30 pages

kNNGuard: Turning LLM Hidden Activations into a Training-Free Configurable Guardrail

kNNGuard：将LLM隐藏激活转化为无需训练的可配置护栏

Mahmoud Abdelfattah, Hamid Nasiri, Peter Garraghan

机构 * Lancaster University（兰卡斯特大学） ； Mindgard 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出kNNGuard，一种利用现成LLM激活空间的无需训练护栏，通过多层kNN融合激活和嵌入空间分数，在多个领域达到与微调方法相当或更优的F1，且速度更快。

Comments 17 pages, 11 figures

Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity

不可压缩的知识探针：通过事实容量估计黑盒大语言模型参数数量

Bojie Li

机构 * Pine AI 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出不可压缩知识探针，通过事实容量估计大语言模型参数数量，验证了参数数量与知识容量的对数线性关系，展示了模型在不同厂商和不同世代中的持续扩展。

Evidence for Limited Metacognition in LLMs

对大语言模型有限元认知能力的证据

Christopher Ackerman

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出评估大语言模型元认知能力的新方法，发现前沿模型在事实和推理问题上的自信心评估和预测能力有限，且与人类存在显著差异。

Comments 26 pages, 25 figures

Journal ref The Fourteenth International Conference on Learning Representations (ICLR), 2026

Elastic Gang: Per-Token Membership Change for a Hard-Barriered LLM Inference Gang Co-Scheduled with OS Processes

弹性组：与操作系统进程协同调度的硬屏障大语言模型推理组的逐令牌成员变更

Daeyeon Son

机构 * Independent Researcher（独立研究员） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究设备上大语言模型解码中CPU - SIMD计算与操作系统对核心资源需求冲突问题，提出弹性组机制，通过ACK锁定期协议实现逐令牌核心成员变更，提升吞吐量并保障正确性。

Comments 14 pages, 1 figure, 6 tables

Agentic-V2X: Small Language Model Agents for Deadline-Aware V2X Scheduling in 5G/6G Networks

Agentic-V2X：用于5G/6G网络中具有截止日期感知的V2X调度的小型语言模型代理

Gerasimos Papanikolaou-Ntais, Alexandros Kaloxylos, Athanasios Kanavos

机构 * Department of Informatics, University of Piraeus（比雷埃克斯大学信息学院） ； Department of Informatics and Telecommunications, University of Peloponnese（希腊佩拉索斯大学信息与电信学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究针对5G/6G网络中V2X调度，提出Agentic-V2X架构。小型本地部署语言模型生成策略，经验证后由轻量级控制器执行，评估多种策略，该架构能生成有效可执行策略，在多方面有竞争力，但非最佳。

Comments 20 pages 7 figures

Mnemosyne: Agentic Transaction Processing for Validating and Repairing AI-generated Workflows

Mnemosyne: 用于验证和修复AI生成工作流的代理事务处理

Edward Y. Chang, Longling Geng, Emily J. Chang

机构 * Stanford University（斯坦福大学） ； QuadriumAI 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出代理事务处理（ATP）模型，将生成动作视为不可信提案，通过确定性约束集验证后才提交，并实现运行时修复，确保状态正确性独立于生成层。

Comments 41 pages, 25 tables, 6 figures

Customized Generative AI Agent for Transportation Engineering Practice: A Development and Continued Pre-training Guideline

面向交通工程实践的定制化生成式AI智能体：开发与持续预训练指南

Dianwei Chen, Yuan-Zheng Lei, Zifan Zhang, Yuchen Liu, Xianfeng Yang

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出基于LoRA框架对六种大语言模型进行持续预训练的方法，以提升其在交通工程领域的专业内容理解与推理能力，Qwen2.5-7B和LLaMA-3.1-8B表现最佳。

Agentic Artificial Intelligence for Multistage Physics Experiments at a Large-Scale User Facility Particle Accelerator

面向大规模用户设施粒子加速器的多阶段物理实验的代理AI

Thorsten Hellert, Drew Bertwistle, Simon C. Leemann, Antonin Sulc, Marco Venturini

机构 * Lawrence Berkeley National Laboratory（伯克利国家实验室） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出首个基于语言模型的代理AI系统，实现大规模用户设施粒子加速器上多阶段物理实验的自动化执行，通过结构化执行计划减少准备时间并确保安全约束。

Journal ref Phys. Rev. Research 8, L012017 (2026)

ProbeLogits: Kernel-Level LLM Inference Primitives for AI-Native Operating Systems

ProbeLogits：面向AI原生操作系统内核级的LLM推理原语

Daeyeon Son

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本文提出ProbeLogits，一种在操作系统内核层面执行单次前向传递并读取特定token logit的原语，用于分类代理行为的安全性，通过校准强度alpha实现部署时的策略控制，提升安全性与效率。

Comments 18 pages, 13 tables

Language-Guided Grasping under Partial Observation for Mobile Manipulation in Field Inspection and Maintenance

用于现场检查和维护中移动操作的部分观察下语言引导抓取

Dilermando Almeida, Juliano Negri, Guilherme Lazzarini, Thiago H. Segreto, Ranulfo Bezerra, Gustavo J. G. Lahr, Ricardo V. Godoy, Marcelo Becker

机构 * Department of Mechanical Engineering, Federal University of Uberlândia（联邦大学伯南迪利亚机械工程系） ； Department of Mechanical Engineering, University of São Paulo（圣保罗大学机械工程系） ； Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院） ； Faculdade Israelita de Ensino e Pesquisa Albert Einstein, Hospital Israelita Albert Einstein（艾伯特·爱因斯坦以色列教学与研究学院，艾伯特·爱因斯坦医院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出用于腿部移动操纵器在部分观察下的语言引导抓取流程，经多步骤处理，在四足机器人上实现并评估，相比基线提高抓取成功率，提升语言引导抓取可靠性。

Knowing When Not to Answer: Lightweight KB-Aligned OOD Detection for Safe RAG

知道何时不回答：用于安全检索增强生成的轻量级知识库对齐的域外检测

Ilias Triantafyllopoulos, Renyi Qu, Salvatore Giorgi, Brenda Curtis, Lyle H. Ungar, João Sedoc

机构 * New York University（纽约大学） ； National Institute on Drug Abuse（国家成瘾医学研究所） ； University of Pennsylvania（宾夕法尼亚大学） ； Microsoft（微软公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 研究用于检索增强生成（RAG）系统的轻量级、知识库对齐的域外检测，通过PCA处理知识库嵌入，用方差保留或t检验排序选择子空间评分查询，评估规则和分类器，发现低维检测器性能好且更优。

MAD-PINN: A Decentralized Physics-Informed Machine Learning Framework for Safe and Optimal Multi-Agent Control

MAD-PINN：一种用于安全和最优多智能体控制的分散式物理信息机器学习框架

Manan Tayal, Aditya Singh, Shishir Kolathaya, Somil Bansal

机构 * Center for Cyber-Physical Systems, Indian Institute of Science（印度科学研究院中心 for 联合体系统） ； Department of Electrical and Systems Engineering, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系） ； Department of Aeronautics and Astronautics, Stanford University（斯坦福大学航空与航天工程系） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 针对大规模多智能体系统安全与性能协同优化难题，提出MAD-PINN框架。利用基于上图的公式化方法，通过物理信息神经网络近似求解，采用分散训练与执行策略，实验表明其性能优越且具可扩展性。

Comments 9 Pages, 4 Figures, 4 Tables. First two authors have contributed equally

VISOR: Visual Input-based Steering for Output Redirection in Vision-Language Models

VISOR：视觉语言模型中用于输出重定向的基于视觉输入的转向

Mansi Phute, Ravikumar Balakrishnan

机构 * Georgia Institute of Technology（佐治亚理工学院） ； HiddenLayer, Inc（HiddenLayer公司） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 研究提出VISOR方法，通过优化视觉输入实现对视觉语言模型行为的精细控制，在关键对齐任务中验证其有效性，且具有低开销等优势，但也揭示了视觉通道安全漏洞。

Seven Security Challenges in Cross-domain Multi-agent LLM Systems

跨域多智能体LLM系统中必须解决的七个安全挑战

Ronny Ko, Jiseong Jeong, Shuyuan Zheng, Chuan Xiao, Tae-Wan Kim, Makoto Onizuka, Won-Yong Shin

机构 * Osaka University（大阪大学） ； Seoul National University（首尔大学） ； Yonsei University（延世大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本文针对跨域多智能体LLM系统，提出七类新型安全挑战，包括攻击示例、评估指标和未来研究方向。

Journal ref npj AI(2026)

Trajectory-Anchor Optimization for Overconfident Thermal Visual Place Recognition: Zero-Leakage OOD Auditing and Kidnapped-Robot Recovery

用于过度自信的热视觉场所识别的轨迹锚点优化：零泄漏异常检测与绑架机器人恢复

Zhiyuan Lu, Kanji Tanaka

专题命中 安全训练 ：alignment(abstract)

AI总结 研究针对基于基础模型的热视觉场所识别前端在分布外或未映射条件下的过度自信强制匹配失败问题，提出轨迹锚点优化（TAO），通过压缩多视图时间验证解决组合挑战，实现高效故障安全过滤。

Comments 11 pages, 5 figures, technical report

Neuro-Symbolic Reasoning for Vulnerability Detection

用于漏洞检测的神经符号推理

Yanjie Zhao, Hongjie Chen, Li Lu, Zhou Yang, Xiao Cheng, Haoyu Wang

专题命中 安全训练 ：safety(abstract)

AI总结 研究基于大语言模型的漏洞检测不可靠性，提出神经符号框架LeanGuard，通过将代码解释与安全义务判定分离，神经侧过滤事实，符号侧形式验证，证据感知裁决器权衡结果，在五个CWE类上实例化框架。