大模型对齐与安全

The Unfireable Safety Kernel: Execution-Time AI Alignment for AI Agents and Other Escapable AI Systems

不可解雇的安全内核：面向AI代理及其他可逃逸AI系统的执行时AI对齐

Seth Dobrin, Łukasz Chmiel

机构 * ARYA Labs PBC 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出一种架构性控制机制“不可解雇的安全内核”，通过进程隔离、前置强制、故障关闭和外部验证四个属性实现执行时AI对齐，在可逃逸AI系统中阻止逃逸尝试。

Comments Pre-print submitted for publication

The Geometry of Sequential Learning: Lie-Bracket Prediction of Transfer Order

序列学习的几何：李括号预测迁移顺序

John Sweeney

机构 * Sideplane AI 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.LG

AI总结 提出李括号对偶性分数预测序列学习中的源域顺序，通过李括号锦标赛实现O(N log N)排序，在指令微调和DPO中达到高准确率。

Comments Accepted to ICML 2026. 20 pages, including appendices

Reward-Conditioned Attention: How Reward Design Shapes What Autonomous Driving Agents See

奖励条件注意力：奖励设计如何塑造自动驾驶代理的感知

Mohamed Benabdelouahad, Ahmed Djalal Hacini, Nadir Farhi, Aissa Boulmerka

机构 * National School of Artificial Intelligence (ENSIA)（国家人工智能学院） ； Cosys-Grettia, Univ Gustave Eiffel（古斯塔夫·埃菲尔大学Cosys-Grettia实验室） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究奖励设计如何影响自动驾驶强化学习代理的内部注意力模式，发现奖励内容直接决定编码器优先关注的场景元素，且连续碰撞时间惩罚会形成学习性警觉先验。

OPERA: Aligning Open-Ended Reasoning via Objective Perplexity-based Reinforcement Learning

OPERA: 通过基于客观困惑度的强化学习对齐开放式推理

Wenxuan Jiang, Zining Fan, Zijian Zhang, Xuecheng Wu, Hongming Tan, Haoyang Dai, Xiaoyu Li, Xuezhi Cao, Ninghao Liu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Meituan Longcat Team（美团龙猫团队） ； Peking University（北京大学） ； Nanjing University of Science and Technology（南京理工大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 提出OPERA方法，利用困惑度动态作为内在奖励信号，结合冷启动数据合成和困惑度优先的推理轨迹选择，实现开放式任务中对齐，在Qwen3-8B上达到开源模型最优。

Comments 21 pages, 8 figures

RAS: Measuring LLM Safety Through Refusal Alignment

RAS: 通过拒绝对齐衡量LLM安全性

Chang-Chieh Huang, Yan-Lun Chen, Chia-Mu Yu, Wei-Bin Lee

机构 * National Yang Ming Chiao Tung University ； Hon Hai Research Institute 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 提出白盒评估方法SafeVec，通过内部表示而非生成答案衡量LLM安全性，计算拒绝对齐分数RAS，实现快速、校准的安全评分。

PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models

PolicyAlign: 大型语言模型的直接基于策略的安全对齐

Chang Wu, Junfeng Fang, Houcheng Jiang, Kai Tang, Pengyu Cheng, Xiaoxi Jiang, Guanjun Jiang, Xiang Wang

机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴通义千问大模型应用团队） ； National University of Singapore（新加坡国立大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 提出PolicyAlign框架，通过合成违规指令和策略敏感过滤，直接根据自然语言安全策略对齐LLM，提升安全性并保持低过度拒绝和通用能力。

Do Thinking Tokens Help with Safety?

思考令牌有助于安全性吗？

Narutatsu Ri, Abhishek Panigrahi, Sanjeev Arora

机构 * Princeton Language and Intelligence（普林斯顿语言与智能） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现前沿推理模型的安全性行为并非真正基于思考，早期令牌即可预测拒绝/顺从结果，思考过程更像前缀补全而非审慎修订。

Stable but Unsafe: Agent-Driven Cyber-Physical Systems Under Gain Manipulation Attacks

无安全性的稳定性：对自主网络物理系统的增益操纵攻击

Ali Eslami, Jiangbo Yu

专题命中 安全训练 ：safety(title)

AI总结 本文形式化自主网络物理系统中的增益操纵攻击，通过三轴攻击模型和分类法，揭示稳定性保持的增益替换仍可产生远超安全限度的瞬态放大，并利用Bauer-Fike特征值界和Kreiss矩阵定理推导隐蔽条件和最坏影响。

Comments 6 pages, 2 figures, 2 tables. Submitted to IEEE L-CSS for possible publication

Perfect Detection, Failed Control: The Geometry of Knowing vs. Steering in Language Models

完美检测，控制失败：语言模型中知道与引导的几何学

Cosimo Galeone, Anna Ettorre, Minsu Park, Giuseppe Ettorre, Daniele Ligorio

机构 * Alomana 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过几何角度测量发现，语言模型中检测行为的表示方向与控制行为的方向存在显著偏差（余弦值约0.12），表明检测不等于可控性，且该偏差源于预训练。

Reference-Free Heterogeneous Multi-Agent Reinforcement Learning for Grid-Friendly Tie-Line Power Shaping in Industrial Microgrids

无参考异构多智能体强化学习实现工业微电网并网友好型联络线功率整形

Daniyaer Paizulamua, Lin Cheng, Fashun Shi, Haoyu Zheng, Pengfei He, Haiwang Zhong

专题命中 安全训练 ：safety(abstract)

AI总结 提出顺序异构智能体协调框架，通过多时间尺度异构资源协同，实现无参考轨迹的联络线功率整形，显著降低购电成本、合同越限时间和爬坡越限。

Generative AI for Safe and Photorealistic Drone Light Shows

生成式AI实现安全且逼真的无人机灯光秀

Pascal Reinhold, Alexander Gräfe, Sebastian Trimpe

机构 * Institute for Data Science in Mechanical Engineering, RWTH Aachen University（机械工程机械工程数据科学研究所，亚琛工业大学） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 提出SWAN端到端流水线，从文本提示生成逼真、大规模且无碰撞的无人机编队，通过自适应点跟踪算法和安全性过滤器实现。

Bridging the Post-discharge Gap: A Traceable Multi-agent Framework for Safe and Continuous Care

弥合出院后鸿沟：用于安全持续护理的可追溯多智能体框架

Runwei Guan, Yi Zhou, Heyi Lin, Jinjing Zhu, Mingyuan Hou, Yang Yang, Fang Yuan, Xiaohong Lin, Shaofeng Liang, Xuming Hu, Tao Li, Tianbin Zhao, Yutao Yue, Zhiyuan Wang, Hui Xiong

专题命中 安全训练 ：safety(abstract)

AI总结 提出Healink框架，通过记忆增强的多智能体架构和约束检索生成，实现基于处方的可追溯出院后随访，在回顾性和盲评中优于医生基线。

Comments 23 pages, 10 figures

Toward Low-Latency Vision-Language Models with Doubly-Correct Predictions in Egocentric Visual Understanding

面向低延迟视觉语言模型：在自我中心视觉理解中实现双重正确预测

Qitong Wang, Fan Du, Pranav Maneriker, Jihui Jin, Christopher Rasmussen

机构 * Dolby Laboratories, Inc.（杜比实验室公司） ； University of Delaware（特拉华大学） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 针对人机协作中低延迟需求，提出基于双重正确预测的剪枝策略，在保持证据定位的同时提升预测准确性，在自我中心视频数据集上实现最高精度与双重正确性。

Comments International Conference on Intelligent Robots and Systems (IROS) 2026

What Intermediate Layers Know: Detecting Jailbreaks from Entropy Dynamics

中间层知道什么：从熵动力学检测越狱

Sofiia Nikolenko, Michele Papucci, Mina Rezaei, Shireen Kudukkil Manchingal

机构 * LMU Munich（慕尼黑大学） ； relAI – Konrad Zuse School of Excellence in Reliable AI（relAI – 康拉德·楚泽可靠人工智能卓越学校） ； University of Pisa（比萨大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； School of Engineering, Computing and Mathematics, Oxford Brookes University（牛津布鲁克斯大学工程、计算与数学学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过分析冻结LLM各层的token级预测熵轨迹，发现中间层的熵动力学特征（如基于排名的单调趋势分数）能有效检测越狱攻击，且无需额外训练。

Comments Accepted at the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2026. A short version accepted at EIML@ICML 2026

Uncertainty Quantification for Computer-Use Agents: A Benchmark across Vision-Language Models and GUI Grounding Datasets

计算机使用代理的不确定性量化：跨视觉语言模型和GUI基础数据集的基准测试

Divake Kumar, Sina Tayebati, Devashri Naik, Amanda Sofie Rios, Nilesh Ahuja, Omesh Tickoo, Ranganath Krishnan, Amit Ranjan Trivedi

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Intel Labs（英特尔实验室） ； Capital One AI Labs（Capital One AI实验室） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出跨机制基准Argus，评估27种后验不确定性量化方法在4个VLM代理和4个数据集上的表现，发现UQ排名在固定模型内跨数据集稳定，但跨模型类别和接口时下降，隐藏状态和密度方法最稳定。

Security and Privacy in Retrieval-Augmented Generation: Architectures, Threats, Defenses, and Future Directions for Building Trustworthy Systems

检索增强生成中的安全与隐私：构建可信系统的架构、威胁、防御与未来方向

Balamurugan Palanisamy, G S S Chalapathi, Vikas Hassija, Rajkumar Buyya

机构 * Department of Electrical and Electronics Engineering（电子与电气工程系） ； Birla Institute of Technology and Science, Pilani, Pilani Campus（比拉理工学院和科学学院，比拉校区） ； Department of Computer Engineering, KIIT University（计算机工程系，KIIT大学） ； Quantum Cloud Computing and Distributed Systems (qCLOUDS) Laboratory（量子云计算与分布式系统（qCLOUDS）实验室） ； Department of Computing and Information Systems（计算与信息系统系） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 隐私与版权 ：trustworthy(title,abstract)；分类 cs.CL

AI总结 本文综述了检索增强生成系统在集中式、设备端、联邦和混合范式下的隐私与安全挑战，提出了涵盖检索、上下文构建和生成阶段的统一威胁分类，并分析了攻击类别及防御策略。

Do Encoders Suffice? A Systematic Comparison of Encoder and Decoder Safety Judges for LLM Adversarial Evaluation

编码器足够吗？用于LLM对抗性评估的编码器与解码器安全评判器的系统比较

Han Jeon, Shiv Medler, Joseph Voyles, Matt Wood

机构 * PricewaterhouseCoopers（普华永道） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 系统比较ModernBERT系列编码器分类器与基于LLM的解码器评判器在识别有害LLM输出上的性能，发现编码器可在保持低延迟和低成本的同时接近LLM评判器的效果。

Comments 13 pages, 5 figures, Accepted into ICANN2026

SciRisk-Bench: A Risk-Dimension-Aware Benchmark for AI4Science Safety

SciRisk-Bench：面向AI4Science安全的风险维度感知基准

Linghao Feng, Yinqian Sun, Dongqi Liang, Sicheng Shen, Chenfei Yan, Yuxuan Peng, Yilin Zhao, Haibo Tong, Kai Li, FeiFei Zhao, Yi Zeng

机构 * Brain-inspired Cognitive Intelligence Lab, Institute of Automation, Chinese Academy of Sciences, Beijing, China（脑启发认知智能实验室，自动化研究所，中国科学院，北京，中国） ； School of Future Technology, University of Chinese Academy of Sciences, China（未来技术学院，中国科学院大学，中国） ； School of Artificial Intelligence, University of Chinese Academy of Sciences, China（人工智能学院，中国科学院大学，中国） ； Zhongguancun Academy, China（中关村学院，中国） ； Beijing Key Laboratory of Safe AI and Superalignment（北京安全人工智能与超对齐重点实验室） ； Gaoling School of AI, Renmin University of China（甘露人工智能学院，中国人民大学） ； Beijing Institute of AI Safety and Governance (Beijing-AISI)（北京人工智能安全与治理研究院（北京-AISI）） ； School of Humanities, University of Chinese Academy of Sciences, China（人文学院，中国科学院大学，中国） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI、cs.CY

AI总结 提出SciRisk-Bench基准，从显式风险维度和科学学科两个角度评估AI4Science安全，覆盖7个学科、31个子学科和10个风险维度，实验揭示主流及科学大模型的安全薄弱环节。

Designing Trustworthy LLM-based Wellbeing Recommendation through Controllable Interaction

通过可控交互设计可信赖的基于LLM的健康推荐

Alan Said, Alexandra Weilenmann

专题命中 安全评测 ：trustworthy(title,comments)；alignment(abstract)

AI总结 提出通过显式交互约束（如指导策略、解释风格、直接性程度和用户控制机制）构建系统级框架，使LLM推荐在保持适应性的同时透明、可控且与人类健康对齐。

Comments Accepted to the 1st Workshop on Trustworthy and Adaptive LLMs for Mental and Physical Wellbeing in Recommendations @UMAP 2026

SafeGen: LLM-Driven Assertion Generation and Fault Criticality Evaluation for Functional Safety

SafeGen: 面向功能安全的LLM驱动断言生成与故障关键性评估

Xuanyi Tan, Arjun Chaudhuri, Rubin Parekhji, Krishnendu Chakrabarty

专题命中 安全评测 ：safety(title,abstract)

AI总结 提出SafeGen框架，利用大语言模型和超知识图谱从设计文档提取规范并生成功能安全断言，结合门级到RTL故障映射与形式验证实现故障关键性语义分级，在FOC系统中验证了优于传统方法。

Comments Accepted by DAC 2026

Jolia: Concept-Level Vision-Language Alignment for 3D CT Contrastive Learning

Jolia: 用于3D CT对比学习的概念级视觉-语言对齐

Julien Khlaut, Charles Corbière, Baptiste Callard, Amaury Prat, Leo Butsanets, Antoine Saporta, Théo Danielou, Leo Machado, Korentin Le Floch, Tom Boeken, Pierre Manceron, Corentin Dancette

机构 * Raidium ； Department of Vascular and Oncological Interventional Radiology, Hôpital Européen Georges Pompidou, AP-HP（欧洲乔治·蓬皮杜医院血管与肿瘤介入放射科，AP-HP） ； Faculté de Santé, Université Paris-Cité（巴黎西岱大学健康学院） ； HEKA, INRIA（HEKA，法国国家信息与自动化研究所） ； Imaging Department, Fondation Ophtalmologique Adolphe de Rothschild（阿道夫·罗斯柴尔德眼科基金会影像科） 纠错

专题命中 安全评测 ：alignment(title,abstract)

AI总结 提出ConQuer方法，通过概念查询将报告拆分为特定概念部分，学习交叉注意力查询以匹配图像特征，实现概念级对齐，在胸部与腹部CT上训练的Jolia模型在多项任务中超越CLIP基线。

LLM-Based Scientific Peer Review: Methods, Benchmarks, and Reliability Challenges

基于LLM的科学同行评审：方法、基准与可靠性挑战

Thi Huyen Nguyen, Zahra Ahmadi

机构 * L3S Research Center, Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心） ； Peter L. Reichertz Institute for Medical Informatics of TU Braunschweig and Hannover Medical School（布伦瑞克工业大学与汉诺威医学院彼得·L·赖歇茨医学信息学研究所） ； Lower Saxony Center for AI and Causal Methods in Medicine (CAIMed)（下萨克森州医学人工智能与因果方法中心（CAIMed）） 纠错

专题命中 安全评测 ：alignment(abstract)；prompt injection(abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 本文综述了基于大语言模型的科学同行评审，聚焦批评生成与分数预测两大功能，分析了建模方法、基准评估、数据局限及鲁棒性风险，并提出了未来研究方向。

TRUSTMEM: Learning Trustworthy Memory Consolidation for LLM Agents with Long-Term Memory

TRUSTMEM：学习具有长期记忆的LLM智能体的可信记忆巩固

Tianyu Yang, Sudipta Paul, Vijay Srinivasan, Vivek Kulkarni, Srinivas Chappidi

机构 * AI Center-Mountain View, Samsung Electronics（三星电子山景城AI中心） ； University of Notre Dame（圣母大学） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI

AI总结 提出TrustMem框架，通过记忆转换验证器评估更新过程，并利用偏好强化学习优化记忆更新行为，显著提升记忆效用和可靠性。

SpeechEQ: Benchmarking Emotional Intelligence Quotient in Socially Aware Voice Conversational Models

SpeechEQ: 社交感知语音对话模型的情商基准测试

Liang-Yuan Wu, Zih-Ching Chen, Tongshuang Wu, Chao-Han Huck Yang, Hua Shen

机构 * New York University（纽约大学） ； NVIDIA（英伟达） ； Carnegie Mellon University（卡内基梅隆大学） ； NYU Shanghai（上海纽约大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出SpeechEQ框架，基于EQ-i 2.0理论构建2265个对话数据集，通过口语情商(SEQ)评分评估语音语言模型在主动多轮对话中的副语言社交线索推理能力，揭示端到端模型存在模态捷径、安全陷阱和上下文遗忘等瓶颈。

A Survey of Toxicity Detection and Mitigation Strategies for Multilingual Language Models

多语言语言模型毒性检测与缓解策略综述

Soham Dan, Himanshu Beniwal, Thomas Hartvigsen

机构 * Scale AI ； Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 综述多语言大模型的毒性检测与缓解方法，包括威胁模型、检测方法（跨语言编码器、翻译流水线等）和缓解策略（数据过滤、偏好调优等），指出语言覆盖不均、文化依赖等挑战。

Comments Accepted to the Findings of ACL, 2026

Journal ref Findings of ACL, 2026

Stabilizing black-box algorithms through task-oriented randomization

通过任务导向的随机化稳定黑盒算法

Yali Wang, Zhaojun Wang

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种任务导向的随机化方法，根据输入数据的生成机制自适应调整策略，以稳定黑盒输出，并分析了稳定性与探索之间的权衡。

LLM Evolution as an Industry-Scale Ecosystem: A Lifecycle Perspective on Continual Learning

LLM演化作为行业规模生态系统：持续学习的生命周期视角

Hao Jiang, Enneng Yang, Guojie Zhu, Yibin Chen, Yunkun Xu, Zifu Kou, Jiayi Li, Chong Chen, Zhao Cao, Li Shen

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Renmin University of China（中国人民大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 从生态系统视角重新定义工业级LLM持续学习为闭环更新与发布问题，识别三大挑战，提出五项生命周期设计原则，并评估其成熟度与部署蓝图。

Enhancing Brain MRI Anomaly Detection and Reasoning with ROI Rethink and Synthetic Data

通过ROI重思考与合成数据增强脑部MRI异常检测与推理

Shangkun Li, Jie Xu, Yi Guo, Zeju Li, Yuanyuan Wang

机构 * College of Biomedical Engineering, Fudan University（复旦大学 生物医学工程学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 提出BrReMark框架，通过显式区域标记和假设验证机制增强脑部MRI诊断的可信度，结合结构化推理轨迹的监督微调和强化学习，以及基于域随机化的病理合成增强，显著提升定位精度并减少幻觉。

Beyond Function Calling: Benchmarking Tool-Using Agents under Tool-Environment Unreliability

超越函数调用：工具环境不可靠性下的工具使用智能体基准测试

Yang Tian, Zhengpeng Shi, Yu Zhou, Bo Zhao

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL

AI总结 提出ToolBench-X基准，在工具环境中注入五种可恢复可靠性风险，评估智能体任务完成能力，发现可靠工具下表现良好的智能体在可恢复风险下失败，失败主因是诊断和恢复能力不足。

STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity

STEB：用于评估超越翻译保真度的语音到语音翻译表现力基准

Sitong Cheng, Weizhen Bian, Songjun Cao, Jin Li, Bei Liu, Chunyang Jiang, Yike Zhang, Weihao Wu, Yiming Li, Chi-Min Chan, Long Ma, Wei Xue

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出STEB基准，通过描述-总结框架评估语音到语音翻译在情感、场景风格和非语言发声方面的表现力，发现现有系统在语义保真度上表现良好但表现力保留不足。