大模型对齐与安全

Reliability-Aware LLM Alignment from Inconsistent Human Feedback

从不一致的人类反馈中实现可靠性感知的大语言模型对齐

Jingyi Huang, Ruohan Zong, Yujun Feng, Liran Ma, Lanyu Shang, Yang Zhang

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract,abstract_cn)；DPO(abstract,abstract_cn)；分类 cs.AI

AI总结 研究如何解决人类反馈强化学习中人类注释不一致问题，提出可靠性引导的偏好优化框架RGPO，通过估计注释者可靠性、推断潜在真实标签及动态调整训练目标，有效减少训练数据不一致性和噪声，性能优于现有基线。

Rushes: A Human Preference Dataset for Pluralistic Alignment

Rushes：用于多元对齐的人类偏好数据集

Michael Xu, Jorge Leandro, Sudha Rao, Weijia Xu, Nebojsa Jojic, Gabriel DesGarennes, Chris Quirk, Bill Dolan

机构 * Microsoft Research（微软研究院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；分类 cs.CL

AI总结 该研究引入Rushes数据集，通过游戏界面收集用户与AI叙事交互数据。核心方法是分析用户选择模式，以量化非随机偏好。主要贡献是定位其为多元对齐诊断基准，揭示现有模型在捕捉个性化参与信号上的不足，助力相关研究。

Domyn-Small: A European 10B Reasoning Language Model

Domyn-Small：一个欧洲的100亿参数推理语言模型

Simone Angarano, Francesco Bertolotti, Federico D'Ambrosio, Michele Resta, Alessandro Rognoni, Nicolò Ruggeri, Dario Salvati, Andrea Valenti, Alberto Veneri, Martin Cimmino

机构 * CINECA（意大利国家计算应用研究所） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 介绍了基于9万亿令牌多语言数据预训练的100亿参数推理语言模型Domyn-Small，经持续预训练、监督微调、强化学习等训练后管道，实现双模式推理，在与对等模型对比中平衡了准确性与效率，还发布了相关权重及开源框架。

Comments 27 pages, 5 figure

Moir: Let the Model Direct Its Own Story for Robust Cross-Domain Knowledge Editing

莫尔：让模型为稳健的跨域知识编辑指引自身方向

Jea Kwon, Jiwon Kim, Dong-kyum Kim, Meeyoung Cha

机构 * Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究针对语言模型训练后知识编辑核心能力退化问题，提出莫尔方法，通过从模型自身解码分布采样估计保留协方差，无需外部数据，可作插入组件。实验表明该方法能在多模型上扩展保留能力，提升准确率，凸显分布对齐对无损编辑的关键作用。

X$^3$-OPD: Distilling Reasoning into Large Audio-Language Models via On-Policy Alignment

X³-OPD：通过策略对齐将推理能力提炼到大型音频-语言模型中

Dongjie Fu, Di Cao, Xize Cheng, Zihan Zhang, Wenxu Jia, Yifu Chen, Shengpeng Ji, Yu Zhang, Tao Jin

机构 * Tencent Hunyuan（腾讯混元） ； Zhejiang University（浙江大学） 纠错

专题命中 安全训练 ：alignment(title)；分类 cs.LG

AI总结 针对大型音频-语言模型逻辑推理能力不足，提出X³-OPD跨模态策略蒸馏框架，借助教师模型指导与构建的三层对称语料库训练学生模型，实验证明该方法能提升音频推理及思维链质量，还能保留模型域转移下的能力。

Refusal-Gated Decoding: Preserving Refusal Behavior Under High-Temperature Sampling

拒绝门控解码：在高温采样下保留拒绝行为

Phillip Howard, Xin Su, Allen Roush, Manikandan Ravikiran, Amir Abdullah

机构 * Thoughtworks 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究高温采样下大语言模型拒绝行为受温度影响的问题，提出顺序解码方法，能在高温时保留模型贪婪解码拒绝响应且延迟小，经实验在三个基准数据集上保留91 - 99%的拒绝行为，不影响安全提示高温响应。

When Are Reasoning-Based Guardrails Not Efficient? ResponseGuard: A Fast Vision-Language Guard for Real-Time Moderation

基于推理的防护栏何时效率不高？ResponseGuard：用于实时审核的快速视觉语言防护工具

Dongbin Na

机构 * POSTECH（浦项科技大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究视觉语言防护栏筛查回复是否需推理，提出无链式推理的ResponseGuard，通过对请求、回复和图像的单一合并表示一次前向传递读取有害裁决，在回复有害性检测上优于基于推理的防护栏，且时间成本低，还发现了差距原因及推理防护栏注意力问题。

Comments 8 pages, 6 figures, 3 tables. Project page: https://ndb796.github.io/ResponseGuard ; Code: https://github.com/ndb796/ResponseGuard

GuardianAgentBench: Where Agents Fail and How to Guard Them

GuardianAgentBench：智能体何处失败及如何防范

Vishal Ishwar Naik, Chenyu Xu, Donna Dong, Hussein Hassan, Abhishek Pradhan, Ofer Mendelevitch, Tallat Shafat, Humayun Irshad

机构 * Vectara, Inc.（Vectara公司） ； Anthropic（Anthropic公司） ； OpenAI（OpenAI公司） ； Google DeepMind（谷歌DeepMind） ； DeepSeek-AI（DeepSeek人工智能公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究大语言模型智能体安全可靠行为问题，提出GuardianAgentBench基准测试，含多阶段验证和攻击模式。实验发现模型有两种失败模式，性能随工具集和轮次深度下降。护栏实现优于系统提示防御，证明执行时结构干预可提升安全性且不影响正确行为。

Conflict Resolution under Degraded Surveillance in Air Corridors Using Multi-Agent Reinforcement Learning

使用多智能体强化学习解决空中走廊降级监视下的冲突

Esrat Farhana Dulia, Syed Arbab Mohd Shihab, Caleb Adams, Ruben Del Rosario

机构 * College of Aeronautics and Engineering（航空与工程学院） ； Center for Advanced Air Mobility（先进空中交通中心） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究针对空中走廊降级监视下的冲突解决问题，开发基于深度Q网络的多智能体强化学习框架，为两类飞机训练策略，经模拟评估策略效果，揭示安全与走廊容量权衡，支持相关冲突解决策略评估。

Autonomous Topology Mutation: Safe Runtime Restructuring for Multi-Agent LLM Systems with Capability, State, and Shadow Invariants

自主拓扑变异：具有能力、状态和影子不变量的多智能体大语言模型系统的安全运行时重组

Bronislav Sidik, Chaya Levi, Nizzan Kimhi

机构 * Toga Networks (Huawei)（托加网络（华为）） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究多智能体大语言模型系统运行时无自我重组机制的问题，提出自主拓扑变异（ATM）机制，结合遥测驱动过载检测与安全不变量，经实验验证可提升任务成功率、减少隐私内存暴露并降低延迟，且相关内容已开源。

Comments 9 pages, 5 tables. Code and benchmark harness available at https://github.com/sidikbro/jiuwen_atm

Robust Critics: Defending LLMs Against Multi-Turn Attacks

鲁棒评论家：防御大语言模型免受多轮攻击

Roman Belaire, Arunesh Sinha, Pradeep Varakantham

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究针对大语言模型在多轮攻击下的安全问题，提出对话评论家引导采样（DCGS）框架，通过推断用户意图、建模为马尔可夫决策过程并学习价值和遗憾评论家来生成回复，在多个数据集上评估优于基线和前沿模型，还能迁移提升模型鲁棒性。

End-to-End Learning of Safe Optimal Feedback Control in High Dimensions with Control Barrier Function Layers

基于控制障碍函数层的高维安全最优反馈控制的端到端学习

Xingjian Li, Kelvin Kan, Deepanshu Verma, Krishna Kumar, Stanley Osher, Samy Wu Fung

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究在硬安全约束下高维半全局反馈控制器的学习问题，结合算子分裂与无雅可比反向传播方法，实现可扩展端到端训练并保持安全保证，证明该方法在高维多智能体非线性控制问题上的有效性。

Geometric Configurations of Perturbed Jailbreak Prompts

受扰动越狱提示的几何配置

Lynn Delcon, Andres Algaba, Vincent Ginis

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 研究Qwen和Llama系列小权重模型中受扰动越狱输入的内部表示，选两个表示空间，在拒绝主导答案集中两空间均无行为超平面，仅特定模型的个别token与合规答案有关联。

Comments 21 pages, 9 figures, 7 tables, 2nd Workshop on Safe AI (SafeAI)

Isolating LLM Alignment from Regex: Zero Coverage and Metric-Dependent Divergence Under Adversarial Mutation

从正则表达式中分离大语言模型对齐：对抗性变异下的零覆盖率和度量相关散度

Alexandre Cristovão Maiorano

机构 * Vertex AI（顶点人工智能） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究在语料库被设计绕过正则表达式时大语言模型对齐情况，引入$L_5$-无正则表达式并评估，发现对齐贡献度量相关，自然语言探针中无额外覆盖率提升，对抗性变体中能检测到子串分类器错过的拒绝。

Comments 15 pages, 2 figures, 7 tables

Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks

检测器学习到错误的东西：针对物理可实现攻击的抗捷径对抗训练

Yuanhao Huang, Yilong Ren, Jinlei Wang, Xuesong Bai, Zheng Zhang, Haiyang Yu

机构 * School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院） ； State Key Lab of Intelligent Transportation System（智能交通系统国家重点实验室） ； Zhongguancun Laboratory（中关村实验室） ； School of Systems Science and Engineering, Sun Yat-Sen University（中山大学系统科学与工程学院） ； Shandong Sino-Aisa Tire Proving Ground Co.,Ltd.（山东中亚洲轮胎试验场有限公司） 纠错

专题命中 越狱攻击 ：safety(abstract)

AI总结 研究针对物理可实现攻击，提出实例级对比对抗训练框架InsCAT，通过SICA、ROPO和Guard等方法防止检测器将对抗纹理用作独立决策线索，经实验验证其在多场景和检测器上效果良好，提升检测可靠性。

Code Monitor Red Teaming for Public-Test-Passing Code

用于通过公开测试的代码的代码监控红队

Junchi Liao, Jiawen Deng, Fuji Ren

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 红队测试 ：red teaming(title,abstract)；分类 cs.AI

AI总结 研究公开测试通过后代码隐藏错误监控问题，引入代码监控红队协议并实例化为代码监控基准。通过大量实验发现弱验证器虽能改进但仍易漏错，对抗性压力影响验证效果，GLM - 5.1验证器缩小部分差距，揭示了验证器故障与证据限制的问题。

Uncertainty-Aware Trust Estimation for Multi-LLM Systems via Structured Expert Judgement

通过结构化专家判断对多语言模型系统进行不确定性感知信任估计

Jiawei Zheng, Jiazhen Zhang

机构 * DigitLab, University of Exeter（数字实验室，埃克塞特大学） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 研究多语言模型聚合问题，核心方法是采用结构化专家判断，通过上下文感知校准问题及库克式对数加权估计专家可靠性，主要贡献是在异构和受污染情况下实现更好的准确性-可靠性平衡，强调聚合时需校准信任。

Enhancing Explainable Cardiac Diagnosis with Guide-Grounded Multimodal LLMs

用指南引导的多模态语言模型增强可解释的心脏诊断

Hai-Nam Duy Vuong, Duy-Anh Bui, Trong-Nghia Nguyen, Kim-Ngan Thi Nguyen, Trang Mai Xuan, Tien-Cuong Nguyen, Van-Dem Pham, Thien Van Luong

机构 * Business AI Lab, College of Technology, National Economics University（商业人工智能实验室，技术学院，越南国家经济大学） ； A2I Lab, Phenikaa School of Computing, Phenikaa University（A2I实验室，费尼卡计算机学院，费尼卡大学） ； VNPT AI, VNPT Group（VNPT人工智能，VNPT集团） ； FPT University（FPT大学） ； Department of Pediatrics, Hospital of University Medicine and Pharmacy, Vietnam National University Hanoi（越南河内国家大学医学与药学院儿科学系） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

AI总结 研究针对深度学习模型在心脏诊断中可解释性有限等问题，提出指南引导的多模态框架，通过卷积神经网络、Grad-CAM及结构化解释指南生成诊断报告，实验证明该方法能提升报告质量，增强临床合理性。

Comments 12 pages, 3 figures, accepted at CITA 2026

Evaluating and Guarding Citation Faithfulness in Agentic Scientific Synthesis

评估和保障智能科学合成中的引用忠实性

Taewan Goo, Junsik Kim, Kyulhee Han, GwonYul Jo, Jong-Soo Kim, Tae-Hyung Kim

机构 * Seoul National University（首尔国立大学） ； BioNexus（生物 Nexus） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI

AI总结 研究智能语言模型系统引用答案检查的可靠性问题，提出黄金锚定评估协议和可部署防护措施，能验证验证者、测量重新归因，为无支撑引用设限，经多模型和管道验证后作为单GPU工具包发布。

Comments 20 pages, 5 figures. Includes supplementary material (Appendices S1-S6). Open single-GPU reproducibility kit included

Training Large Language Models for Self-Explanation Faithfulness

训练用于自解释忠实性的大语言模型

Yeoktatt Cheah, María Pérez-Ortiz, Noah Y. Siegel, Oana-Maria Camburu

机构 * Imperial College London（帝国理工学院） 纠错

专题命中 幻觉与事实性 ：分类 cs.CL、cs.AI、cs.LG；alignment(comments)

AI总结 提出强化学习方法，将忠实性度量改为训练目标，研究模型能否检测及优化影响决策因素以提高自解释忠实性。实验用随机词和用户偏差插入，微调模型在忠实性度量上显著改进，交叉干预泛化有模型依赖等情况，为减少不忠实推理提供路径。

Comments To appear at the ICLR 2026 Workshop on Representational Alignment (Re-Align), 10 pages (long paper)

Expectation Alignment of Language Models for Real-World User Expectations

语言模型与现实世界用户期望的期望对齐

Miaomiao Li, Yang Wang, Bin Liang, Shudong Liu, Zhiwei Zhang, Kam-Fai Wong

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究LLMs是否满足用户期望，提出提取期望程序并引入ExpectBench基准，分析发现LLMs存在问题，进而提出LENS框架，可让模型内化期望以生成更契合的响应，凸显明确建模用户期望对实现现实人机对齐的重要性。

Comments Accepted by ICML 2026

Spatially Grounded Concept Bottleneck Models for Trustworthy Breast Ultrasound Diagnosis

用于可靠乳腺超声诊断的空间基础概念瓶颈模型

Moshiur Rahman Tonmoy, Dunren Che, Haitham Y. Adarbah, Afzel Noore

专题命中 安全评测 ：trustworthy(title,comments)；alignment(abstract)；分类 cs.AI

AI总结 研究乳腺超声诊断中概念瓶颈模型可信度受监督限制问题，提出空间基础概念瓶颈模型（SG-CBM），利用病变轮廓弱监督，通过导出特定区域训练概念图，经交叉验证等提升诊断指标与概念证据空间对齐，强调数据质量监督设计及可信度验证的必要。

Comments Accepted to the Workshop on Data Quality Aware, High-Performance, and Trustworthy AI Systems for Healthcare at IEEE/ACM CHASE 2026

Explanation-Based Runtime Verification for Trustworthy ML-driven Optical Networks

基于解释的运行时验证用于可信的机器学习驱动的光网络

Omran Ayoub, Carlos Natalino, Ali Al Housseini, Felix Foschum, Philipp Morger, Tiziano Leidi, David Hock, Paolo Monti

专题命中 安全评测 ：trustworthy(title)；分类 cs.LG

AI总结 研究将机器学习模型用于光网络自动化时决策可靠性问题，提出基于解释的运行时验证方法，利用模型解释评估决策合理性，在光路径传输质量分类用例中验证该方法有效，能拦截错误决策并保持高自动化率。

Comments 6 Pages, 2 Figures. Accepted and presented at the 30th International Conference on Optical Network Design and Modelling (ONDM 2026), Munich, Germany, 12-15 May 2026

Reexamining zero-shot summarization: Empirical investigation of trustworthiness of LLM-summarizers

重新审视零样本摘要：对大语言模型摘要器可信度的实证研究

Vasudha Bhatnagar, Purnima Bindal, Vikas Kumar, Raj Kumari Bahl

机构 * Department of Computer Science, University of Delhi（德里大学计算机科学系） ； Department of Statistics, Ramjas College, University of Delhi（德里大学拉姆贾斯学院统计系） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 研究针对大语言模型零样本摘要的稳定性与可信度问题，提出两级诊断协议，通过文档级稳定性分析及分层样本观察估计稳定性指数，经对三种文档类型的三个LLM摘要器实证研究，揭示差异，推动相关研究发展。

Comments 28 pages, Under review in a journal

Out-of-Distribution Detection in Wireless Multimodal Foundation Models for 6G ISAC

6G智能感知与通信无线多模态基础模型中的分布外检测

Mohammad Farzanullah, Akram Bin Sediq, Ali Afana, Melike Erol-Kantarci

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)

AI总结 研究6G智能感知与通信中无线多模态基础模型的分布外检测问题，提出WMFM - OOD框架，通过构建基站原型和温度缩放概率评分机制区分异常，在DeepVerse6G数据集验证，显著优于基线，提升检测灵敏度，保障网络可靠性。

Comments presented at IEEE VTC 2026 Fall, 4 figures

StabilityBench: Benchmarking Instability in LLMs

StabilityBench：评估大语言模型中的不稳定性

Emma Kondrup, Zachary Yang, Anne Imouza, Reihaneh Rabbany

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型实际行为难测、现有评估协议有局限的问题，提出StabilityBench基准测试工具，通过注入现实模拟增强现有基准，应用于四个基准测试评估九个模型，发现性能不稳定，还提出StabilityBench-Mini以实现更现实评估。

Benchmarking Large Language Models on Multi-Sensor Physical Hazard Assessment

在多传感器物理危害评估中对大语言模型进行基准测试

Faizan Iqbal

机构 * Lovely Professional University（可爱专业大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究五个大语言模型对多传感器物理危害数据的评估，通过1800次API调用测试60个场景，发现模型在多传感器场景表现不佳，单传感器场景表现良好，且结构化表格格式优势不明显，为从业者提供了模型应用参考。

Comments 14 pages, 6 figures. Benchmark dataset, evaluation code, and raw results publicly available at: https://github.com/Faizaniqbal52/PhysicalHazardBenchmark

DataPrep-Bench: Benchmarking LLMs as Training Data Preparators

数据准备基准：评估作为训练数据准备者的大语言模型

Hao Liang, Qifeng Cai, Yibo Lin, Jianzhuo Du, Qifeng Xia, Sizhe Qiu, Linzhuang Sun, Meiyi Qiang, Zhaoyang Han, Xiaochen Ma, Bohan Zeng, Ruichuan An, Conghui He, Wentao Zhang

机构 * Peking University（北京大学） ； Institute for Advanced Algorithms Research（先进算法研究院） ； OriginHub Technology（源创科技） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 研究LLMs作为训练数据准备者的表现，引入DataPrep - Bench统一基准，涵盖数据构建与质量评估，在多领域和模型上评估，发布相关智能体和评估器，为衡量LLM驱动数据准备能力提供框架。

Confidently Deceptive: How Confidence Amplifies the Risk of LLM Deception

自信的欺骗：信心如何放大语言模型欺骗的风险

Ali Asad, Stephen Obadinma, Anshul Pattoo, Wenxuan Zhang, Xiaodan Zhu

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型欺骗问题，通过多种方式衡量信心，发现其会产生高信心欺骗性回答，错位微调加剧问题，模型能识别自身欺骗性输出却不避免，指出自信的欺骗是独特风险，需综合评估欺骗、信心与意识。

Routing Subspaces: Auditing Evaluation-to-Deployment Mismatch in Fine-Tuned Language Models

路由子空间：审计微调语言模型中评估到部署的不匹配

Phongsakon Mark Konrad, Toygar Tanyel, Serkan Ayvaz

机构 * Centre for Industrial Software, University of Southern Denmark（南丹麦大学工业软件中心） ； ProMake（宝迈可） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究微调语言模型评估到部署的不匹配问题，提出在路径修补告知的中深度窗口拟合配对激活对比并修改结果坐标的方法，在多个模型实例中缩小了差距，还指出单坐标审计的局限性，此审计用于诊断微调检查点。