大模型对齐与安全

The safety failures we are not instrumenting: a perspective on hidden safety-critical challenges in modern AI systems

我们未检测到的安全故障：现代人工智能系统中隐藏的安全关键挑战的视角

Gjergji Kasneci, Enkelejda Kasneci

机构 * Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；prompt injection(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

AI总结 研究现代人工智能系统隐藏的安全关键挑战，提出五层框架诊断隐藏风险，识别多种未被充分认识的风险模式，给出设计、治理建议及研究议程，推动人工智能安全从模型评估转向社会技术可靠性。

Comments Email by the arXiv Support Team: "Dear Gjergji, Thank you for your patience. Your appeal was accepted. You are welcome to resubmit this work at your convenience to cs.CY (cs.AI, cs.HC) Regards, arXiv Support"

Journal ref AI and Ethics (2026) 6:295, Springer Nature

Probabilistic Concept-Aware Steering for Trustworthy LLM Inference

用于可信大语言模型推理的概率概念感知引导

Brian Becker, Rui Chu, Yingjie Lao

专题命中 安全评测 ：trustworthy(title)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 研究针对大语言模型推理中现有引导向量方法的问题，提出概率概念感知引导框架，通过概念驱动检索和概率校准，在保留模型能力的同时实现可控、安全的语义偏差引导。

SENTINEL: A Multi-Level Formal Framework for Safety Evaluation of Foundation Model-based Embodied Agents

SENTINEL：面向基础模型基于具身代理的安全性评估多级形式框架

Simon Sinong Zhan, Philip Wang, Yao Liu, Yiyan Peng, Zinan Wang, Qineng Wang, Zhian Ruan, Xiangyu Shi, Xinyu Cao, Frank Yang, Zhenyang Ni, Kangrui Wang, Ruohan Zhang, Huajie Shao, Manling Li, Qi Zhu

机构 * Northwestern University, USA ； University of Southern California, USA ； College of William \& Mary 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 SENTINEL通过形式时序逻辑多级验证框架，系统性评估基础模型具身代理在模拟环境中的物理安全性。

SciHazard: A Benchmark for Measuring Scientific Safety Risks with Decomposed Harm Scoring

SciHazard：一种通过分解危害评分来衡量科学安全风险的基准

Chunxiao Li, Yuan Xiong, Lijun Li, Tianyi Du, Wenlong Zhang, Lei Bai, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对大型语言模型可能传播有害科学知识的问题，引入SciHazard基准及评估框架，含多学科问题。开发分解评估程序计算DeHarm-Score，经专家验证和模型测试，显示该方法能有效衡量风险，还发现深度研究代理存在安全盲点。

Engineering Trustworthy Agentic AI for Critical Systems

为关键系统设计可靠的智能体人工智能

Omar Al-Refai, Ibrahim Shahbaz, Adam Ali Husseinat, Michael Mandulak, Jaewon Kim, Eman Hammad

机构 * Texas A&M University（德克萨斯A&M大学） ； Innovations in Systems Trust and Resilience (iSTAR) Laboratory（系统信任与弹性创新（iSTAR）实验室） ； Texas A&M Institute of Data Science - Security, Privacy and Resilience for Trusted AI (SPARTA) Thematic Lab.（德克萨斯A&M大学数据科学研究所 - 可信人工智能的安全、隐私与弹性（SPARTA）主题实验室） ； Texas A&M Global Cyber Research Institute (GCRI)（德克萨斯A&M大学全球网络研究所） 纠错

专题命中 安全评测 ：trustworthy(title)；safety(abstract)；分类 cs.AI

AI总结 研究针对关键工程领域智能体人工智能，将可靠性作为首要工程属性，采用围绕五个维度的可靠性模型及保证工作流程，综述相关架构、机制等，经多领域检验，指出其可靠性是单一问题并勾勒跨域保证框架路径。

Comments This work has been submitted to the IEEE for possible publication

SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement

SFGA：一种用于可信SFT数据采购的具有裁决升级的统计优先门控架构

Arther Tian, Alex Ding, Simon Wu, Aaron Chan

机构 * DGrid AI（DGrid人工智能） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI、cs.LG

AI总结 研究如何采购监督微调数据，提出统计优先门控架构SFGA，将采购视为成本感知路由问题，经实验在准确率、F1值和成本上取得良好平衡，还报告辩论路径负面诊断，为测量和校准构建合成基准。

Computational Humor with Multimodal LLMs: Methods, Datasets, Evaluation, and Challenges

基于多模态语言模型的计算幽默：方法、数据集、评估及挑战

Tuo Liang, Zhe Hu, Disheng Liu, Jing Li, Yu Yin

机构 * Case Western Reserve University（凯斯西储大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 本研究聚焦于单图像和多面板作品中的视觉幽默理解，通过与先前综述对比，按能力层次组织文献，综合基准设计等内容，追溯领域转变，指出进展的主要障碍包括易出现捷径的评估、文化覆盖有限等问题。

Agents in the Wild: Where Research Meets Deployment

野外的智能体：研究与部署的交汇点

Grace Hui Yang, Pranav N. Venkit, Hooman Sedghamiz, Enrico Santus, Victor Dibia, Ioana Baldini

机构 * Georgetown University（乔治敦大学） ； Salesforce（Salesforce公司） ； Bayer（拜耳公司） ； Bloomberg（彭博公司） ； Microsoft Research（微软研究院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 探讨基于大语言模型的智能体系统从研究到部署的转变，通过案例研究分析成功设计模式及失败缓解策略，为与会者提供跨行业安全可靠部署的全面视角、设计模式、评估清单和模板。

Estimating Rare Events in Language Models with Proper Evaluation

用适当评估估计语言模型中的罕见事件

Nikita Y. Parulekar, Anqi Liu

机构 * Johns Hopkins University（约翰·霍普金斯大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究语言模型中罕见事件概率估计难题，提出梯度激活自适应多级分裂方法及移位幂布雷格曼损失，通过实验揭示偏差 - 方差权衡，强调估计器与部署上下文匹配，确立激活空间为易处理域。

Comments 37 pages, 24 figures

Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model

用于增强大型视觉语言模型鲁棒性的对偶对抗微调

Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 针对大型视觉语言模型视觉输入易受攻击且现有防御方法缺乏通用性的问题，提出对偶对抗微调框架，通过联合优化视觉和语义监督信号增强模型鲁棒性，实验证明该方法在多任务对抗鲁棒性评估中表现优异。

Physics-Informed Super-Resolution of Atmospheric Data

大气数据的物理信息超分辨率

Chang Xu, Gencer Sumbul, Hugo Porta, Manon Béchaz, Sebastian Schemm, Devis Tuia

机构 * EPFL（洛桑联邦理工学院） ； University of Cambridge（剑桥大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

AI总结 针对全球变暖下大气数据超分辨率问题，提出基于原始方程的PISR方法及NPC度量，通过约束SR模型遵循物理方程，实验表明该方法能提升重建保真度，增强极端事件检测能力。

RF-Agent: A Practical Framework for Building Language Agents for RFIC Design

RF-Agent：用于构建射频集成电路设计语言代理的实用框架

Yueqi Xing, Houbo He, Jolie Wang, Erin Ni, Shikai Wang, Qiufeng Li, Weidong Cao, Taiyun Chi

机构 * Rice University（莱斯大学） ； The George Washington University（乔治·华盛顿大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 针对大语言模型在射频电路设计应用受限问题，提出RF-Agent框架，通过教科书驱动知识蒸馏创建数据集及基准，研究监督微调与检索增强生成策略，发现特定领域SFT对中小模型提升大，语义检索的RAG表现最佳，为相关工作提供基础。

Comments Accepted at ICLAD (IEEE International Conference on LLM-Aided Design), 2026

Hazard or Anomaly? Evaluating VLMs for Understanding Dangers and Discrepancies

危险还是异常？评估用于理解危险和差异的视觉语言模型

Murali Indukuri, Mohammad Eskandari, Sree Nitya Kollu, Stephanie Lukin, Cynthia Matuszek

机构 * Interactive Robotics and Language Lab, University of Maryland Baltimore County（马里兰大学巴尔的摩县分校交互式机器人与语言实验室） ； DEVCOM Army Research Laboratory（陆军研究实验室） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究针对现代安全关键系统中VLM的评估问题，通过明确区分危险和异常，在两个数据集及多种提示策略下评估多个先进VLM，发现其常误判，明确区分能提供更具信息性评估并揭示失败模式。

Comments 8 pages, accepted to RO-MAN 2026

The Economics of Autonomy: Real-Time Risk Indexing for Insurable AI-Driven 6G Systems

自主性经济学：适用于可保险的人工智能驱动的6G系统的实时风险索引

Anthony Kiggundu, Michael Zentarra, Christoph Lipps, Hans D. Schotten

机构 * German Research Center for Artificial Intelligence (DFKI), Germany（德国人工智能研究中心（DFKI）） ； RPTU University of Kaiserslautern-Landau, Germany（莱茵-威斯伐尔大学科堡分校） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究6G网络中传统治理框架在风险管理上的不足，提出GIRAF框架，通过机器可读运行时信号得出总风险指数，形式化验证陈旧性权衡，经模拟验证该框架能保持操作完整性并为多利益相关者责任归属等提供精算基线。

Comments Accepted at the IEEE 104th Vehicular Technology Conference - VTC2026-Fall

Calibrated Selective Fact-Checking via Evidence Chain Evaluation

通过证据链评估进行校准的选择性事实核查

Dekun Yang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 针对大语言模型事实核查的可靠性问题，提出证据链评估框架ECE，通过网络搜索等收集证据并返回结构化裁决。在ECE - Bench上有较好表现，虽总体校准指标未超最强基线，但实现了选择性预测权衡，弃权可处理弱证据。

Tumor-anchored deep feature random forests for out-of-distribution detection in lung cancer segmentation

基于肿瘤锚定的深度特征随机森林用于肺癌分割中的分布外检测

Aneesh Rangnekar, Harini Veeraraghavan

机构 * Memorial Sloan Kettering Cancer Center（纪念斯隆凯特林癌症中心） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 本文提出RF-Deep框架，利用深度特征提升CT扫描的分布外检测性能，通过少量标注数据改进分割管道的安全性。

Comments Accepted for publication in Transactions on Machine Learning Research (TMLR), 2026. Code available at: https://github.com/aneesh3108/RF-Deep

Tears or Cheers? Benchmarking LLMs via Culturally Elicited Distinct Affective Responses

眼泪还是欢呼？通过文化诱发的差异情感反应基准测试LLMs

Chongyuan Dai, Yaling Shen, Zihan Gao, Jia Li, Yishun Jiang, Yaxiong Wang, Liu Liu, Zongyuan Ge, Jinpeng Hu

机构 * Hefei University of Technology（合肥工业大学） ； Monash University（墨尔本大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出CEDAR基准，通过文化诱发的差异情感反应评估LLMs，揭示语言一致性和文化契合度之间的脱节，展示文化根植的情感理解仍是模型的重大挑战。

Comments ACL 2026 SAC Highlight

Stochastic Multi-Objective Kinodynamic Planning Against Adversaries

针对对手的随机多目标运动动力学规划

Thomas Marshall Vielmetti, Daniel Cherenson, Dimitra Panagou

机构 * University of Michigan（密歇根大学） 纠错

专题命中 安全评测 ：safety(abstract)

AI总结 研究在含随机混合对手环境下的多目标运动动力学规划，核心方法是将规划空间转移到闭环策略序列，通过蒙特卡洛粒子展开评估风险，引入SMO-RRT和SMO-SST算法，推导有限样本界，实现概率安全规划。

Comments 8 pages, 1 figure, accepted to CDC 2026

When to Trust the Map: Confidence-Aware LLM Routing for Automotive CVE-to-ATM Mapping

何时信任地图：用于汽车CVE到ATM映射的置信度感知大语言模型路由

Heeyun Heo, Sangmin Park, Huy Kang Kim, Sanghoon Jeon

专题命中 安全评测 ：safety(abstract)

AI总结 研究汽车CVE到ATM映射问题，提出通过分层上下文学习生成候选映射，融合多种信号到校准元模型，以校准置信度分数分类候选映射，在评估集上显著提高精度，支持选择性自动化。

Comments 11 pages, 2 figures, 3 tables; Accepted at ESCAR EUROPE 2026

RECEIPT: Deterministic, Reward-Hacking-Resistant Verification for White-Box Agentic XSS Discovery

RECEIPT：用于白盒代理式XSS发现的确定性、抗奖励攻击验证

Muxi Lyu, Karen Shieh, Yiwei Hou, Hao Wang, Koushik Sen, David Wagner

专题命中 安全评测 ：trustworthy(abstract)

AI总结 研究针对白盒代理式XSS发现中编码代理声明不可信的问题，提出RECEIPT验证框架，通过环境隔离等手段使发现可信，经实验评估，在预算内发现多个未知漏洞，相比其他方式能确认更多真实利用且无假阳性。