大模型对齐与安全

Spatially Grounded Concept Bottleneck Models for Trustworthy Breast Ultrasound Diagnosis

用于可靠乳腺超声诊断的空间基础概念瓶颈模型

Moshiur Rahman Tonmoy, Dunren Che, Haitham Y. Adarbah, Afzel Noore

专题命中 安全评测 ：trustworthy(title,comments)；alignment(abstract)；分类 cs.AI

AI总结 研究乳腺超声诊断中概念瓶颈模型可信度受监督限制问题，提出空间基础概念瓶颈模型（SG-CBM），利用病变轮廓弱监督，通过导出特定区域训练概念图，经交叉验证等提升诊断指标与概念证据空间对齐，强调数据质量监督设计及可信度验证的必要。

Comments Accepted to the Workshop on Data Quality Aware, High-Performance, and Trustworthy AI Systems for Healthcare at IEEE/ACM CHASE 2026

Why Do AI Agents Break Rules? How Framing, Context, and Social Signals Shape Compliance

AI智能体为何违反规则？框架、情境与社会信号如何影响合规性

Mika Okamoto, Ansel Kaplan Erol, Kutluhan Erol

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 该研究运用法律与经济学的合规理论，发现安全微调AI模型大体合规，任务优化与智能体模型会在低惩罚等条件下违规，且引入经济激励等会导致大规模合规失败，指出模型选择与合规性评估需改进。

The "Knowledge-Behavior Gap" in Cultural Taboo Safety of Large Language Models

大语言模型在文化禁忌安全方面的“知识-行为差距”

Ying He, Sihang Jiang, Xingzhou Chen, Zhouhong Gu, Yiwei Gu, Minggui He, Shimin Tao, Hongxia Ma, Yanghua Xiao

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机与人工智能学院） ； Huawei（华为） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

AI总结 针对大语言模型文化禁忌安全评估的现有基准存在不足，本文推出首个公开基准CulShield，发现先进LLMs存在“知识-行为差距”，且语言语境变化会影响其文化禁忌安全。

From Safety Documentation to Safety Knowledge Support: An Evidence-Grounded LLM Framework for Medical Devices

从安全文档到安全知识支持：面向医疗器械的基于证据的大语言模型框架

Tuhinangshu Gangopadhyay, Rasmus Adler, Peter Liggesmeyer, Jan Reich

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 针对现有LLM在医疗器械安全工程中源链接等支持不足的问题，本文提出基于证据的LLM框架，用于安全知识支持，不做安全判定，还给出对应评估策略。

Comments ISSRE 2026, AISQ, 8 pages

ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents

ActBench：协作智能体行为安全的自演进基准

Hongwei Yao, Yiming Liu, Meihui Chen, Jieling Chen, Zikun Chen, Yiling He, Wangze Ni, Cong Wang, Kui Ren

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究提出自演进行为安全基准ActBench，结合奖励引导束搜索与双证据验证机制，评估协作智能体风险，在24000条轨迹上测试15个LLM和6个开源智能体，发现模型间攻击成功率差异更大。

Comments Benchmark and Code is available https://github.com/zjuicsr/ActBench

Illusion of Alignment: Detecting Hidden Disagreement in Collaborative Dialogue

对齐的错觉：检测协同对话中的隐藏分歧

Kaiming Liu, Fuwen Luo, Ziyue Wang, Jinrui Ju, Yuxuan Liu, Xuanyu Lei, Yunghwei Lai, Peng Li, Yang Liu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； Institute for AI, Tsinghua University（清华大学人工智能研究院） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 本研究针对协同对话中存在的对齐的错觉（IoA）问题，构建IoA-Suite数据集，训练IoA-Prober-8B模型检测隐藏分歧，该模型可揭示真人会议中未表达的分歧，还能提升多智能体协作的下游任务性能。

Representation-driven Endoscopic Visual Embedding Alignment for Latent Generation

面向隐空间生成的表征驱动型内窥镜视觉嵌入对齐

Francisco Caetano, Tim J. M. Jaspers, Haiko Middeljans, Martijn R. Jong, Rixta A. H. van Eijck van Heslinga, Floor Slooter, Albert J. de Groof, Jacques J. Bergman, Peter H. N. De With, Fons van der Sommen

机构 * Eindhoven University of Technology（埃因霍温理工大学） ； Amsterdam University Medical Centers（阿姆斯特丹大学医学中心） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 本研究针对内窥镜生成模型的领域差距与计算成本问题，提出REVEAL模型，基于500万帧内窥镜数据训练，在多任务中性能优于同类模型，为临床智能工具开发提供基础。

Comments Accepted at the DCA-MI Workshop (ECCV 2026)

HarnessSafe: Evaluating Safety Across Persistent Carriers in Agent Harnesses

HarnessSafe：评估智能体框架中持久载体的安全性

Xiao Zhang, Yusheng Wang, Yuhao Fei, Dongyuan Li, Zian Liang, Liuyu Xiang, Hongxun Gu, Zhaofeng He

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 HarnessSafe基准含7类持久载体的328个可执行案例，通过追踪攻击链的多阶段评估，揭示智能体框架中安全遏制效果的载体特异性及框架-模型配置的重要性。

Comments 21 pages, 3 figures. Preprint

Align-RAG: Alignment Is All You Need for TSFM In-Context Learning

Align-RAG：TSFM上下文学习的全部需求在于对齐

Mohammad Asadi, Soheil Hor, Bardiya Akhbari, Jack W. O'Sullivan, Tahoura Nedaee, Layne C. Price, Raviteja Anantha, Euan Ashley, Ehsan Adeli

机构 * Stanford University（斯坦福大学） ； Amazon（亚马逊公司） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

AI总结 提出无需训练的Align-RAG方法，通过闭式对齐检索窗口，在冻结TSFM上提升检索增强预测性能，证明冻结TSFM可动态整合检索结果，闭式对齐可作为默认基线。

From Sports to Safety: Benchmarking Proactive Risk Inference in MLLMs

从运动到安全：多模态大语言模型（MLLM）主动风险推理基准测试

Jiawei Qiu, Yichen Xu, Jianzhe Ma, Mingyang Yu, Wenbin Zhu, Yang Han, Pinzheng Lv, Wenxuan Wang

机构 * School of Information, Renmin University of China（中国人民大学信息学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

AI总结 该研究构建了运动主动风险推理基准SPRINT，评估发现当前MLLM危险感知率高但原因识别率低，仅具备表层主动安全能力，缺乏稳定的基于原因的早期预警。

Comments Preprints

CoPlan: A Trustworthy Co-Intelligence Interface for Care Planning through Role-Based Contestable Argument Graphs

CoPlan：一种基于角色可争议论证图的可信协同智能照护规划界面

Hung Truong Thanh Nguyen, Hélène Fournier, Piper Jackson, Makoto Itoh, Shannon Freeman, Rene Richard, Hung Cao

机构 * University of New Brunswick（新不伦瑞克大学） ； National Research Council Canada（加拿大国家研究委员会） ； Thompson Rivers University（汤普森河大学） ； ISB Corporation（ISB公司） ； University of Northern British Columbia（北英属哥伦比亚大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI

AI总结 本研究提出CoPlan界面，通过多智能体工作流结合协同智能与可争议性，实现人机协同照护规划，保留人类自主性与临床问责制，已在就地养老场景中验证其有效性。

Comments Accepted at the 2026 International Conference on Next Generation AI Systems (NGEN-AI 2026)

NSF-HRPT: Neural Semantic Field meets Hierarchical Risk Perception Tree for Safety-Critical Scenario Assessment

NSF-HRPT：神经语义场结合分层风险感知树的安全关键场景评估方法

Yu Zhao, Jiangyu Pan, Tao Hu, Ming Yin, Fan Yang, Jiangfan Liu, Xiubo Liang

机构 * Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究提出NSF-HRPT框架，结合神经语义场与分层风险感知树，引入Sim2Real策略，实现单目视觉输入下安全关键场景的高效风险评估，在合成与现实数据集上均取得优异性能。

Comments 13 pages, 5 figures

ADMITBench: A Safety-Governed Reference Framework for Evaluating the Admissibility of Industrial LLM Advisories

ADMITBench：用于评估工业LLM咨询建议可采纳性的安全管控参考框架

Yash Misra, Javal Vyas, Siddharth Gutta, Mehmet Mercangöz

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 本研究提出ADMITBench框架，用于评估工业LLM咨询建议的可采纳性，该框架采用带版本的安全管控评估契约，0.1.0版本为公开参考实现，面向技术与研究评估。

Evaluating Counterfactual Sensitivity to Patient Information in Medication-Safety Reasoning

评估药物安全推理中对患者信息的反事实敏感性

Zhitian Hou, Yuhang Liu, Pengkai Wang, Zeyu Liu, Guanghao Zhu, Zheng Liu, Shuo Cai, Congkai Xie, Zhijie Sang, Kun Zeng, Hongxia Yang

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 本研究推出MedPIC-Bench基准，评估不同LLM在药物安全推理中对患者信息的反事实敏感性，发现所有模型在反事实问题上表现更差，医学专用LLM的反事实表现落后于通用LLM，凸显静态准确性的评估局限性。

Leveraging AI for fine-grained food safety risk forecasting in sparse data conditions

利用人工智能在稀疏数据条件下进行细粒度食品安全风险预测

Dongqi Wang, Weiwei Chen, Han Zhou, Weihua Zhou

机构 * Zhejiang University（浙江大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究提出基于Transformer的框架，整合多类数据与Wilson区间预训练，在稀疏数据下细粒度预测城市食品安全风险，实验及浙江实地测试显示其性能优于基线，可提升检测率与检查资源分配效率。

HetGPS: Scalable Graph Multi-Agent Reinforcement Learning with Physics-Anchored Adaptive Safety for EV Charging

HetGPS：面向电动汽车充电的、带物理锚定自适应安全机制的可扩展图多智能体强化学习

Xiangwei Wang, Nanduni Nimalsiri, Yu Xia, Peng Wang, Saman Halgamuge

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究提出HetGPS混合图控制框架，结合学习图风险与物理锚定校正，实现可扩展的电动汽车充电多智能体协调，降低电压违规率并提升离网成功率，模型规模与车队无关且可跨系统零样本迁移。

MMLDSum-LLM: Multimodal Long-Document Summarization with Visual-Alignment and Keyword-Aware

MMLDSum-LLM：结合视觉对齐与关键词感知的多模态长文档摘要方法

Xianpeng Zhang, Jiahua Yang, Dongyu Chen, Lei zhang, Jian Ma, Xu guohuan, Haonan Lu, Tianhuang Su, Chuangchuang Wang, Kai Tang

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 针对多模态长文档摘要的关键信息遗漏与跨模态幻觉问题，提出结合视觉对齐与关键词感知的两阶段训练框架MMLDSum-LLM，在自研基准MMLDSum-Bench上验证了其性能优势。

Safety-Gated Agentic Supervisory Control on a Coupled Distillation Benchmark: Regime Map, Auditable Gate, and Co-Design Findings

耦合精馏基准上的安全门控智能体监督控制：工况图、可审计门与协同设计发现

Christian Rosenthal

专题命中 安全评测 ：safety(title,abstract)；分类 cs.LG

AI总结 该研究针对耦合精馏基准，提出基于规则的分叉孪生反事实安全门控机制，结合DeepSeek-V4-Flash等模型，在目标获取、扰动抑制等任务上优于基准方法，可有效遏制有害操作。

Comments 31 pages, 8 figures. Code and data: https://github.com/cgncro-cyber/IndustrialAI. Sole author; independent research

SciFigAlign: Scoring Scientific Figures by Fine-tuned Alignment of Visuals with Manuscript Evidence

SciFigAlign：通过微调视觉内容与稿件证据的对齐来对科学图表进行评分

Chuanzhi Xu, Zihan Deng, Huiqi Liang, Chengkun Yue, Zhanlin Cui, Pengfei Ye, Weidong Cai

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文构建了含3857张科学图表的标注数据集，提出基于稿件证据的多模态评分器SciFigAlign，其在测试集上的MAE为0.3524，相对最佳LLM基准降低59%误差，证实需视觉与稿件证据的学习对齐。

SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI

SAGE：用于高影响力生成式人工智能验证生命周期控制的安全至上深度防御护栏

Mahdi Eslamimehr

机构 * Quandary Peak Research（Quandary Peak研究公司） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究高影响力生成式人工智能的生命周期控制问题，提出SAGE安全至上、授权分离架构，结合多种技术手段。通过形式化结果和实验验证，确立安全优先级等，给出有害合规估计，还介绍了预先注册的扩展测试方法。

Comments 25 pages, 5 figures, 5 tables

Risk Governance for Generative AI Mental Health Support: A Multi-Turn Safety Architecture

生成式人工智能心理健康支持的风险治理：一种多轮安全架构

Anabela C. Areias, Catarina Botelho, António Farinhas, Areti Vassilopoulos, Dora Janela, Xin Tong, Nuno M. Guerreiro, Maya D'Eon, Fabíola Costa, Ricardo Rei

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对大语言模型用于心理健康支持时缺乏风险治理机制的问题，开发了一种多轮安全架构，结合多种方法用于心理健康交互，经测试在多方面表现良好，能改善模型管理风险方式，提供安全部署框架。

AIR-BENCH Live: An Evolving Safety Benchmark for Foundation Models

AIR-BENCH Live：基础模型不断演进的安全基准测试

Rohan Naphade, Minzhou Pan, Bo Li

机构 * Virtue AI（美德人工智能公司） ； Carnegie Mellon University（卡内基梅隆大学） ； Northeastern University（东北大学） ； University of Chicago（芝加哥大学） ； University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对基础模型安全基准测试随模型和法规发展而不足的问题，提出AIR-BENCH Live，通过自动化更新管道和多智能体算法更新提示，扩展了基准测试风险数量，评估模型发现安全范围广等结果，使其能随领域发展。

Comments 11 pages, 7 figures, 3 tables

Towards Trustworthy and Cost-Efficient Data Integration: From Naïve RAG to Agentic RAG

迈向可信且经济高效的数据集成：从朴素检索增强生成到智能体检索增强生成

Chuangtao Ma, Arijit Khan

机构 * Aalborg University, Denmark（丹麦奥胡斯大学） ； Bowling Green State University, USA（美国布恩威尔州立大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI

AI总结 探讨大语言模型和人工智能智能体在企业数据集成中面临的挑战，介绍从经典RAG到智能体RAG的演变，研究经济高效集成的优化策略，为构建可靠、可解释和可扩展的数据集成系统指明方向。

Comments To Appear in the IEEE Data Engineering Bulletin

A Roadmap to Impactful Pluralistic Alignment Research

有影响力的多元对齐研究路线图

Elinor Poole-Dayan, Jillian Fisher, Atoosa Kasirzadeh, Jacob Andreas, Mitchell Gordon, Michiel A. Bakker

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 研究多元价值对齐在实际AI系统中未产生影响的问题，指出原因包括理由多为规范或推测、未明确理想多元行为及现有方法与指标不足。提出未来研究应转向实证基础、明确行为目标并建立实用方法与评估，以推动该领域发展。

Geometry-Guided Constraint Learning for LLM Safety Classification

用于大语言模型安全分类的几何引导约束学习

Fumiaki Uehara, Koo Imai, Masato Tsutsumi, Keigo Kansa, Sora Usui, Yuki Kobiyama

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究大语言模型安全分类，利用稀疏自动编码器特征提取解决安全多面体中约束数量调整问题，在Qwen3.5 - 9B上对部分类别K = 2最优，准确率达96 - 99%，基于几何观点引入锥约束并经三阶段训练稳定。

NEXUS: Structured Runtime Safety for Tool-Using LLM Agents

NEXUS：工具使用型大语言模型智能体的结构化运行时安全

Elias Hossain, Md Mehedi Hasan Nipu, Tasfia Nuzhat Ornee, Rajib Rana, Niloofar Yousefi

机构 * University of Central Florida（中佛罗里达大学） ； North South University（南北大学） ； University of Southern Queensland（南昆士兰大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究工具使用型大语言模型智能体运行时安全问题，提出NEXUS结构化计划安全监控器，结合多种方法进行分级升级。在多个基准测试中表现出色，如合成基准测试F1分数达0.949等，还具有低延迟、低开销特点，相关成果已公开。

SciHazard: A Benchmark for Measuring Scientific Safety Risks with Decomposed Harm Scoring

SciHazard：一种通过分解危害评分来衡量科学安全风险的基准

Chunxiao Li, Yuan Xiong, Lijun Li, Tianyi Du, Wenlong Zhang, Lei Bai, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对大型语言模型可能传播有害科学知识的问题，引入SciHazard基准及评估框架，含多学科问题。开发分解评估程序计算DeHarm-Score，经专家验证和模型测试，显示该方法能有效衡量风险，还发现深度研究代理存在安全盲点。

Engineering Trustworthy Agentic AI for Critical Systems

为关键系统设计可靠的智能体人工智能

Omar Al-Refai, Ibrahim Shahbaz, Adam Ali Husseinat, Michael Mandulak, Jaewon Kim, Eman Hammad

机构 * Texas A&M University（德克萨斯A&M大学） ； Innovations in Systems Trust and Resilience (iSTAR) Laboratory（系统信任与弹性创新（iSTAR）实验室） ； Texas A&M Institute of Data Science - Security, Privacy and Resilience for Trusted AI (SPARTA) Thematic Lab.（德克萨斯A&M大学数据科学研究所 - 可信人工智能的安全、隐私与弹性（SPARTA）主题实验室） ； Texas A&M Global Cyber Research Institute (GCRI)（德克萨斯A&M大学全球网络研究所） 纠错

专题命中 安全评测 ：trustworthy(title)；safety(abstract)；分类 cs.AI

AI总结 研究针对关键工程领域智能体人工智能，将可靠性作为首要工程属性，采用围绕五个维度的可靠性模型及保证工作流程，综述相关架构、机制等，经多领域检验，指出其可靠性是单一问题并勾勒跨域保证框架路径。

Comments This work has been submitted to the IEEE for possible publication

PRISA: Proactive Infrastructure LiDAR Framework for Intersection Safety Assessment

PRISA：用于交叉路口安全评估的主动式基础设施激光雷达框架

Tam Bang, Hussam Abubakr, Emiliano de la Garza Villarreal, Truc Phuong Nguyen, Austin Harris, Toru Hirano, Mina Sartipi, Yunfei Xu, Hoang H. Nguyen

机构 * University of Tennessee at Chattanooga（田纳西大学查塔努加分校） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.LG

AI总结 研究针对城市交叉路口危险问题，提出PRISA框架，利用隐私保护、低光鲁棒的路边传感器，通过自动整理训练数据训练轨迹预测模型，进行连续运动预测和双重替代安全评估，经实验验证其在交叉路口安全监测方面具有实际可行性。

Comments Accepted for publication at the 2026 IEEE 29th International Conference on Intelligent Transportation Systems (ITSC 2026). 8 pages, 2 figures

SeerGuard: A Safety Framework for Mobile GUI Agents via World Model Prediction

SeerGuard：一种通过世界模型预测实现的移动 GUI 代理安全框架

Xue Yu, Bo Yuan, Pengshuai Yang, Kailin Zhao, Hong Hu, Junlan Feng

机构 * JIUTIAN Research（九天研究） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对移动 GUI 代理安全风险问题，提出 SeerGuard 框架，通过执行前指令级筛选和行动级风险评估减轻风险。构建安全增强世界模型，经实验验证其在不同代理上有效泛化，提升了安全效用分数并降低风险成本分数。

Comments 19 pages, 8 figures