大模型对齐与安全

NSF-HRPT: Neural Semantic Field meets Hierarchical Risk Perception Tree for Safety-Critical Scenario Assessment

NSF-HRPT：神经语义场结合分层风险感知树的安全关键场景评估方法

Yu Zhao, Jiangyu Pan, Tao Hu, Ming Yin, Fan Yang, Jiangfan Liu, Xiubo Liang

机构 * Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究提出NSF-HRPT框架，结合神经语义场与分层风险感知树，引入Sim2Real策略，实现单目视觉输入下安全关键场景的高效风险评估，在合成与现实数据集上均取得优异性能。

Comments 13 pages, 5 figures

ADMITBench: A Safety-Governed Reference Framework for Evaluating the Admissibility of Industrial LLM Advisories

ADMITBench：用于评估工业LLM咨询建议可采纳性的安全管控参考框架

Yash Misra, Javal Vyas, Siddharth Gutta, Mehmet Mercangöz

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 本研究提出ADMITBench框架，用于评估工业LLM咨询建议的可采纳性，该框架采用带版本的安全管控评估契约，0.1.0版本为公开参考实现，面向技术与研究评估。

Evaluating Counterfactual Sensitivity to Patient Information in Medication-Safety Reasoning

评估药物安全推理中对患者信息的反事实敏感性

Zhitian Hou, Yuhang Liu, Pengkai Wang, Zeyu Liu, Guanghao Zhu, Zheng Liu, Shuo Cai, Congkai Xie, Zhijie Sang, Kun Zeng, Hongxia Yang

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 本研究推出MedPIC-Bench基准，评估不同LLM在药物安全推理中对患者信息的反事实敏感性，发现所有模型在反事实问题上表现更差，医学专用LLM的反事实表现落后于通用LLM，凸显静态准确性的评估局限性。

Leveraging AI for fine-grained food safety risk forecasting in sparse data conditions

利用人工智能在稀疏数据条件下进行细粒度食品安全风险预测

Dongqi Wang, Weiwei Chen, Han Zhou, Weihua Zhou

机构 * Zhejiang University（浙江大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究提出基于Transformer的框架，整合多类数据与Wilson区间预训练，在稀疏数据下细粒度预测城市食品安全风险，实验及浙江实地测试显示其性能优于基线，可提升检测率与检查资源分配效率。

HetGPS: Scalable Graph Multi-Agent Reinforcement Learning with Physics-Anchored Adaptive Safety for EV Charging

HetGPS：面向电动汽车充电的、带物理锚定自适应安全机制的可扩展图多智能体强化学习

Xiangwei Wang, Nanduni Nimalsiri, Yu Xia, Peng Wang, Saman Halgamuge

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究提出HetGPS混合图控制框架，结合学习图风险与物理锚定校正，实现可扩展的电动汽车充电多智能体协调，降低电压违规率并提升离网成功率，模型规模与车队无关且可跨系统零样本迁移。

MMLDSum-LLM: Multimodal Long-Document Summarization with Visual-Alignment and Keyword-Aware

MMLDSum-LLM：结合视觉对齐与关键词感知的多模态长文档摘要方法

Xianpeng Zhang, Jiahua Yang, Dongyu Chen, Lei zhang, Jian Ma, Xu guohuan, Haonan Lu, Tianhuang Su, Chuangchuang Wang, Kai Tang

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 针对多模态长文档摘要的关键信息遗漏与跨模态幻觉问题，提出结合视觉对齐与关键词感知的两阶段训练框架MMLDSum-LLM，在自研基准MMLDSum-Bench上验证了其性能优势。

Safety-Gated Agentic Supervisory Control on a Coupled Distillation Benchmark: Regime Map, Auditable Gate, and Co-Design Findings

耦合精馏基准上的安全门控智能体监督控制：工况图、可审计门与协同设计发现

Christian Rosenthal

专题命中 安全评测 ：safety(title,abstract)；分类 cs.LG

AI总结 该研究针对耦合精馏基准，提出基于规则的分叉孪生反事实安全门控机制，结合DeepSeek-V4-Flash等模型，在目标获取、扰动抑制等任务上优于基准方法，可有效遏制有害操作。

Comments 31 pages, 8 figures. Code and data: https://github.com/cgncro-cyber/IndustrialAI. Sole author; independent research

SciFigAlign: Scoring Scientific Figures by Fine-tuned Alignment of Visuals with Manuscript Evidence

SciFigAlign：通过微调视觉内容与稿件证据的对齐来对科学图表进行评分

Chuanzhi Xu, Zihan Deng, Huiqi Liang, Chengkun Yue, Zhanlin Cui, Pengfei Ye, Weidong Cai

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文构建了含3857张科学图表的标注数据集，提出基于稿件证据的多模态评分器SciFigAlign，其在测试集上的MAE为0.3524，相对最佳LLM基准降低59%误差，证实需视觉与稿件证据的学习对齐。

SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI

SAGE：用于高影响力生成式人工智能验证生命周期控制的安全至上深度防御护栏

Mahdi Eslamimehr

机构 * Quandary Peak Research（Quandary Peak研究公司） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究高影响力生成式人工智能的生命周期控制问题，提出SAGE安全至上、授权分离架构，结合多种技术手段。通过形式化结果和实验验证，确立安全优先级等，给出有害合规估计，还介绍了预先注册的扩展测试方法。

Comments 25 pages, 5 figures, 5 tables

Risk Governance for Generative AI Mental Health Support: A Multi-Turn Safety Architecture

生成式人工智能心理健康支持的风险治理：一种多轮安全架构

Anabela C. Areias, Catarina Botelho, António Farinhas, Areti Vassilopoulos, Dora Janela, Xin Tong, Nuno M. Guerreiro, Maya D'Eon, Fabíola Costa, Ricardo Rei

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对大语言模型用于心理健康支持时缺乏风险治理机制的问题，开发了一种多轮安全架构，结合多种方法用于心理健康交互，经测试在多方面表现良好，能改善模型管理风险方式，提供安全部署框架。

AIR-BENCH Live: An Evolving Safety Benchmark for Foundation Models

AIR-BENCH Live：基础模型不断演进的安全基准测试

Rohan Naphade, Minzhou Pan, Bo Li

机构 * Virtue AI（美德人工智能公司） ； Carnegie Mellon University（卡内基梅隆大学） ； Northeastern University（东北大学） ； University of Chicago（芝加哥大学） ； University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对基础模型安全基准测试随模型和法规发展而不足的问题，提出AIR-BENCH Live，通过自动化更新管道和多智能体算法更新提示，扩展了基准测试风险数量，评估模型发现安全范围广等结果，使其能随领域发展。

Comments 11 pages, 7 figures, 3 tables

Towards Trustworthy and Cost-Efficient Data Integration: From Naïve RAG to Agentic RAG

迈向可信且经济高效的数据集成：从朴素检索增强生成到智能体检索增强生成

Chuangtao Ma, Arijit Khan

机构 * Aalborg University, Denmark（丹麦奥胡斯大学） ； Bowling Green State University, USA（美国布恩威尔州立大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI

AI总结 探讨大语言模型和人工智能智能体在企业数据集成中面临的挑战，介绍从经典RAG到智能体RAG的演变，研究经济高效集成的优化策略，为构建可靠、可解释和可扩展的数据集成系统指明方向。

Comments To Appear in the IEEE Data Engineering Bulletin

A Roadmap to Impactful Pluralistic Alignment Research

有影响力的多元对齐研究路线图

Elinor Poole-Dayan, Jillian Fisher, Atoosa Kasirzadeh, Jacob Andreas, Mitchell Gordon, Michiel A. Bakker

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 研究多元价值对齐在实际AI系统中未产生影响的问题，指出原因包括理由多为规范或推测、未明确理想多元行为及现有方法与指标不足。提出未来研究应转向实证基础、明确行为目标并建立实用方法与评估，以推动该领域发展。

Geometry-Guided Constraint Learning for LLM Safety Classification

用于大语言模型安全分类的几何引导约束学习

Fumiaki Uehara, Koo Imai, Masato Tsutsumi, Keigo Kansa, Sora Usui, Yuki Kobiyama

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究大语言模型安全分类，利用稀疏自动编码器特征提取解决安全多面体中约束数量调整问题，在Qwen3.5 - 9B上对部分类别K = 2最优，准确率达96 - 99%，基于几何观点引入锥约束并经三阶段训练稳定。

NEXUS: Structured Runtime Safety for Tool-Using LLM Agents

NEXUS：工具使用型大语言模型智能体的结构化运行时安全

Elias Hossain, Md Mehedi Hasan Nipu, Tasfia Nuzhat Ornee, Rajib Rana, Niloofar Yousefi

机构 * University of Central Florida（中佛罗里达大学） ； North South University（南北大学） ； University of Southern Queensland（南昆士兰大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究工具使用型大语言模型智能体运行时安全问题，提出NEXUS结构化计划安全监控器，结合多种方法进行分级升级。在多个基准测试中表现出色，如合成基准测试F1分数达0.949等，还具有低延迟、低开销特点，相关成果已公开。

SciHazard: A Benchmark for Measuring Scientific Safety Risks with Decomposed Harm Scoring

SciHazard：一种通过分解危害评分来衡量科学安全风险的基准

Chunxiao Li, Yuan Xiong, Lijun Li, Tianyi Du, Wenlong Zhang, Lei Bai, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对大型语言模型可能传播有害科学知识的问题，引入SciHazard基准及评估框架，含多学科问题。开发分解评估程序计算DeHarm-Score，经专家验证和模型测试，显示该方法能有效衡量风险，还发现深度研究代理存在安全盲点。

Engineering Trustworthy Agentic AI for Critical Systems

为关键系统设计可靠的智能体人工智能

Omar Al-Refai, Ibrahim Shahbaz, Adam Ali Husseinat, Michael Mandulak, Jaewon Kim, Eman Hammad

机构 * Texas A&M University（德克萨斯A&M大学） ； Innovations in Systems Trust and Resilience (iSTAR) Laboratory（系统信任与弹性创新（iSTAR）实验室） ； Texas A&M Institute of Data Science - Security, Privacy and Resilience for Trusted AI (SPARTA) Thematic Lab.（德克萨斯A&M大学数据科学研究所 - 可信人工智能的安全、隐私与弹性（SPARTA）主题实验室） ； Texas A&M Global Cyber Research Institute (GCRI)（德克萨斯A&M大学全球网络研究所） 纠错

专题命中 安全评测 ：trustworthy(title)；safety(abstract)；分类 cs.AI

AI总结 研究针对关键工程领域智能体人工智能，将可靠性作为首要工程属性，采用围绕五个维度的可靠性模型及保证工作流程，综述相关架构、机制等，经多领域检验，指出其可靠性是单一问题并勾勒跨域保证框架路径。

Comments This work has been submitted to the IEEE for possible publication

PRISA: Proactive Infrastructure LiDAR Framework for Intersection Safety Assessment

PRISA：用于交叉路口安全评估的主动式基础设施激光雷达框架

Tam Bang, Hussam Abubakr, Emiliano de la Garza Villarreal, Truc Phuong Nguyen, Austin Harris, Toru Hirano, Mina Sartipi, Yunfei Xu, Hoang H. Nguyen

机构 * University of Tennessee at Chattanooga（田纳西大学查塔努加分校） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.LG

AI总结 研究针对城市交叉路口危险问题，提出PRISA框架，利用隐私保护、低光鲁棒的路边传感器，通过自动整理训练数据训练轨迹预测模型，进行连续运动预测和双重替代安全评估，经实验验证其在交叉路口安全监测方面具有实际可行性。

Comments Accepted for publication at the 2026 IEEE 29th International Conference on Intelligent Transportation Systems (ITSC 2026). 8 pages, 2 figures

SeerGuard: A Safety Framework for Mobile GUI Agents via World Model Prediction

SeerGuard：一种通过世界模型预测实现的移动 GUI 代理安全框架

Xue Yu, Bo Yuan, Pengshuai Yang, Kailin Zhao, Hong Hu, Junlan Feng

机构 * JIUTIAN Research（九天研究） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对移动 GUI 代理安全风险问题，提出 SeerGuard 框架，通过执行前指令级筛选和行动级风险评估减轻风险。构建安全增强世界模型，经实验验证其在不同代理上有效泛化，提升了安全效用分数并降低风险成本分数。

Comments 19 pages, 8 figures

Beyond the Leaderboard: Design Lessons for Trustworthy Multimodal VQA

超越排行榜：可信多模态视觉问答的设计经验教训

Sushant Gautam, Vajira Thambawita, Michael A. Riegler, Pål Halvorsen, Steven A. Hicks

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CL

AI总结 以MediaEval Medico 2025为案例，分析九个多模态问答系统，发现预训练主干的参数高效适应虽有挑战性能，但答案提升未转化为完整临床推理，结构化推理等方法更可靠，结果促使多方面改进，支持可信多模态医疗保健人工智能。

Comments Accepted for presentation at the 39th IEEE International Symposium on Computer-Based Medical Systems (IEEE CBMS 2026) as a regular paper

SafeRelBench: A Spatial-Relation-Aware Benchmark for Process-Level Safety in VLM-Driven Embodied Agents

SafeRelBench：用于VLM驱动的具身智能体过程级安全的空间关系感知基准测试

Huaigang Yang, Ya Li, Min Ren, Bo Dai, Zhenliang Zhang, Zhaofeng He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，字节跳动公司） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究VLM驱动具身智能体的过程级安全问题，引入SAFERELBENCH基准测试，含507个样本。评估七个智能体发现任务成功与安全合规有差距，该基准明确测试行动前安全条件，凸显空间关系在安全评估中的核心地位。

Comments Preprint. 10 pages, 6 figures, 4 tables

Latent Communication Between Language Model Agents: Channels, Alignment, and the Limits of Text

语言模型智能体之间的潜在通信：通道、对齐方式及文本的局限性

Markus Wenzel

机构 * Constructor University（康斯坦丁大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

AI总结 研究大语言模型智能体间潜在通信，构建三个通信通道，通过稀疏自编码器分析信息损失，经实验发现文本通信会丢失信息，潜在通道在跨语言概念任务上与文本通道匹配但未超，得出丢失特征多编码表面形式的结论，还指出明确潜在通信优势需更深入任务及分析框架。

Toward Trustworthy Autonomous Science: A Two-Year Community Roadmap

迈向可信自主科学：两年社区路线图

Rafael Ferreira da Silva, Milad Abolhasani, Peter Beaucage, Laura Biven, Michael Bussmann, Kyle Chard, Ryan Coffee, Stephen DeWitt, Sagar Dolas, Carrie Eckert, David Elbert, Ian Foster, Tirthankar Ghosal, Anna Giannakou, Tom Gibbs, Leslie Hamilton, Glenn Lockwood, Theresa Mayer, Ben Mintz, Raffi Nazikian, Sal Nimer, Amanda Randles, Woong Shin, Sreenivas Rangan Sukumar, Frédéric Suter, Mitra Taheri, Michela Taufer, Draguna Vrabie

机构 * U.S. Department of Energy, Office of Science, Office of Advanced Scientific Computing Research（美国能源部科学办公室高级科学计算研究办公室） 纠错

专题命中 安全评测 ：trustworthy(title)；safety(abstract)；分类 cs.AI

AI总结 该研究针对自主科学领域发展现状及问题，更新路线图围绕七个维度，评估原有里程碑并新增四个，规划两年发展路径，第一年聚焦接口等搭建验证框架，第二年针对联盟等，强调基层网络的互操作性。

Surprisingly Simple and Effective Multi-Domain Graph Foundation Model through Graph-to-Table Alignment

通过图到表对齐实现惊人简单且有效的多域图基础模型

Chunyu Hu, Tianyin Liao, Ge Lan, Xingxuan Zhang, Jianxin Li, Peng Cui, Ziwei Zhang

机构 * Nankai University（南开大学） ； Beihang University（北京航空航天大学） ； Tsinghua University（清华大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

AI总结 研究如何让表格基础模型有效捕获图结构信息，提出GTAlign框架，先预训练图编码器捕获图表示，通过社区引导持续预训练弥合差距，应用于目标域推理，实验表明该框架在节点和图分类上显著优于基线，提供简单无文本的图基础模型。

OmniSCS: Omni Safety-Critical Scenario Synthesis for Autonomous Driving via a Fully Editable Driving World

OmniSCS：通过完全可编辑的驾驶世界实现自动驾驶的全场景安全关键场景合成

Xiaoyun Dong, Qian Xu, Yang Lu, Yang Lou, Yung-Hui Li, Jianping Wang

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对自动驾驶安全关键场景合成难题，提出OmniSCS系统，通过完全可编辑驾驶世界构建和SCS合成两个模块，保持数据保真度，在多数据集实验中表现出色，能增强算法并支持实时闭环测试，为SCS优化测试提供高效方案。

A safety-oriented hypothetico-deductive framework for AI-assisted differential diagnosis

一种用于人工智能辅助鉴别诊断的面向安全的假设-演绎框架

Fan Ma, Mauro Giuffrè, Donald Wright, Kent McCann, Mark Iscoe, Lingfei Qian, Mingyang Jiang, Chi Wing Ng, Na Hong, Huan He, Cathy Shyr, Qingyu Chen, Lee Schwamm, Lucila Ohno-Machado, Hua Xu

机构 * Yale School of Medicine, Yale University（耶鲁大学医学院，耶鲁大学） ； Università degli Studi di Trieste（的里雅斯特大学） ； Vanderbilt University（范德堡大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对诊断错误威胁，提出AegisDx框架，通过协调LLM组件进行鉴别诊断、筛查危险情况、验证推理等。经多层面评估，该框架在诊断准确率及安全评分等方面表现优于独立LLM，为急性护理提供更优床边决策支持

Scalable and Trustworthy Earth Observation Foundation Models

可扩展且可信的地球观测基础模型

Syed Usama Imtiaz, Mitra Nasr Azadani, Nasrin Alamdari

机构 * Department of Civil and Environmental Engineering, Florida State University（土木与环境工程系，佛罗里达州立大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.LG

AI总结 研究地球观测基础模型，指出其因数据特性需特定领域适配。回顾相关设计原则，综合模型格局等内容，纳入基准证据说明评估问题，通过案例展示实践原则，提出应从多方面评估下一代遥感基础模型。

Comments (Preprint, in review) Elsevier Book Chapter: Next-Generation Remote Sensing Methods

Trustworthy Machine Learning through the Lens of Combinatorial Optimization: Survey and Research Perspectives

从组合优化视角看可信机器学习：综述与研究展望

Thibaut Vidal, Julien Ferry

机构 * CIRRELT & SCALE-AI Chair in Data-Driven Supply Chains, Department of Mathematics and Industrial Engineering, Polytechnique Montreal（CIRRELT与数据驱动供应链的SCALE-AI主席、数学与工业工程系，蒙特利尔大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.LG

AI总结 探讨如何从组合优化视角实现可信机器学习，回顾并综合其与组合优化交叉领域进展，涵盖训练及训练后多任务，指出组合优化公式比纯启发式方法更具优势，虽有挑战，但在可信机器学习系统设计和部署中作用将增大。

Comments 67 pages, 16 mathematical highlights

Operational Reframing and Approval-Framed Delegation in Multi-Agent LLM Safety

多智能体大语言模型安全中的操作重构与批准框架委托

Lifei Liu, Haoran Yu, Xiaochong Jiang, Su Wang, Pin Qian, Yihang Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究多智能体大语言模型安全评估，引入五条件控制对比设计分离有害意图、规划器与执行器行为等因素，发现汇总管道安全非稳定架构属性，操作重构是关键风险信号，还揭示各因素对安全的影响及模型排名与实际行为的差异。

Toward Trustworthy Large Language Model Agents in Healthcare

迈向医疗保健领域值得信赖的大语言模型智能体

Hadi Hasan, Safaa Salman, Adam Tai Abou Dargham, Ammar Mohanna, Ali Chehab

专题命中 安全评测 ：trustworthy(title)；safety(abstract)；分类 cs.AI

AI总结 针对医疗预约调度瓶颈，提出CareConnect智能体，利用大语言模型函数调用等技术，协调工具支持预约操作，设安全护栏。经评估有高任务完成率、安全合规性及成本效益，能自动化复杂医疗工作流程。