大模型对齐与安全

On AI Safety and Security Technical Debt in Engineering AI-Enabled Systems

关于人工智能系统工程中的人工智能安全与保障技术债务

Muhammad Tukur, Hayatullahi B. Adeyemo, Tao Chen, Nour Ali, Anis Zarrad, Rick Kazman, Marco Agus, Rami Bahsoon

专题命中 安全评测 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI

AI总结 研究人工智能系统工程中的安全与保障技术债务，通过系统综述识别31种AITD并分类，分析其与信任问题的关联，合成34条指南，引入AITD - MAP框架，助工程师应对AITDs。

Comments 64 pages, 7 figures, 8 tables, submitted to ACM Transactions on Software Engineering and Methodology (TOSEM)

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

超越夏普利值：用于大语言模型对齐和评估的基于影响的数据审核管道

Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

机构 * Google（谷歌） 纠错

专题命中 安全评测 ：alignment(title,abstract)；RLHF(abstract,abstract_cn)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型数据质量问题，引入可扩展的基于影响的数据审核管道，通过映射语义邻域到有向图，利用参考LLM概率分布评估数据效用，转换为局部优势指标，有效清理数据集，揭示基准漏洞，确保数据完整性。

MedFailBench: A Clinician-Built Open-Source Benchmark for Medical AI Safety Boundary Inspection

MedFailBench：用于医学人工智能安全边界检查的临床医生构建的开源基准测试

Goktug Ozkan

机构 * Kutahya Emet Dr. Fazil Dogan State Hospital（屈塔希亚埃梅特法齐尔·多安州立医院） 纠错

专题命中 安全评测 ：safety(title,abstract)；AI safety(title)；分类 cs.CL、cs.AI

AI总结 MedFailBench提出不同问题，构建合成基准测试和失败图谱，通过严重程度和安全门类型标记医学人工智能错误，当前版本含44个合成病例等内容，以特定许可形式发布并带有DOI。

Comments 6 pages; synthetic benchmark reviewed by a clinician; no patient data

TRIDENT: Benchmarking LLM Safety in Finance, Medicine, and Law

TRIDENT：评估金融、医学和法律领域大语言模型的安全性

Zheng Hui, Yijiang River Dong, Ehsan Shareghi, Nigel Collier

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.CY、cs.LG

AI总结 研究针对大语言模型在金融、医学和法律领域的安全评估问题，基于相关伦理准则定义安全原则并引入Trident-Bench基准进行评估，揭示了不同模型的安全差距，为LLM安全研究提供了系统资源和研究基础。

Comments COLM 2026

Context-Aware Concept Distillation for Trustworthy Flood Prediction

用于可靠洪水预测的上下文感知概念蒸馏

Eli Levinkopf, Efrat Morin, Claudia V. Goldman

机构 * School of Computer Science and Engineering, The Hebrew University of Jerusalem（耶路撒冷希伯来大学计算机科学与工程学院） ； Institute of Earth Sciences, The Hebrew University of Jerusalem（耶路撒冷希伯来大学地球科学研究所） ； Hebrew University Business School, The Hebrew University of Jerusalem（耶路撒冷希伯来大学商学院） 纠错

专题命中 安全评测 ：trustworthy(title)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对深度学习模型‘黑箱’问题阻碍洪水预测信任度的挑战，提出上下文感知概念蒸馏框架CACD，引入无监督管道和残差超网络，经全球多流域评估，该模型高保真且优于黑箱基线，平衡了AI准确性与决策透明度。

Comments to be published in IJCAI 2026 proceedings

SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI

SAGE：用于高影响力生成式人工智能验证生命周期控制的安全至上深度防御护栏

Mahdi Eslamimehr

机构 * Quandary Peak Research（Quandary Peak研究公司） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究高影响力生成式人工智能的生命周期控制问题，提出SAGE安全至上、授权分离架构，结合多种技术手段。通过形式化结果和实验验证，确立安全优先级等，给出有害合规估计，还介绍了预先注册的扩展测试方法。

Comments 25 pages, 5 figures, 5 tables

Risk Governance for Generative AI Mental Health Support: A Multi-Turn Safety Architecture

生成式人工智能心理健康支持的风险治理：一种多轮安全架构

Anabela C. Areias, Catarina Botelho, António Farinhas, Areti Vassilopoulos, Dora Janela, Xin Tong, Nuno M. Guerreiro, Maya D'Eon, Fabíola Costa, Ricardo Rei

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对大语言模型用于心理健康支持时缺乏风险治理机制的问题，开发了一种多轮安全架构，结合多种方法用于心理健康交互，经测试在多方面表现良好，能改善模型管理风险方式，提供安全部署框架。

AIR-BENCH Live: An Evolving Safety Benchmark for Foundation Models

AIR-BENCH Live：基础模型不断演进的安全基准测试

Rohan Naphade, Minzhou Pan, Bo Li

机构 * Virtue AI（美德人工智能公司） ； Carnegie Mellon University（卡内基梅隆大学） ； Northeastern University（东北大学） ； University of Chicago（芝加哥大学） ； University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对基础模型安全基准测试随模型和法规发展而不足的问题，提出AIR-BENCH Live，通过自动化更新管道和多智能体算法更新提示，扩展了基准测试风险数量，评估模型发现安全范围广等结果，使其能随领域发展。

Comments 11 pages, 7 figures, 3 tables

Physically Verifiable Evidence and LLM-Based Reporting for Bearing Fault Diagnosis

基于物理可验证证据和大语言模型的轴承故障诊断报告

Yuntong Chen, Jianyu Liu, Guobin Zhao, Ziang Wang, Chao Chen, Ju Huang, Xitian Tian, Lijiang Huang

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 针对安全关键型机械系统中AI诊断的验证问题，提出诊断证据网络DENet，将输出扩展为结构化证据记录，包括分类、预测特征频率等，能检测误分类，还通过约束语言模型减少无根据声明率，提升诊断可靠性。

AI-generated Images Challenge Visual Trust in High-risk Scenarios

人工智能生成的图像在高风险场景中挑战视觉信任

Yi-Zhi Wang, Yichen Xiao, Linan Yue, Weibo Gao, Yichao Du, Pengfei Fang, Shimin Di, Min-Ling Zhang

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 研究聚焦人工智能生成图像在高风险场景下对视觉信任的挑战，提出SafeIMG基准，涵盖12个安全场景。评估专门探测器和视觉语言模型，发现它们检测可靠性不足，模型解释覆盖低，表明当前探测器在多方面欠缺，难以可靠评估此类图像。

A Mechanistic Perspective and Circuit-Guided Difficulty Metric for Unlearning

迈向理解遗忘难度：一种机制视角和电路引导的难度度量

Jiali Cheng, Ziheng Chen, Chirag Agarwal, Hadi Amiri

机构 * University of Massachusetts Lowell（马萨诸塞大学洛约拉分校） ； Walmart Global Tech（沃尔玛全球技术） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CUD度量，通过分析模型电路揭示遗忘难度的机制特征，为设计基于模型机制的遗忘方法提供理论基础。

Comments ACL 2026 Findings

Robustness and Cybersecurity in the EU Artificial Intelligence Act

欧盟人工智能法案中的稳健性与网络安全

Henrik Nolte, Miriam Rateike, Michèle Finck

机构 * University of Tübingen（图宾根大学） ； IBM Research Africa（IBM非洲研究中心） ； Saarland University（萨尔兰州大学） ； CSZ Institute for Artificial Intelligence and Law, University of Tübingen（人工智能与法律研究所，图宾根大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文针对欧盟人工智能法案中高风险人工智能系统和通用人工智能模型相关条款，识别其在稳健性和网络安全方面的法律挑战与缺陷，结合机器学习进展评估实施挑战，为制定相关标准等提供参考，弥合法律与研究差距。

Comments A previous version contained an incorrect publication year for the AI Act on page 1. This has been corrected

Journal ref The 2025 ACM Conference on Fairness, Accountability, and Transparency

Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking

新主张还是似曾相识？重新思考多模态自动事实核查的“无污染”动态评估

Haorui He, Xinwen Chen, Dacheng Wen, Reynold Cheng, Francis C. M. Lau, Yupeng Li

机构 * Hong Kong Baptist University（香港浸会大学） ； The University of Hong Kong（香港大学） ； Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态自动事实核查中基准的污染风险，通过实证研究静态和动态基准，发现动态评估虽能减少但不能消除污染，新主张可多种方式验证，污染会致性能膨胀和排名扭曲，为可信评估提供实用指南。

Comments Accepted at ACM Multimedia (ACM MM), 2026

Beyond a Global Norm: Personalizing Toxicity Sensitivity in Language Models Without Retraining

超越全局规范：无需重新训练即可在语言模型中实现毒性敏感性个性化

Rares A. C. Diaconescu, Iulia Slanina, Alina Florea, Andrei B. Trache, Miruna E. Coroi, Anne Arzberger, Jie Yang, Enrico Liscio

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何在语言模型中实现毒性敏感性个性化，通过对免训练方法在三个推理阶段进行比较评估，与PRISM数据集目标对比，各方法降低对齐误差28 - 47%，揭示了多目标间权衡。

Adapter Merging Reactivates Latent Reasoning Traces: A Mechanism Analysis

适配器合并重新激活潜在推理痕迹：一种机制分析

Junyi Zou

机构 * Zjydiary Group（Zjydiary小组） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示适配器合并后推理痕迹的重新激活机制，通过几何方法减少泄漏并提升准确性。

Comments Withdrawn by the authors after identifying an implementation error in adapter coefficient scaling that materially affects the main empirical results and invalidates the current conclusions. A corrected reanalysis is in progress

Principles and Guidelines for Randomized Controlled Trials in AI Evaluation

人工智能评估中随机对照试验的原则与指南

Christopher Kelly, Angelica Chowdhury, Alexandra Campili, Bimpe Ayoola, Devin Barbour, Thomas Chen Dawson, Ze Shen Chin, Rokas Gipiškis

专题命中 安全评测 ：分类 cs.AI、cs.CY、cs.LG；safety(comments)；AI safety(comments)

AI总结 研究针对人工智能评估随机对照试验缺乏通用标准和共享词汇的问题，借鉴多学科实践综合五条原则，形成33条可操作指南，为其发挥设计工具、评估标准和标准制定蓝图的作用，提供评估标准、共享语言及指南。

Comments 33 pages, ICML 2026 (Workshop on Technical AI Governance Research) and Technical AI Safety Conference

KANEx: Translating Kolmogorov-Arnold Networks' Interpretability to Medical Explainability

KANEx：将柯尔莫哥洛夫-阿诺德网络的可解释性转化为医学可解释性

Krithi Shailya, Ananya Lakshmi Ravi, Venkatanathan K. V., Sowmya S. Sundaram, Gokul S. Krishnan, Aditi Anand, Balaraman Ravindran

机构 * Indian Institute of Technology Madras（印度理工学院马德拉斯分校） ； Vanderbilt University School of Medicine（范德堡大学医学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 研究针对医学应用中视觉模型黑箱问题，提出KANEx框架，利用柯尔莫哥洛夫-阿诺德网络的符号透明度为VLM推理奠基，设计KAN-Map热图生成方法，经实验验证该方法能提升语义相似度、视觉定位及推理质量，为可信医学人工智能发展助力。

Comments MICCAI 2026

Evaluating the Impact of Explainable AI on Trust in AI-Assisted Code Review

评估可解释人工智能对人工智能辅助代码审查中信任的影响

Zhenhan Gao, Marvin Muñoz Barón, Umm-e Habiba, Daniel Graziotin, Stefan Wagner

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 研究可解释人工智能（XAI）对开发人员在人工智能辅助代码审查中信任的影响，通过对34名参与者的受试者内用户研究，比较不同XAI支持水平的系统，发现解释水平显著影响信任和认同，结果为可信代码审查系统设计等研究提供信息。

Comments 23 pages, 4 figures, 5 tables. To appear in Proceedings of the ACM on Software Engineering (PACMSE), Vol. 3, No. ISSTA, Article ISSTA093 (ISSTA 2026). Published under CC BY 4.0. Replication package: https://doi.org/10.5281/zenodo.21457282

Evaluating Fuzz Testing for Reinforcement Learning Agents

评估强化学习智能体的模糊测试

Zhibin Kang, Hanmo You, Dong Wang, Haiming Zheng, Junjie Chen

机构 * College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 研究针对强化学习智能体模糊测试评估差异问题，通过在三种环境下统一配置对五种方法及随机测试进行基准测试，从多角度评估，揭示不同方法特点，表明模糊测试能提升智能体鲁棒性等，还给出可操作指导。

From transcription to semantic corpus analysis: unsupervised learning of sentence representations for ancient languages

从转录到语义语料库分析：古代语言句子表示的无监督学习

Th{é}otime de la Selle

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 研究古代语言句子表示的无监督学习，采用TSDAE和CSE策略，将专门语言模型转换为特定语料库句子编码器，在教父文献圣经重用案例中表现出色，优于多种基线，且可跨作品作者迁移，相关工具可供非专业人员使用。

Plato-Bio: verification-first biological novelty screening with temporal rediscovery and structural benchmarks

柏拉图生物：通过时间再发现和结构基准进行验证优先的生物新奇性筛选

Stefan G. Creadore

机构 * Praxa Labs（普拉克斯实验室） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究开发柏拉图生物，扩展开放架构并结合多种功能，修复评估缺陷。通过Python套件等验证其有效性，评估两个用例，如历史再发现任务及蛋白质结构比较，提供可重复软件契约和筛选基准，为生物研究提供支持。

Comments 16 pages, 6 figures, 3 tables. Companion code and data: https://github.com/Eldergenix/Plato-Scientific-Research-Autonomous-Agent. This fork-specific validation study cites, but does not duplicate, arXiv:2510.26887

SymStep: Symbolic Step Verification for Logical Reasoning

SymStep：用于逻辑推理的符号步骤验证

Aida Usmanova, Rui Gao, Dilshod Azizov, Ricardo Usbeck, Zangir Iklassov

机构 * Leuphana University of Lüneburg（吕讷堡莱普芬纳大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究针对约束密集型逻辑推理任务中思维链提示的不足，提出SymStep方法，通过语言模型分步声明、约束传播器检查一致性等进行推理，在多个逻辑推理任务上表现优异，最小剩余值指导和一致性检查起关键作用。

Chart Deception in Vision-Language Models: From Vulnerability to Mitigation

视觉语言模型中的图表欺骗：从漏洞到缓解

Ridwan Mahbub, Mohammed Saidul Islam, Md Tahmid Rahman Laskar, Mizanur Rahman, Mir Tafseer Nayeem, Enamul Hoque

机构 * York University（约克大学） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 研究视觉语言模型对图表欺骗的鲁棒性，引入VisDeception基准和欺骗分数，发现模型易受影响，提出推理时多智能体缓解框架，揭示可靠性差距，确立相关评估及推理方向以开发更可信的视觉分析VLM。

Synthetic Scenario Generation for Evaluation of Industry 4.0 Agents

用于工业4.0智能体评估的合成场景生成

Sagar Chethan Kumar, Rohith Kanathur, Dhaval Patel, Kaoutar El Maghraoui

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 研究针对工业智能体基准测试场景有限问题，扩展AssetOpsBench并引入ScenarioGeneratorAgent管道，通过多种优化方式提高可扩展性，实现智能电网变压器场景生成的高效优化，有效扩展工业智能体基准测试且保证场景质量。

Comments 19 pages, 3 appendices

A corrective agentic hybrid RAG and an operations-grounded evaluation for a scientific facility

一种用于科学设施的校正智能混合RAG及基于操作的评估

Rajat Sainju, Dariusz Jarosz, Hairong Shang, Michael Prince, Ryan M. Aydelott, Mathew J. Cherukara, Yine Sun, Michael D. Borland

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 研究针对科学设施操作知识难覆盖问题，提出APS - RAG平台，融合多种检索通道并添加校正智能循环，构建APS - Bench数据集评估。结果显示该平台提升关键信息召回率，交叉编码器重排器作用显著，还发布相关资源，为设施操作提供可信AI辅助工作流程。

Agents Don't Just Agree, They Remember: Benchmarking Persistent Sycophancy in Stateful Personal Agents

智能体不仅会认同，还会记忆：对有状态个人智能体中持续谄媚行为的基准测试

Xutao Mao, Liangjie Zhao, Leyao Wang, Rui Qian, Qiang Huang, Wentao Wang, Bo Han, Xiang Zheng, Cong Wang

机构 * City University of Hong Kong（香港城市大学） ； ByteDance（字节跳动） ； Yale University（耶鲁大学） ； Fudan University（复旦大学） ； Hong Kong Baptist University（香港浸会大学） ； Dalian University of Technology（大连理工大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究有状态个人智能体中的持续谄媚行为，引入PASB基准测试，评估真实智能体。通过特定方法隔离写入过程，发现提交边界是关键转折点，提交声明有三种模式，表明智能体谄媚行为是状态写入治理问题，PASB确定相关写入时控制。

OpenAIs HealthBench in Action: Evaluating an LLM-Based Medical Assistant on Realistic Clinical Queries

OpenAIs HealthBench in Action: 评估基于LLM的医疗助手在真实临床查询中的表现

Sandhanakrishnan Ravichandran, Shivesh Kumar, Rogerio Corga Da Silva, Miguel Romano, Reinhard Berkels, Michiel van der Heijden, Olivier Fail, Valentine Emmanuel Gnanapragasam

机构 * OpenAI 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 DR.INFO在HealthBench基准测试中表现优异，优于多个前沿LLM，在复杂临床查询中展现出高准确性和情境感知能力。

Comments 13 pages, two graphs

PReSS: An Automated Black-Box Framework for Evaluating Political Stance Stability in LLMs

PReSS：通过论证压力评估LLM中政治立场稳定性的黑盒框架

Shariar Kabir, Kevin Esterling, Yue Dong

机构 * Bangladesh University of Engineering and Technology（孟加拉工程科技大学） ； University of California Riverside（加州大学河滨分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 PReSS通过评估LLM在不同话题下的立场稳定性，揭示了模型政治立场的动态变化，为理解和干预政治敏感行为提供新视角。

Comments 13 pages, 8 figures

Journal ref In Proceedings of the 3rd Workshop on Natural Language Processing for Political Sciences (PoliticalNLP 2026) @ LREC 2026 (pp. 234-247)

BioProBench: A Corpus and Benchmark for Biological Protocol Reasoning in Autonomous Science

BioProBench: 一个全面的数据集和生物协议理解与推理基准

Yuyang Liu, Liuzhenghao Lv, Xiancheng Zhang, Jingya Wang Li Yuan, Yonghong Tian

机构 * School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） ； School of Chemical Biology&Biotechnology, Peking University（北京大学化学生物学与生物技术学院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 BioProBench通过构建大规模数据集和基准，提升生物协议理解与推理的LLM性能。

Infrared Imaging Empowered by Artificial Intelligence for Pediatric Skeletal Triage: A Narrative Review and Future Perspectives

人工智能助力的儿科骨骼分类红外成像：综述与未来展望

Sajad Amiri, Pardis Afshar, Elham Anjomshoa

专题命中 安全评测 ：safety(abstract)

AI总结 该研究旨在构建结合广谱红外成像与深度学习的混合框架用于儿科骨骼分类。回顾相关光谱窗口及采集方式，总结图像转换和特征匹配算法。指出儿科解剖利于红外穿透，集成多光谱红外+人工智能成像是无辐射补充，但面临多方面障碍。

Comments 20 pages, 4 figures