大模型对齐与安全

Position: AI/ML Deepfake Research is Misaligned with AI-Generated Non-Consensual Intimate Imagery (AIG-NCII)

立场：人工智能/机器学习领域对深度伪造的研究与人工智能生成的非自愿亲密图像（AIG-NCII）不一致

Li Qiwei, Wells Lucas Santo, Sarita Schoenebeck, Eric Gilbert

专题命中 红队测试 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 研究指出人工智能/机器学习领域对深度伪造的研究与AIG-NCII不一致，现有技术干预忽略AIG-NCII，现有干预只关注观众认知危害，忽略主体尊严危害，建议更新威胁模型，在安全研究中解决AIG-NCII，同时警告研究人员涉足该领域需谨慎并做好防护。

Comments ICML 2026. Outstanding position paper honorable mention

Tailored untruths: How personalisation challenges LLM safeguards

量身定制的虚假信息：个性化如何挑战大语言模型的安全防护

João A. Leite, João Luz, Silvia Gargova, Arnav Arora, Gustavo Sampaio, Ian Roberts, Carolina Scarton, Kalina Bontcheva

机构 * University of Sheffield（谢菲尔德大学） ； University of Copenhagen（哥本哈根大学） ； Big Data for Smart Society Institute (GATE)（大数据智能社会研究所（GATE）） ； University of São Paulo（圣保罗大学） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.CL

AI总结 研究LLMs针对特定角色生成虚假信息的情况，采用红队测试方法创建数据集，发现安全防护在多数情况下失效，各模型能有效定制输出，还揭示了特定语言和心理模式及安全防护有效性差异，凸显加强多语言安全防护的必要。

V-DEAL: Diagnosing Video Safety De-Calibration as an Understanding-Refusal Coupling Failure

V-DEAL：将视频安全去校准诊断为理解-拒绝耦合失败

Zhetong Zhang, Honghao Fu, Miao Xu, Yiwei Wang, Yujun Cai

机构 * University of Queensland（昆士兰大学） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 提示注入 ：safety(title,abstract)；alignment(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 研究视频大语言模型安全对齐问题，提出V-DEAL三级诊断框架分析漏洞机制，通过测试发现模型识别有害视频内容有一定准确率，但配对有害视频与良性查询时攻击成功率高，视觉理解激活拒绝倾向弱，还引入提示注入干预方法降低攻击成功率。

Semalith v1.4: A Calibrated 184M Safety Classifier Achieving State-of-the-Art Prompt-Injection Detection at 44x Fewer Parameters than Llama-Guard-3-8B

Semalith v1.4：一个经过校准的1.84亿参数安全分类器，在参数比Llama - Guard - 3 - 8B少44倍的情况下实现了先进的提示注入检测

Tejasvi C. Addagada

专题命中 提示注入 ：safety(title,abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对金融服务等场景中大语言模型安全分类需求，提出Semalith v1.4分类器，能单步实现三轴安全分类，经训练和对比测试，在提示注入检测上表现出色且参数少，还给出不同场景下的部署建议。

Comments 16 pages, 8 tables, no figures

Just Testing, Move Along: Evasion of LLM-based System Log Interpretation by Prompt Injection

只是测试，继续前进：通过提示注入规避基于大语言模型的系统日志解释

Max Landauer, Florian Skopik, Markus Wurzenberger, Franciszek Górski, Mateusz Krzysztoń

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 研究基于大语言模型的系统日志解释中提示注入攻击问题，提出评估框架，利用真实攻击日志痕迹创建对抗示例，证明攻击可致恶意日志误分类，且LLMs解释含对抗指标可用于检测攻击。

AgentWatcher: A Rule-based Prompt Injection Monitor

AgentWatcher: 一种基于规则的提示注入监控

Yanting Wang, Wei Zou, Runpeng Geng, Jinyuan Jia

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 本文提出AgentWatcher，通过聚焦短文本片段和定义明确的规则，解决提示注入检测中上下文长度影响和规则不明确的问题，实现可扩展且可解释的检测方法。

Comments The code is available at https://github.com/wang-yanting/AgentWatcher

PINA: Prompt Injection Attack against Navigation Agents

PINA：针对导航代理的提示注入攻击

Jiani Liu, Yixin He, Lanlan Fan, Qidi Zhong, Yushi Cheng, Meng Zhang, Yanjiao Chen, Wenyuan Xu

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 PINA提出了一种针对导航代理的提示注入攻击检测框架，通过实验展示了其高攻击成功率和稳健性，揭示了导航代理在安全方面的关键漏洞。

Comments Accepted at ICASSP 2026

Journal ref 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2026

Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents

谁买单？面向真实世界网络代理的以利益相关者为中心的提示注入基准测试

Zihao Wang, Yiming Li, Yutong Wu, Kangjie Chen, Zheyu Liu, Fok Kar Wai, Pin-Yu Chen, Vrizlynn L. L. Thing, Bo Li, Dacheng Tao, Tianwei Zhang

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； ST Engineering, Singapore（ST工程，新加坡） ； IBM Research, USA（IBM研究院，美国） ； University of Illinois Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校，美国） 纠错

专题命中 提示注入 ：prompt injection(title)；分类 cs.AI、cs.CY

AI总结 提出以利益相关者为中心的基准测试框架，系统分类和归因真实世界网络代理系统中的提示注入危害，揭示当前代理无法可靠抵抗任何攻击目标，且失败模式多样。

Comments 25 pages

Agentic Cloud Decoys: A Deception-Driven Framework for Autonomous Intrusion Investigation

智能云诱饵：一种用于自主入侵调查的欺骗驱动框架

Mohan Manivannan, Dalal Alharthi

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 研究针对云遥测使入侵理解困难的问题，提出云诱饵人工智能代理框架，通过会话聚合运算符、动态提示生成等方法，在十个AWS S3场景测试中效果良好，能压缩调查路径，多数场景可完全重建，且延迟短。

Are You Still the Agent I Authorized? Earned Authority under a Fixed Ceiling for Evolving Agents

你还是我授权的那个智能体吗？在固定上限下演化智能体的获得性权限

Zhaoxi Zhang, Xiaomei Zhang

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 研究长期存在的人工智能智能体部署后演化引发的授权问题，提出状态边界模型阐述授权连续性，通过固定过渡包络和效果上限，区分请求与实现效果，证明突变不会超上限，还映射了六种突变类别的授权后果。

SkillSieve: A Hierarchical Triage Framework for Detecting Malicious AI Agent Skills

SkillSieve：一种用于检测恶意AI代理技能的分层分流框架

Yinghan Hou, Zongyou Yang

机构 * Department of Earth Science and Engineering（地球科学与工程系） ； Imperial College London（帝国理工学院伦敦分校） ； Department of Computer Science（计算机科学系） ； University College London（伦敦大学学院） ； Lingban Technology Co., Ltd.（灵伴科技有限公司） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 提出SkillSieve三层检测框架，通过启发式评分、LLM子任务分析和多LLM陪审团辩论，高效检测恶意AI代理技能，在390个技能基准上达到F1=0.920。

Comments 10 pages, 2 figures, 6 tables

How LLM Task-Adaptation Reshapes Alignment: A Multi-dimensional Study of Behavioral and Representational Drift

大语言模型任务适应如何重塑对齐：行为和表征漂移的多维研究

James Elcock, William F. Shen, Xinchi Qiu, Nicholas D. Lane

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型任务适应对对齐的影响，通过系统评估监督微调、KL正则化SFT和可验证奖励强化学习等方法，发现训练后调整非均匀重塑对齐，不同方法影响各异，强调任务适应是对齐干预，应进行多维对齐评估。

Comments 21 pages, 7 figures (includes references and appendices)

From Camera-Based Sensing to Reasoning: A Comprehensive Review Toward Proactive Vulnerable Road User Safety

从基于摄像头的感知到推理：面向主动弱势道路使用者安全的全面综述

Shucheng Zhang, Yan Shi, Bingzhang Wang, Yuang Zhang, Muhammad Monjurul Karim, Kehua Chen, Chenxi Liu, Mehrdad Nasri, Yinhai Wang

机构 * University of Washington（华盛顿大学） ； University of Utah（犹他大学） 纠错

专题命中 幻觉与事实性 ：safety(title,abstract)；分类 cs.AI

AI总结 综述基于摄像头的主动弱势道路使用者安全方法，将文献分为视觉感知、运动建模和行为理解三部分，构成统一分层管道实现早期风险预测和及时干预，纳入新兴AI范式，识别关键挑战并讨论研究方向，提供VRU安全系统开发基础。

Comments 18 pages, 4 figures, 5 tables

Journal ref IEEE Transactions on Intelligent Transportation Systems, 2026, pp. 1-17

HALLELUAI: A Hallucination-Aware AI System for Ultra-Realistic Image-to-Video Generation at Scale

HALLELUAI：一个用于大规模超逼真图像到视频生成的幻觉感知人工智能系统

Aniket Sakpal, Yang Jiang, Rouzbeh Davoudi, Shayan Hassantabar, Mani Najmabadi

机构 * Expedia Group（亿客行集团） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；safety(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 针对AI生成视频时质量控制难的问题，HALLELUAI系统集成视频调节与智能再生模块，能评估风险并迭代修复。经人工参与评估，该系统可输出超逼真视频，推动了可信AI视频内容发展，实现大规模图像到视频生成。

Comments 10 pages, 4 figures, 3 tables

Shift-Aware Calibration for Fine-Tuned CLIP: Leveraging Image-Text Alignment

用于微调CLIP的移位感知校准：利用图像-文本对齐

Song-Lin Lv, Yu-Yang Chen, Zhi Zhou, Lan-Zhe Guo

专题命中 幻觉与事实性 ：alignment(title)；分类 cs.LG

AI总结 研究针对微调CLIP时预测置信度与准确性不一致问题，提出无需训练的移位感知校准（SAC）方法，利用原始与微调CLIP输出对数差异作校准信号，经实验验证该方法在多数据集和微调方法上提升了校准效果。

ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents

ProvenanceGuard: 基于MCP的LLM智能体的源感知事实性验证

Ander Alvarez, Santhiya Rajan, Samuel Mugel, Román Orús

机构 * Multiverse Computing ； Parque Cientifico y Tecnológico de Gipuzkoa（吉普斯夸科技园） ； Centre for Social Innovation（社会创新中心） ； Donostia International Physics Center（多诺斯蒂亚国际物理中心） ； Ikerbasque Foundation for Science（伊克尔巴斯克科学基金会） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出ProvenanceGuard，一种源感知验证器，通过追踪MCP工具调用、分解声明并路由到特定源，检测跨源混淆错误，在医疗领域数据集上优于源无关基线。

Comments 20 pages, 4 figures

Can LLMs Write Correct TLA+ Specifications? Evaluating Natural-Language-to-TLA+ Generation

LLM 能写出正确的 TLA+ 规范吗？自然语言到 TLA+ 生成的评估

Arslan Bisharat, Brian Ortiz, Eric Spencer, Khushboo Bhadauria, TaiNing Wang, George K. Thiruvathukal, Konstantin Laufer, Mohammed Abuhamad

机构 * Department of Computer Science, Loyola University Chicago（洛约奈大学芝加哥分校计算机科学系） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文首次系统评估基于 LLM 从自然语言合成 TLA+ 规范的能力，发现模型在语义正确性上仅达 8.6%，且成功依赖于渐进式提示，揭示了模型大小与质量无关、代码专用模型表现不佳等关键发现。

Comments 12 pages, 11 tables. Accepted at the 21st International Conference on Software Technologies (ICSOFT 2026); Recommended as Best Paper Award Candidate

Journal ref ICSOFT 2026, pp. 39-50, 2026

Robust Conformalized Selection with Noisy Responses

具有噪声响应的鲁棒共形选择

Chengyao Yu, Hongxin Wei, Bingyi Jing

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.LG

AI总结 研究在含噪声响应数据下的选择问题，提出鲁棒共形选择框架RCS，通过将标签噪声转化为协变量偏移问题，实现有效FDR控制，经实验验证了该方法在模拟和真实数据集上的有效性。

DynaCalKV: Key-Value Cache Compression via Head Grouping and Adaptive Rank Allocation

DynaCalKV：通过头部分组和自适应秩分配实现键值缓存压缩

Tan T. Nguyen, Quan V. Dang

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.LG

AI总结 针对大语言模型KV缓存瓶颈问题，提出DynaCalKV框架，通过基于CKA相似性动态分组注意力头并自适应分配秩预算处理键缓存，值缓存采用ReCalKV方法优化，实验表明能减少键缓存参数且保持准确率，对MHA模型效果好，对GQA模型应用需更谨慎。

Spectral Dynamics of Semantic Drift in Clinical Multi-Agent Language Model Networks

临床多智能体语言模型网络中语义漂移的谱动力学

Amritesh Banerjee

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 研究临床多智能体语言模型网络中语义漂移的谱动力学，通过映射多智能体通信不确定性轨迹到嵌入空间，揭示结构瓶颈危害。提出动态谱监测技术，经图拉普拉斯算子特征分解确保全局状态扩散，保障自主医疗诊断可靠性。

MPR-CiteG: Enhancing RAG with Multi-Portfolio Retrieval and Citation-Grounded Generation

MPR-CiteG：通过多组合检索和引用基础生成增强RAG

Hyewon Lee, Minkyung Song, Junghyun Oh, Seunghoon Han, Sungsu Lim

机构 * Chungnam National University（忠南国立大学） ； Data Intelligence Laboratory（数据智能实验室） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI

AI总结 该研究针对生成式AI检索低效与缺来源验证问题，提出双组件MPR-CiteG框架，用多组合检索器高效检索，引用基础生成模块确保输出事实一致且有源可溯，经实验验证其有效性与可靠性，助力构建更可信准确的大语言模型。

Comments 12 pages, 1 figure, 7 tables. The 1st International Workshop on Retrieval-Driven Generative AI & ScienceON AI Challenge 2025@CIKM

Rethinking Prospect Theory for LLMs: Revealing the Instability of Decision-Making under Epistemic Uncertainty

重新思考用于大语言模型的前景理论：在认知不确定性下决策的不稳定性

Rui Wang, Qihan Lin, Jiayu Liu, Qing Zong, Tianshi Zheng, Dadi Guo, Haochen Shi, Peixuan Han, Weiqi Wang, Yangqiu Song

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Huazhong University of Science and Technology（华中科技大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

AI总结 本文重新审视前景理论在大语言模型中的应用，发现其在认知不确定性下的决策稳定性存在问题，指出前景理论可能无法可靠地处理此类不确定性。

Terrain Classification Enhanced with Uncertainty for Space Exploration Robots from Proprioceptive Data

基于不确定性增强的地形分类用于空间探索机器人的本体数据

Mariela De Lucas Álvarez, Jichen Guo, Raul Domínguez, Matias Valdenegro-Toro

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.LG

AI总结 本文提出一种基于不确定性量化的神经网络方法，利用本体数据实现可靠的地形分类，以提高空间探索机器人在不可预测环境中的决策可靠性。

Comments 6 pages, 4 figures. LatinX in AI Workshop @ ICML 2023 Camera Ready

Journal ref International Conference on Machine Learning Conference: LatinX in AI (LXAI) Research Workshop 2023

OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows

OS-Sentinel: 通过现实工作流中的混合验证实现安全增强的移动GUI代理

Qiushi Sun, Mukai Li, Zhoumianze Liu, Zhihui Xie, Fangzhi Xu, Zhangyue Yin, Kanzhi Cheng, Zehao Li, Zichen Ding, Qi Liu, Zhiyong Wu, Zhuosheng Zhang, Ben Kao, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） ； Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanyang Technological University（南洋理工大学） ； Nanjing University（南京大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 隐私与版权 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 OS-Sentinel通过结合形式验证器和VLM上下文判断者，提升移动GUI代理的安全性，实验显示在多个指标上优于现有方法。

Comments ACL 2026 (Oral) & Best Paper at AIWILD @ ICLR 2026

On AI Safety and Security Technical Debt in Engineering AI-Enabled Systems

关于人工智能系统工程中的人工智能安全与保障技术债务

Muhammad Tukur, Hayatullahi B. Adeyemo, Tao Chen, Nour Ali, Anis Zarrad, Rick Kazman, Marco Agus, Rami Bahsoon

专题命中 安全评测 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI

AI总结 研究人工智能系统工程中的安全与保障技术债务，通过系统综述识别31种AITD并分类，分析其与信任问题的关联，合成34条指南，引入AITD - MAP框架，助工程师应对AITDs。

Comments 64 pages, 7 figures, 8 tables, submitted to ACM Transactions on Software Engineering and Methodology (TOSEM)

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

超越夏普利值：用于大语言模型对齐和评估的基于影响的数据审核管道

Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

机构 * Google（谷歌） 纠错

专题命中 安全评测 ：alignment(title,abstract)；RLHF(abstract,abstract_cn)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型数据质量问题，引入可扩展的基于影响的数据审核管道，通过映射语义邻域到有向图，利用参考LLM概率分布评估数据效用，转换为局部优势指标，有效清理数据集，揭示基准漏洞，确保数据完整性。

MedFailBench: A Clinician-Built Open-Source Benchmark for Medical AI Safety Boundary Inspection

MedFailBench：用于医学人工智能安全边界检查的临床医生构建的开源基准测试

Goktug Ozkan

机构 * Kutahya Emet Dr. Fazil Dogan State Hospital（屈塔希亚埃梅特法齐尔·多安州立医院） 纠错

专题命中 安全评测 ：safety(title,abstract)；AI safety(title)；分类 cs.CL、cs.AI

AI总结 MedFailBench提出不同问题，构建合成基准测试和失败图谱，通过严重程度和安全门类型标记医学人工智能错误，当前版本含44个合成病例等内容，以特定许可形式发布并带有DOI。

Comments 6 pages; synthetic benchmark reviewed by a clinician; no patient data

TRIDENT: Benchmarking LLM Safety in Finance, Medicine, and Law

TRIDENT：评估金融、医学和法律领域大语言模型的安全性

Zheng Hui, Yijiang River Dong, Ehsan Shareghi, Nigel Collier

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.CY、cs.LG

AI总结 研究针对大语言模型在金融、医学和法律领域的安全评估问题，基于相关伦理准则定义安全原则并引入Trident-Bench基准进行评估，揭示了不同模型的安全差距，为LLM安全研究提供了系统资源和研究基础。

Comments COLM 2026

Context-Aware Concept Distillation for Trustworthy Flood Prediction

用于可靠洪水预测的上下文感知概念蒸馏

Eli Levinkopf, Efrat Morin, Claudia V. Goldman

机构 * School of Computer Science and Engineering, The Hebrew University of Jerusalem（耶路撒冷希伯来大学计算机科学与工程学院） ； Institute of Earth Sciences, The Hebrew University of Jerusalem（耶路撒冷希伯来大学地球科学研究所） ； Hebrew University Business School, The Hebrew University of Jerusalem（耶路撒冷希伯来大学商学院） 纠错

专题命中 安全评测 ：trustworthy(title)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对深度学习模型‘黑箱’问题阻碍洪水预测信任度的挑战，提出上下文感知概念蒸馏框架CACD，引入无监督管道和残差超网络，经全球多流域评估，该模型高保真且优于黑箱基线，平衡了AI准确性与决策透明度。

Comments to be published in IJCAI 2026 proceedings

SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI

SAGE：用于高影响力生成式人工智能验证生命周期控制的安全至上深度防御护栏

Mahdi Eslamimehr

机构 * Quandary Peak Research（Quandary Peak研究公司） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究高影响力生成式人工智能的生命周期控制问题，提出SAGE安全至上、授权分离架构，结合多种技术手段。通过形式化结果和实验验证，确立安全优先级等，给出有害合规估计，还介绍了预先注册的扩展测试方法。

Comments 25 pages, 5 figures, 5 tables