大模型对齐与安全

Cordyceps: Covert Control Attacks on LLMs via Data Poisoning

Cordyceps: 通过数据投毒对LLM的隐蔽控制攻击

Zedian Shao, Charles Fleming, Teodora Baluta

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Cisco Systems（思科系统） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种数据投毒方法，通过语义关联教LLM隐藏任意恶意指令，实现隐蔽控制攻击，绕过多种防御。

Comments USENIX Security '26

Send a SCOUT First: Pre-hoc Reasoning for Adaptive Detector Allocation in Prompt-Injection Defense

先派侦察兵：提示注入防御中自适应检测器分配的预推理方法

Shuhao Zhang, Jiarui Li, Qi Cao, Ruiyi Zhang, Pengtao Xie

机构 * UC San Diego（加州大学圣迭戈分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 提示注入 ：safety(abstract,comments)；分类 cs.LG

AI总结 针对提示注入检测器异构且不可靠的问题，提出SCOUT框架，通过预测每个检测器对每个样本的可靠性和延迟，动态分配检测器，实现安全性与效率的权衡。

Comments We propose SCOUT, a detector allocation framework that predicts each detector's accuracy and latency on a given input before running it, letting operators control the safety-utility trade-off with a single threshold and route to an LLM judge only when needed

Mission-Level Runtime Assurance for LLM-Assisted ISR Swarms over a Verification-Aware Fabric

基于验证感知架构的大语言模型辅助情报、监视与侦察集群任务级运行时保障

Nikolaos Kekatos, Panagiotis Katsaros, Alexios Lekidis, Theodoros Nestoridis, Tom Nianios

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 研究大语言模型辅助的ISR集群任务级运行时保障问题，提出三层组合式运行时验证框架，将任务策略分解，通过验证感知架构聚合判定并融合代数，能检测个体合规但集群违规情况，模拟任务验证了其有效性。

SkillSieve: A Hierarchical Triage Framework for Detecting Malicious AI Agent Skills

SkillSieve：一种用于检测恶意AI代理技能的分层分流框架

Yinghan Hou, Zongyou Yang

机构 * Department of Earth Science and Engineering（地球科学与工程系） ； Imperial College London（帝国理工学院伦敦分校） ； Department of Computer Science（计算机科学系） ； University College London（伦敦大学学院） ； Lingban Technology Co., Ltd.（灵伴科技有限公司） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 提出SkillSieve三层检测框架，通过启发式评分、LLM子任务分析和多LLM陪审团辩论，高效检测恶意AI代理技能，在390个技能基准上达到F1=0.920。

Comments 10 pages, 2 figures, 6 tables

PARSE: Provenance-Aware Retrieval Sanitization for Professional Domain LLM Agents

PARSE: 面向专业领域LLM Agent的溯源感知检索净化

Aaditya Pai

机构 * Data Science Institute（数据科学研究所） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL

AI总结 针对真实企业文档中提示注入攻击难以防御的问题，提出PARSE方法，通过分类句子注入可能性、提取结构化事实并验证一致性，将攻击成功率从25.4%降至15.6%，同时保持86.9%的实用性。

Comments 8 pages, 3 figures, 2 tables

How Agents Ask for Permission: User Permissions for AI Agents, from Interfaces to Enforcement

智能体如何请求许可：人工智能智能体的用户权限，从接口到执行

Alexandra E. Michael, Franziska Roesner

机构 * University of Washington（华盛顿大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 研究人工智能智能体系统中用户级权限处理问题，通过调查21个提案构建分类法，分析五个商业智能体并与文献系统比较，确定主题与空白，为智能体权限系统研究提供参考。

Comments 15 pages, 4 figures

A Low-Latency Fraud Detection Layer for Detecting Adversarial Interaction Patterns in LLM-Powered Agents

面向LLM代理的低延迟欺诈检测层：用于检测对抗性交互模式

Sheldon Yu, Yingcheng Sun, Hanqing Guo, Qianqian Tong

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 本文提出一种低延迟欺诈检测机制，通过交互轨迹的结构化运行时特征检测对抗性交互模式，采用轻量模型实现实时部署，实验表明交互层面行为检测应成为LLM代理部署时的核心防护措施。

The LLMbda Calculus: AI Agents, Conversations, and Information Flow

LLMlambda 计算：人工智能代理、对话与信息流

Zac Garby, Andrew D. Gordon, David Sands

机构 * University of Nottingham, UK（诺丁汉大学） ； University of Edinburgh, UK（爱丁堡大学） ； Chalmers University of Technology（查尔姆斯理工大学） ； The University of Gothenburg, Sweden（哥德堡大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 本文提出了一种无类型的lambda计算模型，用于形式化描述和验证人工智能代理中对话和信息流的安全性。

Reachability Across the NL/PL Boundary: A Taxonomy-Driven Dataflow Model for LLM-Integrated Applications

当代码遇见自然语言：基于分类法的LLM集成应用信息流分析

Zihao Xu, Xiao Cheng, Ruijie Meng, Yuekang Li

机构 * University of New South Wales（新南威尔士大学） ； Macquarie University（麦考瑞大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 提出一种基于定量信息流理论的分类法，定义24个标签以跨越LLM调用的自然语言与编程语言边界，实现信息流分析，并在污点传播和程序切片中验证有效性。

It's a TRAP! Task-Redirecting Agent Persuasion Benchmark for Web Agents

这是一个陷阱！面向网络代理的任务重定向说服基准

Karolina Korgul, Yushi Yang, Arkadiusz Drohomirecki, Piotr Błaszczyk, Will Howard, Lukas Aichberger, Chris Russell, Philip H. S. Torr, Adam Mahdi, Adel Bibi

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 提出TRAP基准，评估大型语言模型驱动的网络代理在动态网页中易受提示注入攻击的程度，发现平均25%的任务中代理被重定向，揭示了心理驱动的系统漏洞。

Comments ICML 2026

Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs

Just Ask: 好奇的代码代理揭示前沿大语言模型中的系统提示

Xiang Zheng, Yutao Wu, Hanxun Huang, Yige Li, Xingjun Ma, Bo Li, Yu-Gang Jiang, Cong Wang

专题命中 提示注入 ：safety(abstract)；分类 cs.AI

AI总结 提出JustAsk框架，利用代码代理的自主交互能力，通过在线探索策略自动提取大语言模型的隐藏系统提示，揭示了系统提示作为新兴安全漏洞。

Comments Accepted at ICML 2026

From Untrusted Input to Trusted Memory: A Systematic Study of Memory Poisoning Attacks in LLM Agents

从不可信输入到可信内存：LLM智能体中内存投毒攻击的系统研究

Pritam Dash, Tongyu Ge, Aditi Jain, Tanmay Shah, Zhiwei Shang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 本文系统研究了基于LLM的智能体中的内存投毒攻击，识别了四种内存写入通道和九种结构漏洞，提出了六类攻击的分类法，并设计了评估基准MPBench，发现更积极读写内存的智能体更易被利用，且现有提示注入防御无法覆盖内存投毒攻击。

Aligned but Stereotypical? How System Prompts Shape Demographic Bias in LLM-Based Text-to-Image Models

对齐但刻板？系统提示如何塑造基于LLM的文本到图像模型中的人口统计偏见

NaHyeon Park, Na Min An, Kunhee Kim, Soyeon Yoon, Jiahao Huo, Hyunjung Shim

机构 * KAIST（韩国科学技术院） ； HKUST (GZ)（香港科技大学（广州）） 纠错

专题命中 提示注入 ：alignment(abstract)；分类 cs.LG

AI总结 研究LLM增强的文本到图像系统在提示扩展中引入隐性人口统计偏见的问题，提出无训练的去偏框架FairPro，通过自适应生成公平性指令减少人口统计差异。

Comments Project page: https://fairpro-t2i.github.io

From Neural Intent to Cryptographic Authorization: Securing AI-Driven Enterprise Workflows

从神经意图到加密授权：管理智能代理工作流程

Jiasi Weng, Jian Weng, Minrong Chen, Ming Li, Jia-Nan Liu, Zhi Li, Yue Zhang

专题命中 提示注入 ：prompt injection(abstract)

AI总结 研究人工智能驱动的智能代理工作流程中的安全问题，提出神经加密服务（NCS），通过神经符号设计，在大语言模型代理和特权工具间构建安全治理平面，经实验评估，能大幅降低攻击成功率，转变代理安全验证方式。

Tool Use as Action: Towards Agentic Control in Mobile Core Networks

工具使用作为行动：迈向移动核心网络中的智能体控制

Purna Sai Garigipati, Onur Ayan, Kishor Chandra Joshi, Xueli An

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文提出基于智能体AI的移动核心网络工具接口设计与原型，利用MCP和A2A协议实现意图驱动任务，并分析端到端延迟。

Comments Accepted for presentation at IEEE PIMRC 2026

Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models

基于部分-整体语义代表性与不确定性引导的组合对齐超几何视觉语言模型

Hayeon Kim, Ji Ha Jang, Junghun James Kim, Se Young Chun

机构 * Dept. of Electrical and Computer Engineering（电子与计算机工程系） ； INMC & IPAI（INMC与IPAI） ； Seoul National University（首尔国立大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文提出UNCHA方法，通过超几何不确定性建模部分-整体语义代表性，提升超几何VLM对多物体场景的组合结构理解能力，实现零样本分类等任务的最先进性能。

Comments Accepted to CVPR 2026

Citation Grounding Measures the Oracle: Graph Coverage Determines Reported LLM Hallucination Rates in Law

引用溯源：通过法律引用图检测和减少LLM引用幻觉

Volodymyr Ovcharov

机构 * LEX AI LLC 纠错

专题命中 幻觉与事实性 ：DPO(summary_cn,abstract_cn)；trustworthy(abstract)；分类 cs.CL

AI总结 提出引用溯源（CG）指标，利用乌克兰法院判决的引用图（1.008亿判决，5.02亿边）检测LLM法律引用幻觉，并通过CG-DPO方法（基于真实判决构建偏好对）减少幻觉，在100个法律查询上CG为0.791-0.873，幻觉率13-21%。

Comments 21 pages, 4 figures, 5 tables. Substantially revised: title, framing and several v1 results changed. Adds a coverage sweep and a separability analysis; corrects the DPO configuration, the density-accuracy correlation and the qualitative examples. Code and data: https://huggingface.co/datasets/overthelex/citation-grounding-eval

Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs

Ghosted Layers: 无约束激活对齐用于恢复层剪枝的LLM

Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

机构 * University of Southern California（南加州大学） ； Inha University（inha大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Ghosted Layers方法，通过无约束优化解决层剪枝后激活分布不匹配问题，提升LLM准确性和 perplexity 而不牺牲效率。

From Camera-Based Sensing to Reasoning: A Comprehensive Review Toward Proactive Vulnerable Road User Safety

从基于摄像头的感知到推理：面向主动弱势道路使用者安全的全面综述

Shucheng Zhang, Yan Shi, Bingzhang Wang, Yuang Zhang, Muhammad Monjurul Karim, Kehua Chen, Chenxi Liu, Mehrdad Nasri, Yinhai Wang

机构 * University of Washington（华盛顿大学） ； University of Utah（犹他大学） 纠错

专题命中 幻觉与事实性 ：safety(title,abstract)；分类 cs.AI

AI总结 综述基于摄像头的主动弱势道路使用者安全方法，将文献分为视觉感知、运动建模和行为理解三部分，构成统一分层管道实现早期风险预测和及时干预，纳入新兴AI范式，识别关键挑战并讨论研究方向，提供VRU安全系统开发基础。

Comments 18 pages, 4 figures, 5 tables

Journal ref IEEE Transactions on Intelligent Transportation Systems, 2026, pp. 1-17

Check Yourself Before You Wreck Yourself: Selectively Quitting Improves LLM Agent Safety

在自毁之前检查自己：选择性退出提升LLM智能体安全性

Vamshi Krishna Bonagiri, Ponnurangam Kumaragurum, Khanh Nguyen, Benjamin Plaut

专题命中 幻觉与事实性 ：safety(title,abstract)；分类 cs.CL

AI总结 提出让LLM智能体在不确定时主动退出，通过ToolEmu框架在12个模型上评估，发现该方法在几乎不降低有用性的情况下显著提升安全性。

Comments Reliable ML and Regulatable ML workshops, Neurips 2025

Automated Alignment between Elicitation Interviews and Requirements

启发式访谈与需求之间的自动对齐

Francesco Dente, Fabiano Dalpiaz, Paolo Papotti

机构 * University of Bologna（博洛尼亚大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL

AI总结 提出将访谈转录与用户故事需求自动对齐的任务，定义忠实度和覆盖率两个度量，利用大语言模型和嵌入模型实现自动评估，在四个数据集上达到0.86 macro-F1。

Comments 8 pages

Grounded Post-Training with Hard Examples for Reducing Hallucination in Multimodal Large Language Models

通过分布偏移下的分阶段偏好优化减少视觉-语言模型中的幻觉

Qinwu Xu

机构 * Meta AI 纠错

专题命中 幻觉与事实性 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出分阶段偏好优化框架，通过构建针对幻觉问题的数据集，提升视觉-语言模型的 grounded reasoning，减少幻觉并提高响应信息量。

Shift-Aware Calibration for Fine-Tuned CLIP: Leveraging Image-Text Alignment

用于微调CLIP的移位感知校准：利用图像-文本对齐

Song-Lin Lv, Yu-Yang Chen, Zhi Zhou, Lan-Zhe Guo

专题命中 幻觉与事实性 ：alignment(title)；分类 cs.LG

AI总结 研究针对微调CLIP时预测置信度与准确性不一致问题，提出无需训练的移位感知校准（SAC）方法，利用原始与微调CLIP输出对数差异作校准信号，经实验验证该方法在多数据集和微调方法上提升了校准效果。

Mitigating Visual Hallucinations in Multimodal Systems through Retrieval-Augmented Reliability-Aware Inference

通过检索增强的可靠性感知推理缓解多模态系统中的视觉幻觉

Pratheswaran Hariharan, Haiping Xu, Donghui Yan

机构 * University of Massachusetts, Dartmouth（马萨诸塞大学达特茅斯分校） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 提出一种检索增强的可靠性感知推理框架，利用外部视觉证据库和多个可靠性指标进行决策门控，在不重训练模型的情况下减少视觉幻觉，将接受预测准确率从85.84%提升至88.88%。

Comments 29 pages, 9 figures

PCS-UQ: Uncertainty Quantification via the Predictability-Computability-Stability Framework

PCS-UQ：基于可预测性-可计算性-稳定性框架的不确定性量化

Abhineet Agarwal, Fange Xiao, Rebecca Barter, Omer Ronen, Boyu Fan, Bin Yu

机构 * Department of Statistics, University of California, Berkeley（加州大学伯克利分校统计学系） ； Department of Epidemiology, University of Utah（犹他大学流行病学系） ； Department of Electrical Engineering and Computer Science, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；trustworthy(abstract)；分类 cs.LG

AI总结 提出PCS-UQ框架，通过预测检查、bootstrap采样和乘法校准实现不确定性量化，在回归和分类任务中优于或媲美共形预测方法，并提供理论保证。

Dean of LLM Tutors: A Framework for Automated Quality Review of AI-generated Feedback

LLM导师院长：AI生成反馈的自动质量审查框架

Keyang Qian, Yixin Cheng, Rui Guan, Wei Dai, Flora Jin, Kaixun Yang, Sadia Nawaz, Zachari Swiecki, Guanliang Chen, Lixiang Yan, Dragan Gašević

专题命中 幻觉与事实性 ：alignment(abstract)；safety(abstract)；分类 cs.CY

AI总结 提出DeanLLM框架，通过16维度评估LLM导师反馈的内容、教育效果和幻觉风险，并利用微调GPT-4.1实现与人类专家高度一致的自动审查。

Bridging Mechanistic Interpretability and Prompt Engineering with Gradient Ascent for Interpretable Persona Control

通过梯度上升实现可解释人格控制与提示工程的桥梁

Harshvardhan Saini, Yiming Tang, Dianbo Liu

机构 * Department of Computer Science（计算机科学系） ； Indian Institute of Technology (ISM), Dhanbad（印度理工学院（ISM），丹巴德） ； National University of Singapore（新加坡国立大学） ； CIFAR Fellow（CIFAR研究员） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；AI safety(abstract)；分类 cs.LG

AI总结 本文提出RESGA和SAEGA方法，利用梯度上升优化随机初始化提示，以实现与识别的人格方向更一致的表示，有效控制LLM中的人格行为。

The Confidence Manifold: Geometric Structure of Correctness Representations in Language Models

自信流形：语言模型中正确性表示的几何结构

Seonglae Cho, Zekun Wu, Kleyton Da Costa, Adriano Koshiyama

机构 * University College London（伦敦大学学院） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究揭示语言模型正确性表示的几何结构，发现低维子空间中的质心距离与探测器性能一致，表明检测是几何而非学习过程。

Multi-Attribute Steering of Language Models via Targeted Intervention

通过目标干预对语言模型进行多属性引导

Duy Nguyen, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究如何对语言模型进行多属性引导，提出MAT-Steer框架，通过对齐目标学习引导向量，减少属性间冲突，在问答和生成任务中评估，该框架优于现有方法。

Comments ACL 2025 camera-ready, code link: https://github.com/duykhuongnguyen/MAT-Steer

Multimodal Generative Engine Optimization: Rank Manipulation for Vision-Language Model Rankers

多模态生成式引擎优化：针对视觉-语言模型排序器的排名操纵

Yixuan Du, Chenxiao Yu, Haoyan Xu, Ziyi Wang, Yue Zhao, Xiyang Hu

机构 * Georgetown University（乔治城大学） ； University of Southern California（南加州大学） ； University of Maryland, College Park（马里兰大学学院公园分校） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出多模态生成式引擎优化（MGEO）方法，通过联合优化图像扰动和文本后缀，利用视觉-语言模型内部跨模态知识耦合，实现对产品排名的有效操纵，揭示了多模态基础模型知识基础的脆弱性。

Comments Proceedings of the 4th Workshop on Towards Knowledgeable Foundation Models (KnowFM) at ACL 2026