大模型对齐与安全

Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents

Hanrong Zhang, Jingyuan Huang, Kai Mei, Yifei Yao, Zhenting Wang, Chenlu Zhan, Hongwei Wang, Yongfeng Zhang

机构 * Zhejiang University（浙江大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

Comments Accepted by ICLR 2025

Operationalizing CaMeL: Strengthening LLM Defenses for Enterprise Deployment

Krti Tallam, Emma Miller

机构 * SentinelAI 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

PICO: Secure Transformers via Robust Prompt Isolation and Cybersecurity Oversight

Ben Goertzel, Paulos Yibelo

机构 * Ben Goertzel ； Paulos Yibelo 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

Small Models, Big Tasks: An Exploratory Empirical Study on Small Language Models for Function Calling

Ishan Kavathekar, Raghav Donakanti, Ponnurangam Kumaraguru, Karthik Vaidhyanathan

机构 * IIIT-Hyderabad（IIIT- Hyderabad） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

Comments Accepted at EASE 2025 AI Models and Data Evaluation track

LLM Agent Honeypot: Monitoring AI Hacking Agents in the Wild

Reworr, Dmitrii Volkov

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

Mixture-of-Instructions: Aligning Large Language Models via Mixture Prompting

Bowen Xu, Shaoyu Wu, Kai Liu, Lulu Hu

专题命中 提示注入 ：alignment(abstract)；分类 cs.CL

Mitigating the Influence of Distractor Tasks in LMs with Prior-Aware Decoding

Raymond Douglas, Andis Draguns, Tomáš Gavenčiak

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL

Comments 16 pages, 6 figures

WHITE PAPER: A Brief Exploration of Data Exfiltration using GCG Suffixes

Victor Valbuena

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

Comments 8 pages, 8 figures. Conducted as part of employment at Microsoft Corporation

AbuseGPT: Abuse of Generative AI ChatBots to Create Smishing Campaigns

Ashfak Md Shibli, Mir Mehedi A. Pritom, Maanak Gupta

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

Comments 6 pages, 12 figures, published in ISDFS 2024

ArthModel: Enhance Arithmetic Skills to Large Language Model

Yingdi Guo

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL

Comments 7 pages, 4 figures, 1 table

From Neural Intent to Cryptographic Authorization: Securing AI-Driven Enterprise Workflows

从神经意图到加密授权：管理智能代理工作流程

Jiasi Weng, Jian Weng, Minrong Chen, Ming Li, Jia-Nan Liu, Zhi Li, Yue Zhang

专题命中 提示注入 ：prompt injection(abstract)

AI总结 研究人工智能驱动的智能代理工作流程中的安全问题，提出神经加密服务（NCS），通过神经符号设计，在大语言模型代理和特权工具间构建安全治理平面，经实验评估，能大幅降低攻击成功率，转变代理安全验证方式。

Protocol-Level Attacks on Agentic Commerce Platforms: A Cross-Platform Taxonomy, AIP-Bench, and Unified Defense

对智能商务平台的协议级攻击：跨平台分类法、AIP基准和统一防御

Yedidel Louck

专题命中 提示注入 ：prompt injection(abstract)

AI总结 研究智能商务平台协议层安全问题，识别出33个结构性漏洞。贡献分类法，构建AIP-Bench基准和PCAT防御机制，将部分结构类攻击成功率降至零，强调协议层安全防护的重要性。

The Effect of Multi-Lingual and Keyword Adversarial Injection on LLM Relevance Judgment

多语言和关键词对抗性注入对大语言模型相关性判断的影响

Nguyen Khoi Vo, Duy Duong Tuong, Oleg Zendel, Mark Sanderson

专题命中 提示注入 ：prompt injection(abstract)

AI总结 研究跨语言提示注入攻击对基于大语言模型的相关性判断的影响，利用TREC数据集和开放权重模型在多语言环境下研究不同注入策略，发现多语言查询注入有效且能绕过现有防御，凸显当前防御差距，强调需更强大评估框架。

"Code Is Cheap. Show Me the Talk.": Lessons from Teaching and Managing AI Coding Tool Usage in a Visualization Course

“代码很廉价。给我看看讲解。”：可视化课程中教授和管理人工智能编码工具使用的经验教训

Zhongzheng Xu, Taehyun Yang, Fumeng Yang

专题命中 提示注入 ：prompt injection(abstract)

AI总结 在可视化课程中分享管理和教授人工智能使用的经验，实施提示注入等，发现学生使用情况及问题，指出需明确人工智能使用界限、提示指导，教学生质疑并适应通用设计。

Comments 5 Figures, 7 Pages

Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting

警惕智能体僵尸网络：通过通用且可转移的对抗性幻觉蹲点进行可扩展的无目标提示软件攻击

Aya Spira, Stav Cohen, Elad Feldman, Ron Bitton, Avishai Wool, Ben Nassi

专题命中 提示注入 ：prompt injection(abstract)

AI总结 研究针对实际威胁模型中无直接渠道时攻击者能否利用LLM应用的问题，提出对抗性幻觉蹲点技术，通过识别热门资源计算幻觉分布抢先注册对抗性提示，利用幻觉特性扩大无目标提示软件攻击范围并建立僵尸网络，实验证明该技术可行性及幻觉可转移性。

Comments Website: https://sites.google.com/view/agentic-botnets/home

Towards Demystifying and Repairing LLM-in-the-Loop Vulnerabilities

迈向揭示与修复LLM-in-the-Loop漏洞

Yujie Ma, Jialin Rong, Chenxi Yang, Lili Quan, Jin Wen, Xiaofei Xie, Yongqiang Lyu, Qiang Hu

专题命中 提示注入 ：prompt injection(abstract)

AI总结 通过构建首个LLM-in-the-loop漏洞数据集LLMCVE，分析发现LLM常作为目标或传播向量而非根因，并评估现有修复方法，揭示此类漏洞修复更具挑战性。

Tool Use as Action: Towards Agentic Control in Mobile Core Networks

工具使用作为行动：迈向移动核心网络中的智能体控制

Purna Sai Garigipati, Onur Ayan, Kishor Chandra Joshi, Xueli An

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文提出基于智能体AI的移动核心网络工具接口设计与原型，利用MCP和A2A协议实现意图驱动任务，并分析端到端延迟。

Comments Accepted for presentation at IEEE PIMRC 2026

Beyond Wireless Security: Covert Communications in Large Language Model-enabled Edge Networks

超越无线安全：大语言模型赋能边缘网络中的隐蔽通信

Yuanai Xie, Jiaxin Chen, Zhaozhi Liu

专题命中 提示注入 ：prompt injection(abstract)

AI总结 针对大语言模型赋能边缘网络面临的安全威胁，提出一种隐蔽通信与计算方法，在严格安全约束下最小化总延迟，兼顾隐私保护与任务执行效率。

Comments Accepted for publication in IEEE Communications Magazine

From Determinism to Delegation: AI-Native Software Engineering and the Evolution of the Agentic Engineer

从确定性到委托：AI原生软件工程与智能体工程师的演进

Mamdouh Alenezi

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文提出AI原生软件工程是范式转变，定义新职业角色“智能体工程师”，其核心工件从程序转向智能体系统，并分析工作单元、正确性和问责制的三大转变。

DE-FIVE: Detecting Malicious Image Prompts via Fourier Features and Image Vector Embeddings

DE-FIVE: 通过傅里叶特征和图像向量嵌入检测恶意图像提示

Xingwei Zhong, Varun Sharma, Kar Wai Fok, Vrizlynn L. L. Thing

专题命中 提示注入 ：prompt injection(abstract)

AI总结 提出DE-FIVE框架，利用傅里叶域特征和图像向量嵌入，无需训练即可检测针对视觉语言模型的恶意图像提示，包括间接提示注入攻击。

AgenticOS: An Intent-Oriented Secure Operating System Architecture for Autonomous AI Agents

AgenticOS: 面向自主AI代理的意图导向安全操作系统架构

Zhen Zhao, Yu Zhang, Yanpeng Zhu, Jia Wang, Songqiao Tao, Xin Cheng, Jiexin Gao

专题命中 提示注入 ：prompt injection(abstract)

AI总结 针对LLM驱动代理面临的结构性安全挑战，提出AgenticOS架构，将OS从资源管理器重构为意图过滤器，通过四层架构和意图ABI实现最小权限环境。

Comments 11 pages,5 figures,1 tables

Think Twice Before You Act: Protecting LLM Agents Against Tool Description Poisoning via Isolated Planning

三思而后行：通过隔离规划保护LLM代理免受工具描述投毒攻击

Shanghao Shi, Xiao Wang, Chaoyu Zhang, Hao Li, Wenjing Lou, Thomas Hou, Yevgeniy Vorobeychik, Chongjie Zhang, Ning Zhang

专题命中 提示注入 ：prompt injection(abstract)

AI总结 提出Tool-Guard系统级防御，通过隔离规划机制将可疑工具调用隔离到受感染列表，阻断投毒描述持续影响，在AgentDojo和ASB基准上显著降低攻击成功率并保持任务效用。

Comments Accepted to ICML 2026

Understanding and Mitigating Prompt Leaking Attacks in Real-World LLM-Based Applications

理解并缓解真实世界基于LLM的应用中的提示泄露攻击

Yong Yang, Chong Fu, Tong Zhang, Rui Zeng, Qingming Li, Tianyu Du, Zonghui Wang, Shouling Ji, Wenzhi Chen

专题命中 提示注入 ：alignment(abstract)

AI总结 本研究系统测量了1200个真实世界基于LLM的应用，发现超过80%会泄露系统提示，并提出了基于注意力漂移分析的AREA防御方法，在保持可用性的同时有效防止泄露。

Comments Accepted at ACM CCS 2026

The Gate Is Only as Honest as Its Contracts: ContractGuard for the Contract Layer of Risk-Aware Causal Gating

门仅与其合约一样诚实：面向风险感知因果门控合约层的ContractGuard

Laxmipriya Ganesh Iyer, Rahul Suresh Babu

专题命中 提示注入 ：prompt injection(abstract)

AI总结 针对工具增强型LLM代理的间接提示注入，提出ContractGuard，通过验证合约完整性（而非风险标签）来防御攻击，在基准测试中实现零注入成功率。

Review the Code, Not the Story: A Vision and Protocol for Code-First Peer Review

审查代码，而非故事：代码优先同行评审的愿景与协议

Jienan Chen

专题命中 提示注入 ：prompt injection(abstract)

AI总结 提出代码优先同行评审协议，由AI系统构建环境、执行实验并生成标准化审查包，将评审焦点从叙述转向可执行证据。

Comments 17 pages, vision and protocol paper

Confused ChatGPT: Cross-App Context Poisoning via First-Party APIs

困惑的ChatGPT：通过第一方API的跨应用上下文投毒

Chao Wang, Somesh Jha, Zhiqiang Lin

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文发现ChatGPT Apps中由于共享聊天上下文缺乏隔离，恶意应用可通过第一方API注入持久性内容，导致跨应用上下文投毒攻击，并展示了两种攻击载荷。

From General Vision to Reliable Traversability Estimation: Adapting Vision Foundation Models for Unstructured Outdoor Environments

从通用视觉到可靠的可通行性估计：适应视觉基础模型用于非结构化户外环境

Ji-Hoon Hwang, Jisung Bae, Dong-Wook Kim, Yeonkyu Lee, Seung-Woo Seo

专题命中 提示注入 ：safety(abstract)

AI总结 提出ViTA框架，通过可学习提示、视角多样化训练和几何知识蒸馏，将视觉基础模型适应于非结构化户外环境的可靠可通行性估计，显著降低误报并提升跨域泛化。

Comments 8 pages, 5figures

Can It Reach the Generator? Investigating the Survival of Prompt-Injection Attacks in Realistic RAG Settings

它能到达生成器吗？探究真实RAG设置中提示注入攻击的存活情况

Yu Yin, Shuai Wang, Bevan Koopman, Guido Zuccon

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文在真实的三阶段RAG流水线（检索器→LLM重排序器→LLM生成器）中重新评估了七种生成式引擎优化（GEO）攻击，发现基于梯度和指令覆盖的攻击在到达生成器前大多失效，仅LLM驱动的提示注入保持端到端有效，且所有攻击易被轻量级防护检测。

Comments 18 pages, 6 figures

How Agentic AI Coding Assistants Become the Attacker's Shell

自主AI编码助手如何成为攻击者的Shell

Yue Liu, Yanjie Zhao, Yunbo Lyu, Ting Zhang, Haoyu Wang, David Lo

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文研究了自主AI编码助手因依赖未审查外部工件而面临提示注入攻击的风险，分析了攻击机制、流行程度、现有防御的局限，并提出了未来研究方向。

Constraining Host-Level Abuse in Self-Hosted Computer-Use Agents via TEE-Backed Isolation

通过TEE后置隔离约束自托管计算机使用代理的主机级滥用

Di Lu, Bo Zhang, Xiyuan Li, Yongzhi Liao, Xuewen Dong, Yulong Shen, Zhiquan Liu, Jianfeng Ma

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文提出基于操作的风险约束模型，通过TEE后置可信操作平面保护关键安全功能，实现对自托管计算机使用代理操作的安全限制。