arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

大模型对齐与安全

大模型对齐、安全、越狱、红队、提示注入和可信评测。

2026-04-28 至 2026-04-28 共收录 6 信号源:cs.CL, cs.AI, cs.CY, cs.LG

1. 提示注入 6 篇

2604.24118 2026-04-28 cs.CR 78%

AgentVisor: Defending LLM Agents Against Prompt Injection via Semantic Virtualization

AgentVisor: 通过语义虚拟化防御LLM代理的提示注入

Zonghao Ying, Haozheng Wang, Jiangfan Liu, Quanchen Zou, Aishan Liu, Jian Yang, Yaodong Yang, Xianglong Liu

专题命中 提示注入 :prompt injection(title,abstract)

AI总结 本文提出AgentVisor框架,通过语义权限分离防御LLM代理的提示注入攻击,结合经典操作系统安全原语设计审计协议,并引入自修正机制,实验表明其在安全性和实用性上均优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.22888 2026-04-28 cs.CR cs.AI 70%

RouteGuard: Internal-Signal Detection of Skill Poisoning in LLM Agents

RouteGuard: LLM代理中技能中毒的内部信号检测

Wenjie Xiao, Xuehai Tang, Biyu Zhou, Songlin Hu, Jizhong Han

机构 * University of Chinese Academy of Sciences(中国科学院大学) Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)

专题命中 提示注入 :alignment(abstract);prompt injection(abstract);分类 cs.AI

AI总结 本文提出RouteGuard,通过响应条件注意力和隐藏状态对齐检测LLM代理中的技能中毒,实验证明其在真实和合成数据上表现优异,有效恢复被词法筛选遗漏的攻击。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.16888 2026-04-28 cs.CR cs.AI cs.CL 62%

PARASITE: Conditional System Prompt Poisoning to Hijack LLMs

PARASITE: 条件系统提示污染以劫持大语言模型

Viet Pham, Thai Le

机构 * Indiana University Bloomington(印第安纳大学布卢明顿分校)

专题命中 提示注入 :jailbreak(abstract_cn);分类 cs.CL、cs.AI

AI总结 PARASITE通过条件系统提示污染技术,使LLM在特定查询下输出被篡改响应,同时保持正常输入的高实用性,且在黑盒环境下实现70%的F1降级。

Comments ACL 2026 Main

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.24020 2026-04-28 cs.CR cs.AI 57%

Poster: ClawdGo: Endogenous Security Awareness Training for Autonomous AI Agents

Poster: ClawdGo: 内生安全意识训练用于自主AI代理

Jiaqi Li, Yang Zhao, Bin Sun, Yang Yu, Jian Chang, Lidong Zhai

机构 * Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所) School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院) Network Management Center, China Mobile Group Liaoning Company Limited(中国移动集团辽宁公司网络管理中心) Tencent Security Xuanwu Lab(腾讯安全宣武实验室) China Unicom Online Information Technology Co., Ltd.(中国联通在线信息技术有限公司)

专题命中 提示注入 :prompt injection(abstract);分类 cs.AI

AI总结 本文提出ClawdGo框架,通过内生训练提升自主AI代理的安全意识,引入TLDT、ASAT、CSMA和SACP四种贡献,实验显示ASAT在16次会话中提升TLDT得分,CSMA保持完整收益,SACP在高训练代理中观察到精度-召回权衡。

Comments 4 pages, including 1 poster page. Poster abstract and poster version

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.08127 2026-04-28 cs.AI 57%

BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks

BlindGuard: 保护基于大语言模型的多智能体系统免受未知攻击

Rui Miao, Yixin Liu, Yili Wang, Xu Shen, Yue Tan, Yiwei Dai, Shirui Pan, Xin Wang

机构 * School of Artificial Intelligence, Jilin University(吉林大学人工智能学院) School of Information and Communication Technology, Griffith University(格里菲斯大学信息与通信技术学院)

专题命中 提示注入 :prompt injection(abstract);分类 cs.AI

AI总结 本文提出BlindGuard,一种无需标注的多智能体系统防御方法,通过层次编码器和腐蚀引导检测器有效检测多种攻击类型,优于监督基线。

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.23374 2026-04-28 cs.CR 50%

Ghost in the Agent: Redefining Information Flow Tracking for LLM Agents

代理中的幽灵:重新定义LLM代理的信息流跟踪

Yuandao Cai, Wensheng Tang, Cheng Wen, Shengchao Qin

专题命中 提示注入 :prompt injection(abstract)

AI总结 本文提出NeuroTaint框架,通过语义证据、因果推理和持久上下文跟踪,解决LLM代理中信息流跟踪问题,优于现有基准方法。

详情

展开后加载摘要…

URL PDF HTML 收藏