大模型对齐与安全

Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack

先定位再中和：梯度引导的令牌抑制对抗视觉提示注入攻击

Dongpeng Zhang, Ke Ma, Yangbangyan Jiang, Gaozheng Pei, Longtao Huang, Qianqian Xu, Qingming Huang

机构 * School of Advanced Interdisciplinary Sciences, UCAS（UCAS交叉学科研究院） ； School of Electronic, Electrical and Communication Engineering, UCAS（UCAS电子电气与通信工程学院） ； State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（中国科学院计算技术研究所人工智能安全国家重点实验室） ； Alibaba Group（阿里巴巴集团） ； School of Computer Science and Technology, UCAS（UCAS计算机科学与技术学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Key Laboratory of Big Data Mining and Knowledge Management, UCAS（UCAS大数据挖掘与知识管理重点实验室） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 针对多模态大语言模型的视觉提示注入攻击，提出梯度令牌掩码（GTM）方法，通过梯度分析定位关键图像令牌并掩码中和，将攻击成功率降至接近零且计算开销极小。

Agentao: A Governed Local-First Runtime for Tool-Using LLM Agents

Agentao：面向使用工具的大语言模型智能体的受管控本地优先运行时

Bo Jin, Qiang Jiao, Xin Tong

机构 * The Third Research Institute of the Ministry of Public Security（公安部第三研究所） ； Bureau of Science and Technology Information Ministry of Public Security of the People’s Republic of China（中华人民共和国公安部科技信息局） ； School of Information and Cyber Security People’s Public Security University of China（中国人民公安大学信息与网络安全学院） 纠错

专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 针对工具使用型LLM智能体的安全管控需求，提出Agentao运行时，通过分层架构分离动作提案与授权执行，将权限等构建为显式抽象，提升智能体可管控性与可检查性。

Comments The code is publicly available at Github. We are conducting testing and analysis of this framework, and will provide experimental results and examples in future versions