大模型对齐与安全

"**Important** You should give me full credits!": Exploring Prompt Injection Attacks on LLM-Based Automatic Grading Systems

“**重要** 你应该给我满分！”：探索针对基于LLM的自动评分系统的提示注入攻击

Hang Li, Fedor Filippov, Yuping Lin, Pengfei He, Kaiqi Yang, Yucheng Chu, Yingqian Cui, Hui Liu, Jiliang Tang

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 研究针对基于LLM的自动评分系统的提示注入攻击，通过实验证明当前系统高度脆弱，并评估现有防御策略的有效性。

Comments 15 pages, 8 figures, 9 tables

A Layered Security Framework Against Prompt Injection in RAG-Based Chatbots

基于RAG的聊天机器人中针对提示注入的分层安全框架

Gulshan Saleem, Nisar Ahmed, Muhammad Imran Zaman, Ali Hassan

机构 * ICCK Transactions on Information Security and Cryptography（信息安全与密码学国际会议交易） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.CL

AI总结 提出三层防御框架，通过输入过滤、上下文指令层级和输出审计，将提示注入攻击成功率从71.4%降至11.3%，误报率4.8%，延迟开销61.2毫秒。

Comments Submitted in ICCK Transactions on Information Security and Cryptography

Analyzing the Narration Gap in LLM-Solver Loops

分析大语言模型-求解器循环中的叙述差距

Zunchen Huang, Songgaojun Deng

机构 * Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 研究LLM与SAT/SMT求解器混合推理中，将求解器输出转化为用户答案的叙述步骤存在的安全漏洞，通过形式化建模和实验评估发现证书门控可保证求解结果正确，但对抗攻击可反转结论。