AI 大模型

大模型对齐与安全

大模型对齐、安全、越狱、红队、提示注入和可信评测。

2026-08-10 至 2026-08-10 共收录 2 篇信号源：cs.CL, cs.AI, cs.CY, cs.LG

1. 提示注入 2 篇

2608.06477 2026-08-10 cs.CR cs.AI cs.CL 新提交 88%

StepJack：针对多步骤间接提示注入的计算机使用智能体安全基准测试

Zhuoxin Zhan, Akbar Rafiey, Avery Ma, Leila Pishdad, Layla El Asri

专题命中提示注入：safety(title,abstract)；prompt injection(title,abstract)；分类 cs.CL、cs.AI

AI总结本文提出多步骤间接提示注入新型攻击，构建含480个测试样例的StepJack基准，评估六款先进CUAs，发现多步骤攻击可提升部分CUAs的攻击成功率。

2608.07167 2026-08-10 cs.AI 新提交 70%

NiyamAI——一种使用零知识证明实现密码学可验证护栏的意图绑定AI智能体

Aditya Katkar, Om Karkele, Kartik Mandhane, Manisha More, Yash Kashid

专题命中提示注入：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 Niyam-AI是一种基于零知识证明的意图绑定AI智能体框架，通过SHA-256承诺意图合约、Judge模型验证和zk-SNARK确保证明，在Agent-SafetyBench评估中较多款基线护栏实现显著安全性能提升。