AI 大模型

大模型对齐与安全

大模型对齐、安全、越狱、红队、提示注入和可信评测。

2026-07-09 至 2026-07-09 共收录 2 篇信号源：cs.CL, cs.AI, cs.CY, cs.LG

1. 红队测试 2 篇

2607.07695 2026-07-09 cs.AI cs.GT cs.MA 新提交 86%

机构红队测试：部署规则而非模型，因果性地塑造多智能体人工智能安全

Yujiao Chen

机构 * Massachusetts Institute of Technology（麻省理工学院）

专题命中红队测试：safety(title,abstract)；AI safety(title)；分类 cs.AI

AI总结研究多智能体人工智能安全中部署规则的影响，提出机构红队测试方法，通过IABench-CA实例化，发现规则改变集体安全、无安全默认规则、身份显著性是机制，还打包成安全案例工作流程认证规则区域并明确风险义务。

2607.07474 2026-07-09 cs.CR cs.AI cs.CL 新提交 62%

超越攻击成功率：工具使用型人工智能代理的行动分级严重程度量表

Harry Owiredu-Ashley

专题命中红队测试：safety(abstract)；分类 cs.CL、cs.AI

AI总结研究指出代理红队测试基准的二元攻击成功率不能体现行动危害。为此引入行动分级伤害准则，通过预言机和评判小组计算量表。在AgentDojo工作区测试发现该准则能揭示新情况，虽与预言机一致性高但有盲点，贡献了可用于红队日志实际行动的严重程度工具。