StepShield: When, Not Whether to Intervene on Rogue Agents
StepShield:何时干预流氓代理,而非是否干预
机构 * University of Virginia(弗吉尼亚大学) ; Indian Institute of Science, Bangalore(印度科学研究院,班加罗尔) ; Cornell University(康奈尔大学) ; University of the Cumberlands(库姆伯兰兹大学) ; University of Arizona(亚利桑那大学) ; California State University, Northridge(加州州立大学,北岭分校)
专题命中 安全评测 :safety(abstract);分类 cs.AI、cs.LG
AI总结 研究代理安全检测时机问题,引入StepShield基准及早期干预率(EIR),揭示取证陷阱,指出基于规则的护栏虽召回率高但时机不佳,现有方法无法兼顾高召回、低误报和及时干预,凸显逐步骤流氓检测待解决。
Comments 20 pages, 4 figures, 10 ablation studies. Code and data: https://github.com/glo26/stepshield