SafeSpec: Fast and Safe LLM via Dynamic Reflective Sampling
SafeSpec: 通过动态反射采样实现快速且安全的LLM
机构 * Zhejiang University, Hangzhou, China(浙江大学) ; Huawei(华为) ; Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳))
AI总结 提出SafeSpec框架,将轻量安全头集成到推测解码的验证过程中,通过风险估计和反射采样恢复安全生成,在保持加速的同时显著降低攻击成功率。