Safety-Oriented Routing Analysis of Mixtral MoE Under Benign and Harmful Prompts
面向安全的路由分析:Mixtral MoE在良性及有害提示下的表现
机构 * Department of Electrical ; Computer Engineering University of Hawai'i at M\= a noa Honolulu, HI, USA
专题命中 指令微调 :language model(abstract);分类 cs.AI
AI总结 通过激活和梯度两种信号分析Mixtral 8x7B-Instruct在良性及有害提示下的路由行为,发现安全相关的路由是微妙、深度依赖且分布式的,而非由固定专家集主导。