What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal
是什么驱动了表示引导?对引导拒绝的机制性案例研究
机构 * University of Maryland, College Park(马里兰大学帕克分校)
AI总结 研究通过机制性案例分析,探讨引导向量如何通过注意力机制影响模型输出,揭示引导向量主要作用于OV电路而非QK电路,并发现引导向量可被稀疏化而不影响性能。
Comments 9 pages + appendix, 7 figures