Ablate and Rescue: A Causal Analysis of Residual Stream Hyper-Connections
消除与救援:残差流超连接的因果分析
机构 * Stanford University(斯坦福大学) ; Georgia Institute of Technology(佐治亚理工学院) ; University of California, Berkeley(加州大学伯克利分校) ; Independent(独立) ; University of Oxford(牛津大学)
AI总结 本文提出首个开源mHC语言模型,通过代表层面指标和因果干预分析多流架构,揭示并行流的信息编码与利用机制,引入系统性的流消除-救援框架进行因果比较。