First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers
首个令牌广播者：Transformer中语言身份与分布式鲁棒性的机制起源
机构 * Irvington High School（欧文顿高中） ； GenAI4E ； Mapua University（马普阿大学）
AI总结 通过因果干预方法LIHA，发现Transformer中少量注意力头（如GPT-2的L6H1）持续关注首个令牌并广播语言信号，且消融后补偿呈现层级前馈模式；指令微调将语言身份电路重组至早期层。
Comments Under review at Interp4Discovery @ NeurIPS 2026
