图像生成

First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers

首个令牌广播者：Transformer中语言身份与分布式鲁棒性的机制起源

Arjun Pillai, Christian Hoang, Anjelo Jann Laroza

机构 * Irvington High School（欧文顿高中） ； GenAI4E ； Mapua University（马普阿大学） 纠错

专题命中 个性化与一致性 ：diffusion(abstract)

AI总结 通过因果干预方法LIHA，发现Transformer中少量注意力头（如GPT-2的L6H1）持续关注首个令牌并广播语言信号，且消融后补偿呈现层级前馈模式；指令微调将语言身份电路重组至早期层。

Comments Under review at Interp4Discovery @ NeurIPS 2026