University of Oxford（牛津大学）

Threshold Differential Attention for Sink-Free, Ultra-Sparse, and Non-Dispersive Language Modeling

阈值差分注意力：用于无汇、超稀疏和非分散语言建模

Xingyue Huang, Xueying Ding, Mingxuan Ju, Yozen Liu, Neil Shah, Tong Zhao

机构 * University of Oxford（牛津大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Snap Inc 纠错

AI总结 本文提出阈值差分注意力机制，解决长上下文下的注意力汇问题，实现超稀疏和鲁棒性提升，无需投影方法或标准注意力的噪声积累。

Journal ref ACL 2026

Asynchronous Federated Continual Segmentation with Evolving Clients and Label Spaces

具有不断变化的客户端和标签空间的异步联邦持续分割

Can Peng, Qianhui Men, Pramit Saha, Qianye Yang, Yingyu Yang, Shuwei Xing, Cheng Ouyang, J. Alison Noble

机构 * University of Oxford（牛津大学） ； University of Bristol（布里斯托大学） 纠错

AI总结 研究现实中联邦学习客户端组成和标签空间会变化的问题，提出CA-MMDS框架，通过基于代理的蒸馏更新全局模型，减少通信和计算成本，以多类3D腹部CT分割任务验证其能有效整合客户端知识并获良好分割性能。