Cisco（思科）

TallyTrain: Communication-Efficient Federated Distillation

TallyTrain: 通信高效的联邦蒸馏

Radhakrishna Achanta, Will Reed

机构 * Cisco Systems Inc（思科系统公司） 纠错

AI总结 针对联邦学习中模型大小和类别数导致的通信瓶颈，提出TallyTrain方法，通过传输argmax类别索引将每个探针的通信量压缩至⌈log₂C⌉比特，在非独立同分布训练下优于软标签蒸馏，并在标准基准上匹配或超越软标签蒸馏，通信量降低三个数量级。

Comments 27 pages, 7 figures, 12 tables

Distill to Detect: Exposing Stealth Biases in LLMs through Cartridge Distillation

蒸馏检测：通过弹药筒蒸馏揭露大语言模型中的隐蔽偏见

Shayan Talaei, Abhinav Chinta, Devvrit Khatri, Amin Karbasi, Azalia Mirhoseini, Amin Saberi

机构 * Stanford University（斯坦福大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Foundation AI–Cisco Systems Inc.（Foundation AI–思科系统公司） 纠错

AI总结 提出Distill to Detect (D2D)方法，通过蒸馏模型与基座之间的分布偏移到KV缓存前缀适配器中，放大隐蔽偏见信号至可检测程度，并基于Fisher加权投影理论解释其有效性。

Comments Accepted to the ICML 2026 Workshops on TAIGR, AI4GOOD, Mechanistic Interpretability, and CoLoRAI