Meituan（美团）

Attention Sink in Transformers: A Survey on Utilization, Interpretation, and Mitigation

Transformer中的注意力汇聚：利用、解释与缓解综述

Zunhai Su, Hengyuan Zhang, Wei Wu, Yifan Zhang, Yaxiu Liu, He Xiao, Qingyao Yang, Yuxuan Sun, Rui Yang, Chao Zhang, Jing Xiong, Hui Shen, Keyu Fan, Weihao Ye, Chaofan Tao, Taiqiang Wu, Zhongwei Wan, Tiantian Zhang, Bowen Yan, Zhen Li, Yiming Zhang, Congkai Xie, Yulei Qian, Yuchen Xie, Yik-Chung Wu, Hongxia Yang, Ngai Wong

机构 * Tsinghua University（清华大学） ； Meituan LongCat Team（美团LongCat团队） ； The University of Hong Kong（香港大学） ； University of Michigan（密歇根大学） ； Xiamen University（厦门大学） ； The Ohio State University（俄亥俄州立大学） ； Columbia University（哥伦比亚大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

AI总结 本文首次系统综述Transformer中的注意力汇聚现象，从基础利用、机制解释和策略缓解三个维度梳理研究现状，为未来研究提供指导。

PolarQuant: Leveraging Polar Transformation for Efficient Key Cache Quantization and Decoding Acceleration

PolarQuant: 利用极坐标变换实现高效键缓存量化和解码加速

Songhao Wu, Ang Lv, Xiao Feng, Yufei Zhang, Xun Zhang, Guojun Yin, Wei Lin, Rui Yan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； ShanghaiTech University（上海科技大学） ； Meituan（美团） 纠错

AI总结 提出PolarQuant方法，通过将键向量分组为二维子向量并编码为量化半径和极角，解决键缓存量化中的异常值问题，同时通过查表加速解码，保持全精度模型性能。

Comments NeurIPS 2025 version with minor revisions to the methodology