Huazhong University of Science and Technology（华中科技大学）

MAD-OPD: Breaking the Ceiling in On-Policy Distillation via Multi-Agent Debate

MAD-OPD: 突破基于策略的蒸馏的天花板：多智能体辩论

Jianze Wang, Ying Liu, Jinlong Chen, Xuchun Hu, Qilong Zhang, Yu Cao, Jun Wang, Hua Yang, Yong Xie, Qianglong Chen

机构 * School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； Alibaba Group（阿里巴巴集团） 纠错

AI总结 MAD-OPD通过多智能体辩论机制突破单教师限制，提出多教师辩论框架和基于任务的分歧原理，提升代理任务和代码生成性能。

Comments Preprint. 9-page main paper + appendix. 8 figures, 7 tables. Code: https://github.com/chiefovoavicii/MAD-OPD

Activation Compression in LLMs: Theoretical Analysis and Efficient Algorithm

LLMs中的激活压缩：理论分析与高效算法

Wen-Da Wei, Han-Bin Fang, Yang-Di Liu, Jiang-Xin Shi, James Kwok, Yu-Feng Li

机构 * Nanjing University（南京大学） ； Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Hong Kong University of Science and Technology（香港科学大学） 纠错

AI总结 本文提出一种激活-梯度联合压缩方法，通过低秩因子压缩线性层梯度，无需额外计算，提升LLM训练效率与压缩性能。