Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data
顺序编码:利用自生成训练数据突破模型压缩的极限
机构 * New York University(纽约大学) ; Carnegie Mellon University(卡内基梅隆大学)
AI总结 研究利用自生成训练数据的顺序编码突破模型压缩极限,教师模型从学生分布选样本,学生代码记录选择,代码长度与参数和熵无关且更短,还能揭示现象、给出泛化保证、隔离可学习信息。
Comments Code available at https://github.com/shikaiqiu/requential-coding