Unifying Dataset Pruning and Distillation for Efficient Large-scale Compression
统一数据集剪枝与蒸馏以实现高效大规模压缩
机构 * University of Science and Technology of China(中国科学技术大学)
AI总结 本文提出一个统一的数据集压缩基准,探讨数据集剪枝与蒸馏的收敛趋势,发现软标签蒸馏在小数据集上表现不如剪枝,提出基于硬标签的数据集压缩方法,通过PCA框架提升图像质量和存储效率。
Comments Accepted by ICML 2026