2605.08633
2026-05-12
cs.DC
cs.CV
Transforming the Use of Earth Observation Data: Exascale Training of a Generative Compression Model with Historical Priors for up to 10,000x Data Reduction
Jinxiao Zhang, Runmin Dong, Xiyong Wu, Xihan Huang, Shenggan Cheng, Yunkai Yang, Zheng Zhou, Yunpu Xu, Zhaoyang Luo, Miao Yang, Fan Wei, Mengxuan Chen, Yang You, Juepeng Zheng, Weijia Li, Yutong Lu, Haohuan Fu
AI总结
该研究提出了一种基于历史先验的生成式压缩框架,旨在将地球观测数据的压缩从传统的存储和传输工具转变为一种新型的数据使用方式,实现高达10,000倍的数据压缩比。通过在LineShine Armv9超算上进行超大规模训练,研究团队优化了模型设计、内核、内存层次、运行时和并行性,实现了每秒1.54至2.16 EFLOP的高效训练性能。该方法利用地球观测数据重复测量同一星球的特性,为极端压缩提供了可行方案,展示了历史先验生成压缩在数据获取、传输、存储和科学应用中的巨大潜力。