LoRDO: Distributed Low-Rank Optimization with Infrequent Communication
LoRDO: 分布式低秩优化与低频通信
机构 * University of Cambridge(剑桥大学) ; Institute of Science and Technology Austria(奥地利科学与技术研究院) ; Lancaster University(兰卡斯特大学) ; Flower Labs(Flower实验室)
AI总结 提出LoRDO框架,统一低秩优化与低频同步,通过全秩准双曲更新恢复子空间探索,在125M-720M模型规模下实现与低秩DDP近似的性能,通信量减少约10倍。
Comments Accepted at ICML 2026