arXivDaily arXiv每日学术速递 周一至周五更新

大厂专区

Broadcom(博通)

2026-07-09 至 2026-07-09 共收录 1
2602.08923 2026-07-09 cs.LG cs.DC cs.NI 版本更新

DynamiQ: Accelerating Gradient Synchronization using Compressed Multi-hop All-reduce

DynamiQ:使用压缩多跳全规约加速梯度同步

Wenchen Han, Shay Vargaftik, Michael Mitzenmacher, Ran Ben Basat

机构 * University College London(伦敦大学) VMware Research by Broadcom(VMware由Broadcom进行的研究) Harvard University(哈佛大学) Broadcom

AI总结 研究针对大规模模型训练中网络成瓶颈的问题,提出DynamiQ量化框架,引入新技术并设计融合内核,扩展PyTorch DDP支持,在不同场景下比现有方法最多提升34.2%。

Comments 17 pages, 19 figures. Accepted to ACM SIGCOMM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏