大厂专区

Together AI

2026-07-13 至 2026-07-13 共收录 1 篇

2602.21196 2026-07-13 cs.LG cs.DC 版本更新

Untied Ulysses: Memory-Efficient Context Parallelism via Headwise Chunking

解耦乌lysses：通过头级分块实现内存高效的上下文并行

Ravi Ghadia, Maksim Abraham, Sergei Vorobyov, Max Ryabinin

机构 * Together AI

AI总结 UPipe通过头级分块实现内存高效的上下文并行，显著减少激活内存使用，支持更长的上下文长度。

Comments 14 pages, 6 figures

↑