Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts
突破内存瓶颈:支持百万级上下文的高效训练系统
机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing Ministry of Education of China(教育部多媒体可信感知与高效计算重点实验室) ; Xiamen University(厦门大学) ; Peking University(北京大学) ; University of Illinois Urbana-Champaign(伊利诺伊大学香槟分校) ; Shanghai Jiao Tong University(上海交通大学) ; Shanghai AI Laboratory(上海人工智能实验室)
AI总结 OOMB通过高效内存管理实现百万级上下文LLM训练,显著降低内存开销,提升训练效率。