2605.07182
2026-05-11
cs.LG
Star Elastic: Many-in-One Reasoning LLMs with Efficient Budget Control
Ali Taghibakhshi, Ruisi Cai, Saurav Muralidharan, Sharath Turuvekere Sreenivas, Aditya Vavre, Ameya Sunil Mahabaleshwarkar, Bilal Kartal, Sheldon Liang, Marcin Chochowski, Zijia Chen, Akhiad Bercovich, Ran Zilberstein, Ran El-Yaniv, Yonatan Geifman, Daniel Korzekwa, Yoshi Suhara, Oluwatobi Olabiyi, Ashwath Aithal, Nima Tajbakhsh, Pavlo Molchanov
AI总结
Star Elastic 是一种新型的大型语言模型(LLM)后训练方法,通过一次训练过程生成多个嵌套子模型,大幅降低训练成本并提升推理效率。该方法引入弹性预算控制机制,允许根据任务难度动态选择不同子模型进行推理,从而在准确率和延迟之间取得更好的平衡。实验表明,Star Elastic 在保持模型性能的同时,相比从头训练和现有压缩方法分别减少了360倍和7倍的训练成本,并支持多种架构的嵌套与知识蒸馏,适用于大规模模型的高效部署。