Yejin Choi

Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages

反思式X训练：反馈条件化提升跨所有LLM训练阶段的扩展性

Brandon Cui, Ximing Lu, Jaehun Jung, Syeda Nahida Akter, Hyunwoo Kim, Yuxiao Qu, David Acuna, Shrimai Prabhumoye, Yejin Choi, Prithviraj Ammanabrolu

机构 * NVIDIA ； University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学） ； UC San Diego（南加州大学） 纠错

AI总结 本文提出反思式训练（IXT），通过利用后续阶段的动态来改进早期阶段，从而提高LLM训练的扩展效率，实验表明该方法在计算效率和性能上均有显著提升。