NITP: Next Implicit Token Prediction for LLM Pre-training
NITP:面向LLM预训练的下一隐式令牌预测
机构 * School of AI, Shanghai Jiao Tong University(上海交通大学人工智能学院) ; Xiaohongshu Inc.(小红书公司) ; The Chinese University of Hong Kong(香港中文大学) ; University of Science and Technology of China(中国科学技术大学)
AI总结 提出NITP方法,通过在表示空间中添加密集连续监督来增强离散令牌预测,以解决标准下一令牌预测中潜在表示空间约束不足的问题,并在0.5B至9B参数模型上取得一致性能提升。
Comments Accepted at ICML 2026