NITP: Next Implicit Token Prediction for LLM Pre-training
NITP：面向LLM预训练的下一隐式令牌预测
机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Xiaohongshu Inc.（小红书公司） ； The Chinese University of Hong Kong（香港中文大学） ； University of Science and Technology of China（中国科学技术大学）
AI总结 提出NITP方法，通过在表示空间中添加密集连续监督来增强离散令牌预测，以解决标准下一令牌预测中潜在表示空间约束不足的问题，并在0.5B至9B参数模型上取得一致性能提升。
Comments Accepted at ICML 2026
