Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens
潜在思维调整:通过潜在令牌中的融合信息连接上下文与推理
机构 * University of Illinois Chicago(伊利诺伊大学芝加哥分校)
专题命中 其他推理 :reasoning(title,abstract);CoT(abstract,abstract_cn);chain-of-thought(abstract);分类 cs.CL
AI总结 研究提出潜在思维调整(LT-Tuning)框架,通过重新定义潜在思维构建与部署方式,引入上下文预测融合机制,结合三阶段课程学习,实现潜在与显式思维模式动态切换,优于现有潜在推理基线,有效缓解特征崩溃并提升推理精度。
Comments In Proceedings of the Forty-third International Conference on Machine Learning