From Noise to Diversity: Random Embedding Injection in LLM Reasoning
从噪声到多样性:在LLM推理中的随机嵌入注入
机构 * Gwangju Institute of Science and Technology(光州科学技术学院) ; Seoul National University(首尔国立大学) ; Microsoft Research(微软研究院)
专题命中 数学推理 :reasoning(title,abstract);math reasoning(abstract);分类 cs.AI
AI总结 本文研究了随机软提示(RSPs),通过在输入中添加随机嵌入向量提升推理性能,揭示了注入过程对生成多样性的影响,并在推理和训练中均取得显著效果。
Comments Under review, ICML 2026 Mechanistic Interpretability Workshop (Spotlight)