Where Should Diffusion Enter a Language Model? Geometry-Guided Hidden-State Replacement
扩散应进入语言模型的何处?几何引导的隐藏状态替换
机构 * Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院) ; Department of Biosystems & Biomaterials Science and Engineering, Seoul National University(首尔国立大学生物系统与生物材料科学与工程系)
专题命中 扩散模型 :diffusion(title,abstract)
AI总结 本文提出DiHAL模型,通过几何引导确定扩散在预训练Transformer中的最佳插入位置,通过隐藏状态恢复而非直接连续到离散恢复提升性能。