HyperGuide: Hyperbolic Guidance for Efficient Multi-Step Reasoning in Large Language Models
HyperGuide: 用于大型语言模型高效多步推理的双曲引导
机构 * Department of Computer Science(计算机科学系) ; Stony Brook University(石英布鲁克大学) ; Department of Applied Mathematics and Statistics(应用数学与统计学系) ; Yale University(耶鲁大学) ; Department of Data Science(数据科学系) ; New Jersey Institute of Technology(新泽西理工学院) ; Department of Biomedical Informatics(生物医学信息学系)
专题命中 推理与问题求解 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.AI
AI总结 针对多步推理中单次生成效率高但精度低、树搜索计算量大的问题,提出通过将推理进度蒸馏为双曲几何信号来引导逐步生成,利用双曲空间的距离和角度特性编码解接近度与分支区分,训练轻量头投影隐状态并微调适配器,在多个基准上取得一致提升。