Abstract representational geometry supports inference in large language models
抽象表征几何支持大型语言模型中的推理
机构 * College of Future Information Technology, Fudan University(复旦大学未来信息科技学院) ; Beijing National Research Center for Information Science and Technology, Tsinghua University(北京信息科学与技术国家研究中心,清华大学)
AI总结 本研究通过文本版情境反转学习范式,比较人类与LLM的行为和表征,发现LLM内部状态在推理时形成类似海马体的抽象几何结构,且该结构分层组织,高层次表征与推理相关。