Probing the Difficulty Perception Mechanism of Large Language Models
探究大语言模型的难度感知机制
机构 * Institute of Digital Twin, EIT(数字孪生研究所,EIT) ; Wuhan University of Science and Technology(武汉科技大学) ; Zhejiang University(浙江大学) ; Hong Kong Polytechnic University(香港理工大学) ; Shenzhen Institutes of Advanced Technology, CAS(深圳先进技术研究院,中国科学院)
专题命中 知识编辑与模型理解 :large language model(title,abstract);language model(title,abstract);分类 cs.CL、cs.AI
AI总结 研究大语言模型内部评估问题难度的能力,通过线性探测和定位特定注意力头实现难度感知建模,经消融实验验证,为用LLMs作自动难度注释器提供支持,揭示token级差异,表明难度感知有结构组织,提供新方向。