How Order-Sensitive Are LLMs? OrderProbe for Deterministic Structural Reconstruction
大语言模型对顺序敏感性如何?OrderProbe用于确定性结构重建
机构 * Peking University(北京大学) ; The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) ; City University of Hong Kong(香港城市大学) ; Fudan University(复旦大学) ; The Hong Kong Polytechnic University(香港理工大学) ; Tsinghua University(清华大学) ; Zhejiang University(浙江大学) ; University of Illinois Urbana-Champaign(伊利诺伊大学香槟分校) ; Marquette University(马凯特大学) ; Juniata College(朱尼阿特学院)
AI总结 研究通过OrderProbe基准评估大语言模型对输入顺序的敏感性,发现即使在前沿模型上,结构重建仍面临挑战,且语义能力与结构鲁棒性存在脱节。