The PIMMUR Principles: Ensuring Validity in Collective Behavior of LLM Societies
PIMMUR 原则:确保 LLM 社会集体行为的有效性
机构 * Chinese University of Hong Kong(香港中文大学) ; Johns Hopkins University(约翰斯·霍普金斯大学) ; Carnegie Mellon University(卡内基梅隆大学) ; Fudan University(复旦大学) ; Stanford University(斯坦福大学) ; Renmin University of China(中国人民大学)
AI总结 本文通过审计39项研究,识别出六个普遍缺陷,指出89.7%的研究违反至少一个原则,导致模拟有效性受损。通过复现实验发现,当遵循PIMMUR原则时,报告的集体现象往往消失或反转,表明许多'涌现'行为可能是方法学伪影而非真实社会动态。
Comments 13 pages, 9 figures, 3 tables; add more papers in our systematic audit (39 in total)