To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias
比较还是不比较:论评估社会偏见的方法论实践
机构 * Tsinghua University(清华大学) ; The Hebrew University of Jerusalem(耶路撒冷希伯来大学) ; Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE(普适知识处理实验室(UKP Lab),计算机科学系,达姆施塔特工业大学及国家应用网络安全研究中心ATHENE)
专题命中 推理与问题求解 :large language model(abstract);language model(abstract);分类 cs.CL
AI总结 提出统一框架标准化异构基准,揭示孤立评估与强制比较设置间的系统性范式差距,发现比较设置会催化潜在歧视,且链式思维推理加剧偏见,规模越大偏见越强。