Persona Non Grata: LLM Persona-Driven Generations in MCQA are Unstable in Distinct Dimensions
不受欢迎的人:多选问答中LLM角色驱动生成在不同维度上不稳定
机构 * Department of Computer Science, University of Pittsburgh(匹兹堡大学计算机科学系)
专题命中 推理与问题求解 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL
AI总结 本研究提出三个指标评估LLM在MCQA任务中角色驱动生成的不稳定性,发现模型家族、大小、问题领域及提示格式均影响稳定性,且不稳定性与任务准确性相关。
Comments 23 pages, 12 figures. Under review at ARR