Prompt Framing Distorts Count Based Evaluation of LLM Error Detection: Evidence from Numeric Anchoring
提示框架扭曲了基于计数的LLM错误检测评估:来自数字锚定的证据
机构 * Zhejiang University(浙江大学)
AI总结 本文发现基于计数的F1分数可能因提示中的数字锚定而虚高,与跨度定位能力脱节,提出ErrorBench压力测试协议,并建议评估时应避免预置错误计数并报告跨度感知指标。
Comments 15 pages, 6 figures, 12 tables. Preprint under review