HALLMARK: Diagnosing Three Failure Modes in LLM Citation Verifiers
HALLMARK:诊断大语言模型引用验证器中的三种失败模式
专题命中 Agent评测 :agentic(abstract);分类 cs.AI、cs.LG
AI总结 研究大语言模型引用验证器的失败模式,通过HALLMARK基准测试评估多种验证器,发现误报率决定验证器是否可部署,并具体指出三种失败模式,强调误报率是部署瓶颈,未检测到的伪造对科学记录代价更高。
Comments 59 pages, 7 figures, 40 tables. Benchmark and code: https://github.com/rpatrik96/hallmark (v1.2.0); verification tool: https://github.com/rpatrik96/bibtexupdater (v1.5.0)