When Do LLMs Apply the Wrong Law? Diagnosing LLM Failures in Temporal Legal Reasoning
大型语言模型何时适用错误法律?诊断大型语言模型在时间法律推理中的失败
机构 * Institute of Science Tokyo(东京科学大学) ; Osaka University(大阪大学) ; NII LLMC(日本信息学研究所语言、语言学与媒体中心) ; Nara Institute of Science and Technology(奈良科学技术研究所) ; Center of Juris-Informatics, ROIS-DS(日本学术研究推进机构跨学科科学研究中心法学信息学中心)
专题命中 推理与问题求解 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI
AI总结 本文构建基准评估LLMs的时间适用法律判定能力,发现LLMs存在适用最新法律的偏差,该偏差源于强化学习塑造的显式推理导致推理路径多样性减少,通用推理能力更强的模型在时间法律推理中表现更差,为相关优化提供指导。