Can We Trust LLM's Logic? Quantifying Uncertainty, Coherence, and Robustness via a Graph-Based Framework
我们能信任大语言模型的逻辑吗?通过基于图的框架量化不确定性、连贯性和鲁棒性
机构 * Department of Electrical and Computer Engineering(电气与计算机工程系) ; Department of Biochemistry and Molecular Genetics(生物化学与分子遗传学系) ; University of Illinois Chicago(伊利诺伊大学芝加哥分校)
专题命中 逻辑推理 :reasoning(abstract);分类 cs.CL、cs.AI
AI总结 研究大语言模型推理问题,引入基于图的GRAPHEVAL框架,提出GRCS度量和GSC解码策略,量化不确定性等,发现GRCS与推理忠实度负相关,证明GSC所选路径对推理的重要性。
Comments 42 pages, 14 figures, 12 tables