The Fools are Certain; the Wise are Doubtful: Exploring LLM Confidence in Code Completion
傻瓜们确信;聪明人则怀疑:探索LLM在代码补全中的信心
机构 * Department of Management Science and Technology, Athens University of Economics and Business(管理科学与技术系,雅典经济与商业大学)
专题命中 知识编辑与模型理解 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI
AI总结 本文研究LLM在代码补全中的信心,通过测量不同编程语言、模型和数据集的代码困惑度,发现强类型语言比动态类型语言困惑度更低,脚本语言困惑度更高,Java困惑度较低。
Comments 35 pages, 12 figures, 1 table