Exploring Code Analysis: Zero-Shot Insights on Syntax and Semantics with LLMs
探索代码分析:利用大语言模型进行语法和语义的零样本洞察
机构 * Singapore Management University(新加坡国立大学) ; Blekinge Institute of Technology(布莱金厄学院) ; Beihang University(北航) ; State Key Laboratory of Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室) ; The University of Tokyo(东京大学) ; University of Alberta(阿尔伯塔大学) ; Nanyang Technological University(南洋理工大学) ; Shenzhen Technology University(深圳技术大学)
专题命中 推理评测 :reasoning(abstract);分类 cs.AI
AI总结 本文研究了大语言模型在代码分析中的应用,通过评估21种最先进的LLM在四种语言中的九项任务,揭示了LLM在语法解析、静态语义推断和动态推理方面的性能,发现其在跨语言泛化方面有优势,但动态推理仍有限,提出了一个经过验证的评估框架。
Comments Accepted at ACM Transactions on Software Engineering and Methodology (TOSEM)