What, Where, and How: Disentangling the Roles of Task, Language, and Model in Code Model Representations
是什么、在哪里以及如何:解开任务、语言和模型在代码模型表示中的作用
机构 * University College London(伦敦大学学院)
专题命中 程序分析与验证 :code model(title);分类 cs.CL、cs.LG
AI总结 研究独立训练的语言模型在代码表示上的情况,通过2x2设计扩展概念电路提取方法,测量语法概念,发现任务决定概念获专用电路,模型决定电路位置及增长方式,还得出如Rust与Python电路差异等结论,为后续测试奠定基础。
Comments 16 pages, 11 figures, 6 tables. Code: https://github.com/piotrwilam/Atlas2x2 ; dataset: https://huggingface.co/datasets/piotrwilam/Atlas2x2