代码大模型 / AI 编程

An Empirical Study of Proactive Coding Assistants in Real-World Software Development

对现实软件开发中主动编码助手的实证研究

Lehui Li, Ruixuan Jia, Guo-Ye Yang, Jia Li

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； Fitten Tech Co., Ltd.（Fitten科技有限公司） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 本文通过大规模实证研究，分析了模拟与现实数据在主动意图预测中的差异，提出ProCodeBench基准，并指出模拟数据无法替代真实数据。

When No Benchmark Exists: Validating Comparative LLM Safety Scoring Without Ground-Truth Labels

在没有基准的情况下：在无标签的情况下验证比较LLM安全性评分

Sushant Gautam, Finn Schwall, Annika Willoch Olstad, Fernando Vallecillos Ruiz, Birk Torpmann-Hagen, Sunniva Maria Stordal Bjørklund, Leon Moonen, Klas Pettersen, Michael A. Riegler

机构 * Simula Metropolitan Center for Digital Engineering（Simula 数字工程中心） ； Oslo Metropolitan University（奥斯陆 Metropolitan 大学） ； University of Oslo（奥斯陆大学） ； Simula Research Laboratory（Simula 研究实验室） ； Norwegian Directorate of Health（挪威健康 Directorate） 纠错

专题命中 代码评测 ：分类 cs.CL、cs.AI、cs.LG；repository(comments)

AI总结 本文提出在无标签情况下验证LLM安全性的方法，通过构建仪器有效性链来替代真实标签，通过实验验证其有效性，并展示了在不同场景下的应用和结果。

Comments SimpleAudit Repository: https://github.com/kelkalot/simpleaudit