代码大模型 / AI 编程

Benchmark of Benchmarks: Unpacking Influence and Code Repository Quality in LLM Safety Benchmarks

基准的基准：解构影响与代码仓库质量在LLM安全基准中的作用

Junjie Chu, Xinyue Shen, Ye Leng, Michael Backes, Yun Shen, Yang Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全研究中心） ； University of Waterloo（滑铁卢大学） ； Flexera（Flexera公司） 纠错

专题命中 代码评测 ：repository(title)；分类 cs.SE、cs.AI

AI总结 本文通过系统研究31个LLM安全基准及382篇非基准论文，发现仅39%的基准仓库可直接运行，且缺乏伦理考量。研究揭示社区采用基准与作者声望和代码运行性相关，但与代码质量无关，指出安全基准可能存在安全隐患和不可比性问题。

Comments 24 pages. 19 figures

Is Agentic AI Ready for Real-World Hardware Engineering? A Deep Dive with Phoenix-bench

代理AI是否准备好进行现实世界硬件工程？通过Phoenix-bench的深入探讨

Qingyun Zou, Feng Yu, Hongshi Tan, Bingsheng He, WengFai Wong

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 本文通过Phoenix-bench评估代理AI在硬件工程中的表现，发现软件与硬件工程本质不同，且故障集中于设计控制流、验证测试用例等，定位精度比定位本身更重要。