代码大模型 / AI 编程

FALCON: Feedback-driven Adaptive Long/short-term memory reinforced Coding Optimization system

Zeyuan Li, Yangfan He, Lewei He, Jianhui Wang, Tianyu Shi, Bin Lei, Yuchen Li, Qiuwu Chen

机构 * School of Software, South China Normal University（南方科技大学软件学院） ； University of Minnesota - Twin Cities（明尼苏达大学双城分校） ； University of Electronic Science and Technology of China（电子科技大学） ； University of Toronto（多伦多大学） ； University of Connecticut（康涅狄格大学） ； AI center, AIGCode Inc.（AIGCode公司人工智能中心） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

Comments 20 pages, 7 figures

Singular Value Decomposition on Kronecker Adaptation for Large Language Model

Yee Hin Chong, Peng Qu

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

FrontendBench: A Benchmark for Evaluating LLMs on Front-End Development via Automatic Evaluation

Hongda Zhu, Yiwen Zhang, Bing Zhao, Jingzhe Ding, Siyao Liu, Tong Liu, Dandan Wang, Yanan Liu, Zhaojian Li

机构 * Institute for Clarity in Documentation（清晰文档研究所） ； Inria Paris-Rocquencourt（巴黎-罗quant研究所） ； Rajiv Gandhi University（拉贾·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕尔默研究实验室） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Data Augmentation Policy Search for Long-Term Forecasting

Liran Nochumsohn, Omri Azencot

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

Comments TMLR 2025

Journal ref Transactions on Machine Learning Research, 2025. https://openreview.net/forum?id=Wnd0XY0twh

MALSIGHT: Exploring Malicious Source Code and Benign Pseudocode for Iterative Binary Malware Summarization

Haolang Lu, Hongrui Peng, Guoshun Nan, Jiaoyang Cui, Cheng Wang, Weifei Jin, Songtao Wang, Shengli Pan, Xiaofeng Tao

机构 * National Engineering Research Center for Mobile Network Technologies（移动网络技术国家工程研究中心） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Zhongguancun Laboratory（中关村实验室） 纠错

专题命中 代码评测 ：code model(abstract)；分类 cs.SE、cs.AI

Comments Accepted by IEEE Transactions on Information Forensics & Security

LLM-as-a-Fuzzy-Judge: Fine-Tuning Large Language Models as a Clinical Evaluation Judge with Fuzzy Logic

Weibing Zheng, Laurah Turner, Jess Kropczynski, Murat Ozer, Tri Nguyen, Shane Halse

机构 * University of Cincinnati（辛辛那提大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

Comments 12 pages, 1 figure, 2025 IFSA World Congress NAFIPS Annual Meeting

Prompt engineering and framework: implementation to increase code reliability based guideline for LLMs

Rogelio Cruz, Jonatan Contreras, Francisco Guerrero, Ezequiel Rodriguez, Carlos Valdez, Citlali Carrillo

机构 * IBM Technologies（IBM技术） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Bridging RDF Knowledge Graphs with Graph Neural Networks for Semantically-Rich Recommender Systems

Michael Färber, David Lamprecht, Yuni Susanti

机构 * ScaDS.AI \& TU Dresden, Dresden, Germany metaphacts GmbH, Walldorf, Germany Fujitsu Ltd., Japan 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

Comments Accepted at DASFAA 2025

Policy Filtration for RLHF to Mitigate Noise in Reward Models

Chuheng Zhang, Wei Shen, Li Zhao, Xuyun Zhang, Xiaolong Xu, Wanchun Dou, Jiang Bian

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

Comments ICML2025

LLM Code Customization with Visual Results: A Benchmark on TikZ

Charly Reux, Mathieu Acher, Djamel Eddine Khelladi, Olivier Barais, Clément Quinton

机构 * Univ Rennes, Inria, IRISA, INSA（里昂大学、法国国家科学研究中心、法国国家信息与自动化研究所、法国工业与应用科学学院） ； Univ Rennes, Inria, CNRS, IUF, IRISA（里昂大学、法国国家科学研究中心、法国国家信息与自动化研究所、法国国家信息与自动化研究所、法国国家信息与自动化研究所） ； Univ Rennes, Inria, CNRS, IRISA（里昂大学、法国国家科学研究中心、法国国家信息与自动化研究所、法国国家信息与自动化研究所） ； Univ. Lille, CNRS, Inria（里昂大学、法国国家科学研究中心、法国国家信息与自动化研究所） ； Univ. Rennes, IRISA, Inria（里昂大学、法国国家信息与自动化研究所、法国国家信息与自动化研究所） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Journal ref EASE 2025 - Evaluation and Assessment in Software Engineering, Jun 2025, Istanbul, Turkey. pp.1-10

ResearchCodeBench: Benchmarking LLMs on Implementing Novel Machine Learning Research Code

Tianyu Hua, Harper Hua, Violet Xiang, Benjamin Klieger, Sang T. Truong, Weixin Liang, Fan-Yun Sun, Nick Haber

机构 * Stanford University（斯坦福大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

Legal Compliance Evaluation of Smart Contracts Generated By Large Language Models

Chanuka Wijayakoon, Hai Dong, H. M. N. Dilum Bandara, Zahir Tari, Anurag Soin

机构 * School of Computing Technologies, RMIT University（RMIT大学计算机技术学院） ； CSIRO’s Data61（CSIRO数据61研究中心） ； University of Technology, Sydney（悉尼技术大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Comments Accepted for publication at IEEE International Conference on Blockchain and Cryptocurrency (ICBC) 2025

SafeTuneBed: A Toolkit for Benchmarking LLM Safety Alignment in Fine-Tuning

Saad Hossain, Samanvay Vajpayee, Sirisha Rambhatla

机构 * Critical ML Lab（关键机器学习实验室） ； University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

CodeReviewQA: The Code Review Comprehension Assessment for Large Language Models

Hong Yi Lin, Chunhua Liu, Haoyu Gao, Patanamon Thongtanunam, Christoph Treude

机构 * The University of Melbourne（墨尔本大学） ； Singapore Management University（新加坡管理学院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL

Comments The paper is published in Findings of the Association for Computational Linguistics (ACL 2025)

OSS-UAgent: An Agent-based Usability Evaluation Framework for Open Source Software

Lingkai Meng, Yu Shao, Long Yuan, Longbin Lai, Peng Cheng, Wenyuan Yu, Wenjie Zhang, Xuemin Lin, Jingren Zhou

机构 * Shanghai Jiao Tong University（上海交通大学） ； East China Normal University（华东师范大学） ； Wuhan University of Technology（武汉理工大学） ； Alibaba Group（阿里巴巴集团） ； Tongji University（同济大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Sample-Efficient Human Evaluation of Large Language Models via Maximum Discrepancy Competition

Kehua Feng, Keyan Ding, Hongzhi Tan, Kede Ma, Zhihua Wang, Shuangquan Guo, Yuzhou Cheng, Ge Sun, Guozhou Zheng, Qiang Zhang, Huajun Chen

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.LG

Comments 35 pages, 6 figures, Accepted by ACL 2025

THiNK: Can Large Language Models Think-aloud?

Yongan Yu, Mengqian Wu, Yiran Lin, Nikki G. Lobczowski

机构 * McGill University（麦吉尔大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

CODE-DITING: A Reasoning-Based Metric for Functional Alignment in Code Evaluation

Guang Yang, Yu Zhou, Xiang Chen, Wei Zheng, Xing Hu, Xin Zhou, David Lo, Taolue Chen

机构 * College of Computer Science and Technology（计算机科学与技术学院） ； School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院） ； School of Software（软件学院） ； School of Software Technology（软件技术学院） ； School of Computing and Information Systems（计算与信息系统学院） ； School of Computing and Mathematical Sciences（计算与数学科学学院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Large Language Models for Predictive Analysis: How Far Are They?

Qin Chen, Yuanyi Ren, Xiaojun Ma, Yuyang Shi

机构 * Peking University（北京大学） ； Harvard University（哈佛大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

Comments Accepted to ACL 2025 Findings

Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators

Yilun Zhou, Austin Xu, Peifeng Wang, Caiming Xiong, Shafiq Joty

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.LG

Comments ICML 2025. The first two authors contributed equally. The codebase is at https://github.com/SalesforceAIResearch/jetts-benchmark

Benchmarking Post-Training Quantization in LLMs: Comprehensive Taxonomy, Unified Evaluation, and Comparative Analysis

Jiaqi Zhao, Ming Wang, Miao Zhang, Yuzhang Shang, Xuebo Liu, Yaowei Wang, Min Zhang, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Illinois Institute of Technology（伊利诺伊理工学院） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

Comments 17 pages, 3 fugures

A Qualitative Investigation into LLM-Generated Multilingual Code Comments and Automatic Evaluation Metrics

Jonathan Katzy, Yongcheng Huang, Gopal-Raj Panchu, Maksym Ziemlewski, Paris Loizides, Sander Vermeulen, Arie van Deursen, Maliheh Izadi

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 代码评测 ：code model(abstract)；分类 cs.SE、cs.AI

Comments Accepted PROMISE '25

EffiLearner: Enhancing Efficiency of Generated Code via Self-Optimization

Dong Huang, Jianbo Dai, Han Weng, Puzhen Wu, Yuhao Qing, Heming Cui, Zhijiang Guo, Jie M. Zhang

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL

Comments Accepted by NeurIPS 2024

EffiBench: Benchmarking the Efficiency of Automatically Generated Code

Dong Huang, Yuhao Qing, Weiyi Shang, Heming Cui, Jie M. Zhang

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL

Comments Camera Ready for NeurIPS 2024

English Please: Evaluating Machine Translation with Large Language Models for Multilingual Bug Reports

Avinash Patil, Siru Tao, Aryan Jadon

机构 * Juniper Networks Inc.（Juniper网络公司） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL

Comments 8 Pages, 4 Figures, 3 Tables

Ensuring Reproducibility in Generative AI Systems for General Use Cases: A Framework for Regression Testing and Open Datasets

Masumi Morishige, Ryo Koshihara

机构 * Galirage Inc.（加利拉格公司） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

Comments 15 pages, 10 figures

CoCo-Bench: A Comprehensive Code Benchmark For Multi-task Large Language Model Evaluation

Wenjing Yin, Tianze Sun, Yijiong Yu, Jiawei Fang, Guangyao Su, Jiancheng Wang, Zekun Wang, Wei Wang, Ran Chen, Ziyun Dai, Shuai Yuan, Menghang Dong, Peng Luo, Dong Cao, Da Lei, Yajun Zhang, Hao Chen, Xiang Ma, Yong Liu, Weifeng Liu, Yuanjian Xu, Ji Pei

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Comments Submitted to ACL 2025. Under review

Large Language Models are Qualified Benchmark Builders: Rebuilding Pre-Training Datasets for Advancing Code Intelligence Tasks

Kang Yang, Xinjun Mao, Shangwen Wang, Yanlin Wang, Tanghaoran Zhang, Bo Lin, Yihao Qin, Zhang Zhang, Yao Lu, Kamal Al-Sabahi

机构 * College of Computer, National University of Defense Technology（计算机学院，国防科技大学） ； Sun Yat-sen University（中山大学） ； College of Banking and Financial Studies（金融学院） 纠错

专题命中 代码评测 ：code model(abstract)；分类 cs.SE、cs.CL

Comments Awarded the ACM SIGSOFT Distinguished Paper Award in ICPC 2025

Gradient-Optimized Fuzzy Classifier: A Benchmark Study Against State-of-the-Art Models

Magnus Sieverding, Nathan Steffen, Kelly Cohen

机构 * University of Cincinnati（辛辛那提大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

Can LLMs Replace Human Evaluators? An Empirical Study of LLM-as-a-Judge in Software Engineering

Ruiqi Wang, Jiyu Guo, Cuiyun Gao, Guodong Fan, Chun Yong Chong, Xin Xia

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Monash University Malaysia（墨尔本大学马来西亚分校） ； Zhejiang University（浙江大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Comments Accepted by ISSTA 2025: https://conf.researchr.org/details/issta-2025/issta-2025-papers/85/Can-LLMs-replace-Human-Evaluators-An-Empirical-Study-of-LLM-as-a-Judge-in-Software-E