代码大模型 / AI 编程

ContractEval: A Benchmark for Evaluating Contract-Satisfying Assertions in Code Generation

ContractEval：一个用于评估代码生成中合同满足断言的基准测试

Soohan Lim, Joonghyuk Hahn, Hyunwoo Park, Sang-Ki Ko, Yo-Sub Han

机构 * Yonsei University（延世大学） ； University of Seoul（首尔大学） 纠错

专题命中 代码评测 ：code generation(title,abstract)；分类 cs.SE、cs.AI

AI总结 ContractEval通过显式陈述合同，评估生成代码是否满足合同要求，揭示当前LLM在合同满足上的不足。

Comments 18 pages, 10 figures, 11 tables

VeriEquivBench: An Equivalence Score for Ground-Truth-Free Evaluation of Formally Verifiable Code

VeriEquivBench：一种无需真实地面真相的正式可验证代码评估等价分数

Lingfei Zeng, Fengdi Che, Xuhan Huang, Fei Ye, Xu Xu, Binhang Yuan, Jie Fu

机构 * Huazhong University of Science and Technology（华中科技大学） ； University of Alberta（阿尔伯塔大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Hong Kong University of Science and Technology（香港科技大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 代码评测 ：code generation(abstract)；coding agent(abstract)；分类 cs.AI、cs.PL

AI总结 本文提出VeriEquivBench，通过2389个复杂算法问题评估正式可验证代码的生成与推理能力，揭示当前LLM在生成正式规范和代码方面的挑战，推动可扩展可靠编码代理的发展。

ReflexiCoder: Teaching Large Language Models to Self-Reflect on Generated Code and Self-Correct It via Reinforcement Learning

ReflexiCoder：通过强化学习教大语言模型自我反思和自我纠正生成的代码

Juyong Jiang, Jiasi Shen, Sunghun Kim, Kang Min Yoo, Jeonghoon Kim, Sungju Kim

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； Amazon AGI（亚马逊人工智慧实验室） ； NAVER Cloud（NAVER云） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL、cs.LG

AI总结 本文提出ReflexiCoder，一种基于强化学习的框架，使大语言模型在推理过程中自我反思和纠正代码，通过细粒度奖励函数优化整个反思-纠正过程，实现无需外部反馈的自我调试能力，实验表明其在多个基准测试中表现优异，且在推理效率上更高效。

How Robustly do LLMs Understand Execution Semantics?

大语言模型如何理解执行语义的鲁棒性？

Claudio Spiess, Prem Devanbu, Earl T. Barr

机构 * University College London（伦敦大学学院） 纠错

专题命中 代码评测 ：code model(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 研究通过代码输出预测任务评估大语言模型对代码理解的鲁棒性，发现开源模型在代码变换和输入扰动下表现稳定，而前沿模型GPT-5.2表现出显著的脆弱性，且异常处理能力不足。

WebCompass: Towards Multimodal Web Coding Evaluation for Code Language Models

WebCompass：迈向多模态网络编码评估的代码语言模型

Xinping Lei, Xinyu Che, Junqi Xiong, Chenchen Zhang, Yukai Huang, Chenyu Zhou, Haoyang Huang, Minghao Liu, Letian Zhu, Hongyi Ye, Jinhua Hao, Ken Deng, Zizheng Zhan, Han Li, Dailin Li, Yifan Yao, Ming Sun, Zhaoxiang Zhang, Jiaheng Liu

机构 * Nanjing University（南京大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE、cs.AI

AI总结 WebCompass提出一个多模态基准测试，用于评估代码语言模型在网络工程中的能力，涵盖生成、编辑和修复三种任务类型，通过多阶段人机协作流程，发现闭源模型在编辑和修复方面表现更优，但美学仍是开放源模型的主要瓶颈。

A Systematic Survey and Benchmark of Deep Learning for Molecular Property Prediction in the Foundation Model Era

在基础模型时代对深度学习用于分子性质预测的系统调查和基准测试

Zongru Li, Xingsheng Chen, Honggang Wen, Regina Qianru Zhang, Ming Li, Xiaojin Zhang, Hongzhi Yin, Qiang Yang, Kwok-Yan Lam, Pietro Lio, Siu-Ming Yiu

机构 * The University of Hong Kong, Hong Kong SAR（香港大学） ； Nanyang Technological University, Singapore（南洋理工大学） ； University of Cambridge, United Kingdom（剑桥大学） ； Zhejiang Normal University, China（浙江师范大学） ； The Hong Kong University of Science and Technology, Hong Kong SAR（香港科学与技术大学） ； The University of Queensland（昆士兰大学） ； The Hong Kong Polytechnic University, Hong Kong SAR（香港理工大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

AI总结 本文系统调查了深度学习在分子性质预测中的应用，探讨了四种互补范式，并提出了未来三个发展方向，包括物理感知学习、可信推理的基础模型和整合计算与实验数据的基准生态系统。

Comments 32 pages. It is just accepted by Journal of Chemical Theory and Computation 2026

Journal ref Journal of Chemical Theory and Computation 2026

From Charts to Code: A Hierarchical Benchmark for Multimodal Models

从图表到代码：一个多模态模型的分层基准

Jiahao Tang, Henry Hengyuan Zhao, Lijian Wu, Zijian Zhang, Yifei Tao, Dongxing Mao, Yang Wan, Jingru Tan, Min Zeng, Min Li, Alex Jinpeng Wang

机构 * CSU-JPG, Central South University（中南大学CSU-JPG） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出Chart2Code基准，用于评估大多模态模型的图表理解和代码生成能力，包含三个层级任务，涵盖图表复现、编辑和长表转图表生成，测试了25种最先进的LMMs，结果显示GPT-5在编辑任务中表现不佳，凸显了该基准的挑战性。

Comments This work has been accepted by ACL 2026 Main

Attention-ResUNet for Automated Fetal Head Segmentation

基于注意力机制的ResUNet用于自动胎儿头部分割

Ammar Bhilwarawala, Mainak Bandyopadhyay

机构 * School of Computer Engineering, KIIT Deemed to be University, Bhubaneswar, India（计算机工程学院，KIIT大学，比哈尔邦，印度） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 本文提出Attention-ResUNet，通过残差学习与多尺度注意力机制提升胎儿头部分割精度，实验表明其在HC18数据集上Dice得分达99.30%，优于其他基线模型。

Comments Accepted and Presented at ANTIC 2025, IIITM Gwalior (5th International Conference on Advanced Network Technologies and Intelligent Computing) on 23rd December 2025. Presented with the best paper award in Image Processing Track

Alexandria: A Multi-Domain Dialectal Arabic Machine Translation Dataset for Culturally Inclusive and Linguistically Diverse LLMs

Alexandria：一个多领域方言阿拉伯语机器翻译数据集，用于文化包容和语言多样性的LLM

Abdellah El Mekki, Samar M. Magdy, Houdaifa Atou, Ruwa AbuHweidi, Baraah Qawasmeh, Omer Nacar, Thikra Al-hibiri, Razan Saadie, Hamzah Alsayadi, Nadia Ghezaiel Hammouda, Alshima Alkhazimi, Aya Hamod, Al-Yas Al-Ghafri, Wesam El-Sayed, Asila Al sharji, Mohamad Ballout, Anas Belfathi, Karim Ghaddar, Serry Sibaee, Alaa Aoun, Areej Asiri, Lina Abureesh, Ahlam Bashiti, Majdal Yousef, Abdulaziz Hafiz, Yehdih Mohamed, Emira Hamedtou, Brakehe Brahim, Rahaf Alhamouri, Youssef Nafea, Aya El Aatar, Walid Al-Dhabyani, Emhemed Hamed, Sara Shatnawi, Fakhraddin Alwajih, Khalid Elkhidir, Ashwag Alasmari, Abdurrahman Gerrio, Omar Alshahri, AbdelRahim A. Elmadany, Ismail Berrada, Amir Azad Adli Alkathiri, Fadi A Zaraket, Mustafa Jarrar, Yahya Mohamed El Hadj, Hassan Alhuzali, Muhammad Abdul-Mageed

机构 * The University of British Columbia（不列颠哥伦比亚大学） ； Canada Research Chair in NLP and ML（自然语言处理和机器学习研究主席） ； Mohammed VI Polytechnic University（穆莱·阿卜杜勒阿齐兹国王理工学院） ； Birzeit University（比尔泽特大学） ； Western Michigan University（西部密歇根大学） ； Tuwaiq Academy（图瓦伊克学院） ； King Khalid University（国王卡利德大学） ； American University of Beirut（贝鲁特美国大学） ； Ibb University（伊卜大学） ； University of Hail（海勒大学） ； University of Technology and Applied Sciences（技术与应用科学大学） ； Arab Open University（阿拉伯开放大学） ； Minia University（米尼亚大学） ； Nantes University（南特大学） ； Prince Sultan University（沙特王子大学） ； Umm Al-Qura University（乌姆·阿勒·卡拉大学） ； University of Nouakchott（努尔人大学） ； Fatabyyano（法塔比亚诺） ； Independent Researcher（独立研究者） ； Hadhramout University（哈德拉姆大学） ； Cairo University（开罗大学） ； Misurata University（米斯拉塔大学） ； Al-Balqa Applied University（巴勒斯坦应用大学） ； University of Khartoum（喀土穆大学） ； Sultan Qaboos Higher Centre for Culture and Science（穆罕默德·本·拉希德·阿勒马克图姆文化与科学高级中心） ； Arab Center for Research and Policy Studies（阿拉伯研究中心） ； Hamad Bin Khalifa University（哈马德·本·哈利法大学） ； Institut Supérieur du Numérique（数字高级学院） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 Alexandria数据集通过多领域方言阿拉伯语对话数据，提升LLM在不同阿拉伯方言中的翻译能力，揭示现有模型在方言翻译中的挑战。

Comments Accepted to ACL 2026 Main; Project resources will be available here: https://github.com/UBC-NLP/Alexandria

HeroBench: A Benchmark for Long-Horizon Planning and Structured Reasoning in Virtual Worlds

HeroBench：一个用于虚拟世界中长horizon规划和结构化推理的基准测试

Petr Anokhin, Roman Khalikov, Stefan Rebrikov, Viktor Volkov, Artyom Sorokin, Vincent Bissonnette

机构 * Artyom Sorokin（AXXX） ； Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学） ； Higher School of Economics（高等经济学院） ； Kurchatov Institute（库尔斯克研究所） ； Independent Researcher（独立研究者） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI

AI总结 本文提出HeroBench，用于评估在复杂RPG-inspired虚拟世界中长horizon分层规划和结构化推理的能力，通过模拟评估可执行计划，揭示了现有大型语言模型在长horizon自主规划中的性能差异和挑战。

Comments Code is available at https://github.com/stefanrer/HeroBench