代码大模型 / AI 编程

EVM-QuestBench: An Execution-Grounded Benchmark for Natural-Language Transaction Code Generation

EVM-QuestBench: 一个基于执行的自然语言交易代码生成基准测试

Pei Yang, Wanyi Chen, Ke Wang, Lynn Ai, Eric Yang, Tianyu Shi

机构 * Gradient ； Soochow University（苏州大学） 纠错

专题命中 代码评测 ：code generation(title)；分类 cs.CL

AI总结 本文提出EVM-QuestBench，一个基于执行的自然语言交易脚本生成基准测试，包含107个任务，通过动态评估和模块化架构评估20个模型，发现单步精度与多步流程完成存在显著差异。

Comments 10 pages, 13 figures

Graphic-Design-Bench: A Comprehensive Benchmark for Evaluating AI on Graphic Design Tasks

Graphic-Design-Bench：一个全面的评估AI在图形设计任务中的基准测试

Adrienne Deganutti, Elad Hirsch, Haonan Zhu, Jaejung Seol, Purvanshi Mehta

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GraphicDesignBench，首个针对专业图形设计任务的全面基准测试集，评估AI模型在布局、排版、信息图、模板设计和动画等任务中的表现，揭示当前模型在空间推理、矢量代码生成和动画分解等方面存在的不足。

Code Review Agent Benchmark

代码审查代理基准

Yuntong Zhang, Zhiyuan Pan, Imam Nur Bani Yusuf, Haifeng Ruan, Ridwan Shariffdeen, Abhik Roychoudhury

机构 * National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出c-CRAB基准，用于评估代码审查代理的能力，发现现有代理仅能解决40%的任务，揭示了未来研究的潜力及人机协作的可能性。

Instruction-Tuned LLMs for Parsing and Mining Unstructured Logs on Leadership HPC Systems

指令调优的LLM用于领导型HPC系统上解析和挖掘无结构日志

Ahmad Maroof Karimi, Jong Youl Choi, Charles Qing Cao, Awais Khan

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） ； University of Tennessee（田纳西大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 本文提出一种基于指令调优的LLM框架，利用链式推理解析HPC日志，结合领域特定日志模板和示例对LLaMA模型进行微调，实现高精度的日志解析与挖掘，验证了其在大规模日志数据上的有效性。

Recent Advances in Multimodal Affective Computing: An NLP Perspective

多模态情感计算近期进展：自然语言处理视角

Guimin Hu, Weimin Lyu, Chang Sun, Zhihong Zhu, Lin Gui, Ruichu Cai, Erik Cambria, Hasti Seifi

机构 * Guangdong University of Technology（广东工业大学） ； Stony Brook University（石溪大学） ； University of Bologna（博洛尼亚大学） ； Peking University（北京大学） ； Nanyang Technological University（南洋理工大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 本文从自然语言处理视角系统回顾了多模态情感计算的最新进展，聚焦于多模态情感分析、对话中多模态情绪识别、基于方面的多模态情感分析及多标签情绪识别等四个任务，提出统一视角并探讨相关方向与挑战。

BodhiPromptShield: Pre-Inference Prompt Mediation for Suppressing Privacy Propagation in LLM/VLM Agents

BodhiPromptShield: 预推理提示调解用于抑制LLM/VLM代理中的隐私传播

Bo Ma, Jinsong Wu, Weiqi Yan

机构 * Auckland University of Technology（奥克兰理工大学） ； University of Chile（智利大学） 纠错

专题命中 代码评测 ：repository(abstract)

AI总结 本文提出BodhiPromptShield框架，通过检测敏感片段、路由和延迟恢复来抑制LLM/VLM代理中的跨阶段隐私传播，实验显示在控制提示隐私基准(CPPB)上效果显著。