代码大模型 / AI 编程

EsoLang-Bench: Evaluating Genuine Reasoning in Large Language Models via Esoteric Programming Languages

EsoLang-Bench: 通过奇特编程语言评估大语言模型的真实推理能力

Aman Sharma, Paras Chopra

机构 * Lossfunk 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 EsoLang-Bench通过五种奇特编程语言评估大语言模型在分布外编程语言上的推理能力，发现前沿模型在处理陌生语言时存在显著能力差距。

Comments 45 pages, 8 figures, preprint

An Execution-Verified Multi-Language Benchmark for Code Semantic Reasoning

一个经过执行验证的多语言基准用于代码语义推理

Yikun Li, Jinfeng Jiang, Ting Zhang, Chengran Yang, Chenxing Zhong, Yin Yide, Leow Wen Bin, Eng Lieh Ouh, Lwin Khin Shar, David Lo

机构 * Singapore Management University（新加坡管理大学） ； Monash University（墨尔本大学） ； Nanjing University of Science and Technology（南京理工大学） ； GovTech Singapore（新加坡政府科技局） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出TraceEval，首个经过执行验证的多语言代码语义推理基准，通过验证执行消除标注偏差，评估10个LLM在零样本下的表现，展示了其在代码语义推理中的有效性。

gwBenchmarks: Stress-Testing LLM Agents on High-Precision Gravitational Wave Astronomy

gwBenchmarks: 对高精度引力波天文学中LLM代理的应力测试

Tousif Islam, Digvijay Wadekar, Zihan Zhou

机构 * Kavli Institute for Theoretical Physics, University of California Santa Barbara, Kohn Hall, Lagoon Rd, Santa Barbara, CA 93106（加州大学圣芭芭拉分校凯弗利理论物理研究所） ； Center for Gravitational Physics, University of Texas at Austin, Austin, TX 78712, USA（德克萨斯大学奥斯汀分校引力物理中心） ； Department of Physics, Princeton University, Princeton, NJ 08540, USA（普林斯顿大学物理系） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 本文研究了最先进的LLM编码代理能否完成端到端的科学建模任务，通过八个任务测试其精度和物理系统推理能力，发现代理在复杂任务上表现不佳，无法达到领域要求。

Comments 26 pages, 4 figures

Can Nano Banana 2 Replace Traditional Image Restoration Models? An Evaluation of Its Performance on Image Restoration Tasks

Nano Banana 2能否替代传统图像修复模型？对其在图像修复任务上的性能评估

Weixiong Sun, Xiang Yin, Chao Dong

机构 * Shenzhen University of Advanced Technology（深圳先进技术大学） ； Fudan University（复旦大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院） 纠错

专题命中 代码评测 ：repository(abstract)

AI总结 本文评估了Nano Banana 2在图像修复任务中的性能，发现提示设计至关重要，简洁提示和显式保真约束能平衡重建与感知质量。模型在全参考性能上表现竞争，用户研究中表现优异，但在感知质量与修复保真度之间存在差距，需改进可控性与保真度评估。

Comments Accepted by CVPR 2026 Workshop AAVM