代码大模型 / AI 编程

When Generic Prompt Improvements Hurt: Evaluation-Driven Iteration for LLM Applications

当通用提示改进有害：LLM应用的评估驱动迭代

Daniel Commey

机构 * Daniel Commey 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 提出最小可行评估套件（MVES），通过结构化评估框架和本地复现实验，发现通用提示添加并非单调改进，强调评估驱动的提示迭代。

Comments Technical report. 42 pages, 3 figures. Code, test suites, and result logs: https://github.com/dcommey/llm-eval-benchmarking

Evaluating LLM-Generated Code: A Benchmark and Developer Study

评估大语言模型生成的代码：一个基准和开发者研究

Joanna Szych, Anne Schwerk

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE

AI总结 本文提出了一种定制的树折评估方法，用于评估大语言模型生成的代码，弥补了现有基准在代码质量和可操作性方面的不足，并通过对比三个通用大语言模型展示了其有效性。

Comments Accepted for publication at EASE '26/EQUISA workshop

Cross-Modal Benchmarking for Robotic Perception in Natural Environments

自然环境中机器人感知的跨模态基准测试

David Hall, Joshua Knights, Mark Cox, Peyman Moghadam

机构 * CSIRO Robotics, CSIRO, Australia（CSIRO机器人研究所，CSIRO，澳大利亚） ； University of Sydney (USyd), Australia（悉尼大学（USyd），澳大利亚） ； Queensland University of Technology (QUT), Australia（昆士兰理工大学（QUT），澳大利亚） 纠错

专题命中 代码评测 ：repository(abstract)

AI总结 针对自然环境中机器人感知的挑战，提出WildCross跨模态基准，用于大规模自然场景下的地点识别和度量深度估计，并扩展了度量深度估计实验。

Comments Accepted to the IEEE ICRA Workshop on Open Challenges for Rigorous Robot Perception 2026

unimpeded: A Public Grid of Nested Sampling Chains for Cosmological Model Comparison and Tension Analysis

unimpeded: 用于宇宙学模型比较和张力分析的公共嵌套采样链网格

Dily Duan Yi Ong, Will Handley

专题命中 代码评测 ：repository(abstract)

AI总结 发布公共Python库unimpeded，提供预计算嵌套采样和MCMC链，对8个宇宙学模型和39个数据集进行系统分析，发现ΛCDM模型最受青睐，并量化了DES与Planck、SH0ES与Planck之间的显著张力。

Comments 49 pages, 13 figures. Version 3: Revised in response to the JCAP editor's report. Added Section 3.2.12 on the treatment of nuisance parameters in the evidence and tension calculations. Results unchanged