代码大模型 / AI 编程

SciVisAgentBench: A Benchmark for Evaluating Scientific Data Analysis and Visualization Agents

SciVisAgentBench：用于评估科学数据分析和可视化代理的基准测试

Kuangshi Ai, Haichao Miao, Kaiyuan Tang, Nathaniel Gorski, Jianxin Sun, Guoxi Liu, Helgi I. Ingolfsson, David Lenz, Hanqi Guo, Hongfeng Yu, Teja Leburu, Michael Molash, Bei Wang, Tom Peterka, Chaoli Wang, Shusen Liu

机构 * University of Notre Dame（圣母大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； University of Utah（犹他大学） ； University of Nebraska–Lincoln（内布拉斯加大学林肯分校） ； The Ohio State University（俄亥俄州立大学） ； Argonne National Laboratory（阿贡国家实验室） ； Anthropic PBC 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 本文提出SciVisAgentBench，一个用于评估科学数据可视化代理的基准测试，涵盖四个维度，包含108个案例，结合LLM和确定性评估器进行多模态评估，揭示代理能力差距。

Comments IEEE Transactions on Visualization and Computer Graphics (IEEE VIS '26)

ExtractBench: A Benchmark for Schema-Guided Enterprise Document Extraction

ExtractBench：模式引导的企业文档抽取基准

Boyang Zhang, Adrian Lyjak, Eli Stewart, Zhaoqi Li, Simon Suo

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 研究针对企业文档模式引导抽取的评估需求，构建首个同时评估值准确率等多指标的基准ExtractBench，发现LlamaExtract Agentic Plus在成本远低于编码智能体的情况下，准确率可与之媲美。

Automated Logging Is Language-Sensitive: A Multilingual Benchmark and Empirical Study of LLMs

单语言证据不足以支持自动化日志记录：一个多语言基准和基于LLM的实证研究

Renyi Zhong, Yichen Li, Yulun Wu, Jinxi Kuang, Yintong Huo, Michael R. Lyu

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 本文通过多语言基准MultiLogBench研究自动化日志记录的跨语言有效性，发现框架锚点匹配是最敏感的组件，模型排名在顶级稳定，但需多语言验证以确保鲁棒性。

A novel k-means clustering approach using two distance measures for Gaussian data

一种使用两种距离度量的新型k-means聚类方法

Naitik Gada

机构 * School of Mathematical Sciences（数学科学学院） ； College of Science（科学学院） ； Rochester Institute of Technology（罗切斯特技术学院） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 本文提出了一种结合簇内和簇间距离度量的新型k-means聚类方法，通过Calinski-Harabasz准则确定簇数，提高聚类结果的鲁棒性和准确性。

Comments Keywords: machine learning, clustering algorithms, k-means

TabPFN beyond Tabular Data: Calibration and Accuracy on Multimodal Embeddings

超越表格数据的TabPFN：多模态嵌入的校准与准确性

Jingxiang Zhang, Lujia Zhong, Zijie Zhu, Shuo Huang, Yuang Xu

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 研究少样本多模态分类中轻量级头部校准不佳问题，核心方法是评估TabPFN作为即插即用分类头。贡献在于其在多数据集、多编码器和多模态评估中表现优异，能提升校准并保持准确率，为校准敏感多模态分类提供指导。

Comments 19 pages, 13 figures, 10 tables. Jingxiang Zhang and Lujia Zhong contributed equally. Code: https://github.com/Jingxiang-Zhang/tabpfn-multimodal-embeddings

NOVA: A Verification-Aware Agent Harness for Architecture Evolution in Industrial Recommender Systems

NOVA: 面向工业推荐系统架构演化的验证感知智能体框架

Shaohua Liu, Liang Fang, Yilong Sun, Shudong Huang, Qingsong Luo, Shaoxin Liu, Xiaoyang Chen, Dongqiang Liu, Chuangang Ma, Zhenzhen Chai, Henghuan Wang, Shijie Quan, Changyuan Cui, Zhangbin Zhu, Peng Chen, Wei Xu, Lei Xiao, Haijie Gu, Jie Jiang

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE

AI总结 提出NOVA框架，通过架构梯度、验证级联和层级任务控制实现工业推荐模型架构的自动化演化，有效减少静默失败，缩短文献到生产周期13倍以上。

Comments 12 pages, 3 figures

JETO-Bench: A Reproducible Benchmark for Execution Time Improvement Patches in Java

JETO-Bench: Java执行时间改进补丁的可复现基准测试

Khashayar Etemadi, Zhendong Su

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE

AI总结 提出JETO-Mine工具，通过静态分析、动态分析和评估框架自动构建可复现的Java执行时间改进补丁基准，并构建包含660个补丁的JETO-Bench，验证了其有效性。

AgentFAIR: A Multi-Agent Collaborative Framework for FAIRness Evaluation of Geospatial Datasets

AgentFAIR：用于地理空间数据集公平性评估的多智能体协作框架

Ming Chen, Pranav Pai

机构 * The University of Melbourne（墨尔本大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 研究地理空间数据集公平性评估难题，提出AgentFAIR多智能体框架，结合结构化元数据提取与特定子原则语言模型评估器，给出各项评估结果，支持可审计性与可行性，不过受限于多种因素对准确性和泛化性声明有约束。

SEC-bench Pro: Can Language Models Solve Long-Horizon Software Security Tasks?

SEC-bench Pro：语言模型能解决长周期软件安全任务吗？

Hwiwon Lee, Jiawei Liu, Dongjun Kim, Wubing Xia, Ziqi Zhang, Chunqiu Steven Xia, Lingming Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.LG

AI总结 提出SEC-bench Pro基准，通过三阶段流程构建包含V8和SpiderMonkey共183个已验证漏洞的测试集，评估前沿语言模型在长周期漏洞狩猎任务中的表现，发现最高成功率仅48.8%。

Agentic Vulnerability Reasoning on COTS Binaries

基于商用现货二进制文件的智能体漏洞推理

Hwiwon Lee, Jongseong Kim, Lingming Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.LG

AI总结 研究LLM智能体对COTS二进制文件漏洞的推理能力，构建SLYP管道，结合二进制探索与动态调试验证漏洞。在COM基准测试中表现出色，发现更多真实漏洞，生成验证PoC，还发现多个零日漏洞，证明工具集和模型选择的重要性及通用性。

Agent-Based Software Artifact Evaluation

基于代理的软件工件评估

Zhaonan Wu, Yanjie Zhao, Zhenpeng Chen, Zheng Wang, Haoyu Wang

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE

AI总结 研究针对软件工件评估中人工评估难及现有政策缺乏验证标准的问题，构建ArtifactGuide评分标准，设计ArtifactCopilot代理，通过实验评估，该框架提升了评估性能，提高了评审信心，还为设计高质量工件提供了实践指导。

Restricted Dynamic Geometric Complexity: Path-Space Reduction and Möbius--Jacobi Response

受限动态几何复杂度：结构化预处理的证书

Zavier Li

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 研究优化几何动力学中受限动态几何复杂度，通过发展相关理论，如单调性和子流形距离原理等，将结构化预处理器问题转化为几何问题，还给出低秩谱模型等诊断接口及相关工作流程。

Comments 32 pages, 1 table

Simulstream: Open-Source Toolkit for Evaluation and Demonstration of Streaming Speech-to-Text Translation Systems

Simulstream：用于评估和演示流式语音到文本翻译系统的开源工具包

Marco Gaido, Sara Papi, Mauro Cettolo, Matteo Negri, Luisa Bentivogli

机构 * Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 研究流式语音到文本翻译在评估上的问题，提出开源框架simulstream，支持长语音的增量和重新翻译解码，能进行质量和延迟评估及实时可视化比较，填补了相关统一解决方案的空白。

A Technical Survey of Reinforcement Learning Techniques for Large Language Models

大语言模型强化学习技术的技术综述

Saksham Sahai Srivastava, Vaneet Aggarwal

机构 * University of Georgia（佐治亚大学） ； Purdue University（普渡大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI

AI总结 综述强化学习与语言模型整合，介绍如近端策略优化等算法，分析其在各领域应用，对失败模式算法分析，给出分类法，评估趋势并探讨挑战与新兴方向，为研究提供路线图。

Comments Accepted to ACM Transactions on Intelligent Systems and Technology, June 2026

Business as Rulesual: A Benchmark and Framework for Business Rule Flow Modeling with LLMs

业务即规则：面向LLM的业务规则流建模基准与框架

Chen Yang, Ruping Xu, Ruizhe Li, Bin Cao, Jing Fan

机构 * Zhejiang University of Technology（浙江工业大学） ； Zhejiang Key Laboratory of Visual Information Intelligent Processing（浙江省视觉信息智能处理重点实验室） ； University of Aberdeen（阿伯丁大学） ； University of Birmingham（伯明翰大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL

AI总结 提出BREX基准（409份真实业务文档与2855条专家标注规则）和ExIde框架，通过可执行伪代码生成显式建模规则依赖，在13个LLM上验证了可执行接地作为归纳偏置的有效性。

MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills

MalSkillBench: 一个运行时验证的恶意智能体技能基准

Wenbo Guo, Wei Zeng, Chengwei Liu, Xiaojun Jia, Yijia Xu, Lei Tang, Yong Fang, Yang Liu

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE

AI总结 提出MalSkillBench，首个运行时验证的恶意智能体技能基准，包含3944个恶意技能，通过闭环生成-验证-反馈流水线构建，揭示代码注入与提示注入检测的不对称性，并指出联合推理任务意图、代码和指令的必要性。

LivePI: More Realistic Benchmarking of Agents Against Indirect Prompt Injection

LivePI：更真实的智能体对抗间接提示注入基准测试

Lei Zhao, Abhay Bhaskar, Edgar Dobriban

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 提出LivePI基准，覆盖7种输入表面、12种攻击/渲染家族和5种恶意目标，在真实虚拟机环境中评估多个AI智能体，发现攻击成功率10.7%-29.6%，并验证了两层防御的有效性。

Evaluating LLM-Generated Code: A Benchmark and Developer Study

评估大语言模型生成的代码：一个基准和开发者研究

Joanna Szych, Anne Schwerk

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE

AI总结 本文提出了一种定制的树折评估方法，用于评估大语言模型生成的代码，弥补了现有基准在代码质量和可操作性方面的不足，并通过对比三个通用大语言模型展示了其有效性。

Comments Accepted for publication at EASE '26/EQUISA workshop

Adversarial Pragmatics for AI Safety Evaluation: A Diagnostic Framework and Seed Benchmark for Language-Mediated Control

面向AI安全评估的对抗语用学：指令冲突、嵌入命令与策略模糊性基准

Brett Reynolds

机构 * Humber Polytechnic（汉博理工学院） ； University of Toronto（多伦多大学） 纠错

专题命中 代码评测 ：分类 cs.SE、cs.CL、cs.AI；repository(comments)

AI总结 提出对抗语用学基准和标注协议，通过语言学控制的分类法评估模型在指令冲突、嵌入命令等场景下的行为，为安全评估提供实证和方法论工具。

Comments 32-page main paper plus 13-page supplement; 6 figures and 17 tables total; code and data artifact available at the linked repository

Component Ablation for Efficient Hybrid Language Model Architectures: Performance, Resilience, and Compression Implications

组件消融用于高效混合语言模型架构：性能、鲁棒性和压缩影响

Hector Borobia, Elies Seguí-Mas, Guillermina Tormo-Carbó

机构 * Doctoral Program in Computer Science, University of Valencia（瓦伦西亚大学计算机科学博士项目） 纠错

专题命中 代码评测 ：分类 cs.CL、cs.AI、cs.LG；repository(comments)

AI总结 本文通过组件消融研究混合语言模型，发现注意力机制与替代序列处理路径对性能有显著影响，揭示了模型鲁棒性与压缩优化的关键因素。

Comments 25 pages, 7 figures, 6 tables; revised title, abstract, figures, and data/code repository URL

Heuristic and Optimal Synthesis of CNOT and Clifford Circuits

CNOT与Clifford电路的启发式及最优综合

Mark Webster, Stergios Koutsioumpas, Dan E Browne

专题命中 代码评测 ：repository(abstract)

AI总结 本研究针对CNOT与Clifford电路，提出最优、A*及贪心三类综合算法，可最小化两量子比特门数量或电路深度，经基准测试性能优于现有方法，相关算法已在GitHub仓库开源。

Comments Accepted in Quantum, 6 Aug 2026

AMELI: Angular Matrix Elements of Lanthanide Ions

AMELI: 镧系离子的角矩阵元

Reinhard Caspary

专题命中 代码评测 ：repository(abstract)

AI总结 提出基于Slater行列式基和Racah分类的通用框架，计算f^N组态中任意球张量算符的角矩阵元，并构建开源数据库AMELI，以精确算术消除浮点误差，替代传统半经验计算表格。

Comments v2: Abstract, introduction and conclusion rewritten to clarify the novelty and intention of this work. Added Wybourne crystal field Hamiltonians in Section IV G. Improved phase synchronization in Section V B. New Section IX "Application Examples" v3: Minor errors and typographic flaws corrected

VIGIL: Tackling Hallucination Detection in Image Recontextualization

VIGIL：应对图像再上下文化中的幻觉检测

Joanna Wojciechowicz, Maria Łubniewska, Jakub Antczak, Justyna Baczyńska, Wojciech Gromski, Wojciech Kozłowski, Maciej Zieba

机构 * Wroclaw University of Science and Technology（沃拉茨拉夫大学科学与技术学院） 纠错

专题命中 代码评测 ：repository(abstract)

AI总结 VIGIL通过细粒度分类填补多模态模型图像再上下文化中幻觉检测的空白，提出多阶段检测流程并公开资源促进透明度。

Comments 19 pages, 8 figures, 7 tables. Code and data are available at: https://github.com/mlubneuskaya/vigil and https://huggingface.co/datasets/joannaww/VIGIL

WaspMOT: A Benchmark for Long-Term Multi-Object Tracking of Trichogramma Wasps

WaspMOT：赤眼蜂长期多目标跟踪基准

Tomasz Stanczyk, Yuan Gao, Hardik Agarwal, Seongro Yoon, Tiantao Zhang, Vincent Calcagno, Francois Bremond

机构 * Inria（法国国家信息与自动化技术研究院） ； INRAE Institut Sophia Agrobiotech（法国国家农业生物技术研究院） ； Université Côte d'Azur（蔚蓝海岸大学） ； Indian Institute of Technology Delhi（德里印度理工学院） ； Institute of Plant Protection, Chinese Academy of Agricultural Sciences（中国农业科学院植物保护研究所） 纠错

专题命中 代码评测 ：repository(abstract)

AI总结 研究针对多目标跟踪在长期身份保持评估不足的问题，引入WaspMOT基准，通过对赤眼蜂长时间跟踪构建数据集，评估五种检测跟踪方法，发现都有轨迹碎片化问题，简单拼接基线可提升性能，揭示了现有方法局限。

Journal ref AVSS 2026

Nautilus: From One Prompt to Plug-and-Play Robot Learning

Nautilus：从一个提示到即插即用的机器人学习

Yufeng Jin, Jianfei Guo, Xiaogang Jia, Yu Deng, Zechu Li, Han Liu, Weiran Liao, Vignesh Prasad, Mathias Franzius, Gerhard Neumann, Georgia Chalvatzaki

机构 * TU Darmstadt（图宾根大学） ； KIT（卡尔斯鲁厄理工学院） ； FZI（弗劳恩霍夫研究所） ； Robotics Institute Germany（德国机器人研究所） ； Honda Research Institute Europe（本田欧洲研究院） 纠错

专题命中 代码评测 ：coding agent(abstract)

AI总结 Nautilus通过单个提示生成可复现、评估、微调和部署的机器人学习工作流程，提供即插即用的代理技能集和统一接口，减少跨家族验证的工程负担。

Never compromise with vulnerabilities: a comprehensive survey on AI governance

绝不向漏洞妥协：人工智能治理综合调查

Yuchu Jiang, Jian Zhao, Yuchen Yuan, Tianle Zhang, Yao Huang, Yanghao Zhang, Yan Wang, Yanshu Li, Xizhong Guo, Yusheng Zhao, Huilin Zhou, Jun Zhang, Zhi Zhang, Xiaojian Lin, Yixiu Zou, Haoxuan Ma, Yuhu Shang, Yuzhi Hu, Keshu Cai, Ruochen Zhang, Boyuan Chen, Yilan Gao, Ziheng Jiao, Yi Qin, Shuangjun Du, Xiao Tong, Zhekun Liu, Yu Chen, Xuankun Rong, Rui Wang, Yejie Zheng, Zhaoxin Fan, Murat Sensoy, Hongyuan Zhang, Pan Zhou, Lei Jin, Hao Zhao, Xu Yang, Jiaojiao Zhao, Jianshu Li, Joey Tianyi Zhou, Zhi-Qi Cheng, Longtao Huang, Zhiyi Liu, Zheng Zhu, Jianan Li, Gang Wang, Qi Li, Xu-Yao Zhang, Yaodong Yang, Mang Ye, Wenqi Ren, Zhaofeng He, Hang Su, Rongrong Ni, Liping Jing, Xingxing Wei, Junliang Xing, Massimo Alioto, Shengmei Shen, Petia Radeva, Dacheng Tao, Ya-Qin Zhang, Shuicheng Yan, Xuelong Li

专题命中 代码评测 ：repository(abstract)

AI总结 针对人工智能发展带来的技术漏洞及社会风险，提出整合技术与社会维度的框架，围绕三个支柱构建，通过系统回顾识别核心挑战，给出综合研究议程，为开发可靠且符合伦理的人工智能系统提供指导。

Comments 26 pages, 3 figures, accepted by SCIS2026

Panoramic Scene Understanding: A Survey from Distortion-Aware Engineering to Sphere-Native Modeling

全景场景分析：从畸变感知工程到球面原生基础建模的综述

Qinfeng Zhu, Lei Fan

机构 * University of Liverpool（利物浦大学） ； Xi’an Jiaotong-Liverpool University（西交利物浦大学） 纠错

专题命中 代码评测 ：repository(abstract)

AI总结 本文综述全景场景分析从投影适应、畸变感知工程到球面原生建模的演进，指出当前方法无法同时实现严格球面等变性和重用预训练基础模型权重，并揭示评估协议中的五个系统性缺陷。

Continual Test-Time Adaptation in Computer Vision: Methods, Benchmarks, and Future Directions

计算机视觉中的持续测试时间适应：方法、基准和未来方向

Sarthak Kumar Maharana, Shambhavi Mishra, Yunbei Zhang, Shuaicheng Niu, Taki Hasan Rafi, Jihun Hamm, Marco Pedersoli, Jose Dolz, Yunhui Guo

机构 * The University of Texas at Dallas（德克萨斯大学达拉斯分校） ； LIVIA ETS Montreal, ILLS International Laboratory on Learning Systems (ILLS)（蒙特利尔LIVIA ETS，学习系统国际实验室（ILLS）） ； Tulane University（路易斯安那州立大学） ； Nanyang Technological University（南洋理工大学） ； Hanyang University（翰阳大学） 纠错

专题命中 代码评测 ：repository(abstract)

AI总结 本文针对计算机视觉中训练与测试数据分布不同的问题，定义CTTA问题，分析持续域转移模式，提出分层分类法将现有方法分为三类，回顾代表性方法并展示实验结果，讨论局限性与新兴方向，为持续测试时间适应研究提供路线图。

Comments TMLR 2026

Extending Exact Integrality Gap Computations for the Metric TSP

扩展度量TSP的子游走松弛整数规划间隙计算

William Cook, Stefan Hougardy, Moritz Petrich

专题命中 代码评测 ：repository(abstract)

AI总结 本文通过扩展子游走松弛的整数规划间隙验证，发现n=11和n=12时极端点列表不完整，并将极端点枚举扩展到14个顶点，为4/3猜想提供支持。

Comments We extended the enumeration to n=15 in the general case

Expansive homeomorphisms on complexity quasi-metric spaces

复杂度准度量空间上的扩展同胚

Yaé U. Gaba

专题命中 代码评测 ：repository(abstract)

AI总结 本文研究复杂度准度量空间上的扩展同胚理论，证明缩放变换在该空间上扩张当且仅当α≠1，并将轨道分离与经典时间层级定理联系起来。