AI Agent

Beyond Test Presence: Assessing the Quality and Robustness of Agent-Generated Tests in Open-Source Projects

超越测试存在：评估开源项目中代理生成测试的质量和稳健性

Preet Jhanglani, Zeel Kaushal Desai, Vidhi Kansara, Eman Abdullah AlOmar

专题命中 Agent评测 ：agent(title,abstract)；AI agent(abstract)；分类 cs.SE

AI总结 研究开源项目中代理生成测试的质量和稳健性，通过对大量测试工件进行实证比较，用“白盒”静态分析框架评估质量维度，发现代理在边缘情况覆盖率上优于人类，但生成测试更易脆弱，揭示其缺乏编写稳定测试的“环境意识”。

AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation

AgentLens：用于编码智能体评估的生产评估轨迹审查

Andrey Podivilov, Vadim Lomshakov, Sergey Savin, Matvei Startsev, Roman Pozharskiy, Maksim Parshin, Sergey Nikolenko

机构 * Explyt ； St. Petersburg Department of the Steklov Institute of Mathematics（圣彼得堡斯捷克洛夫数学研究所圣彼得堡分部） ； St. Petersburg State University（圣彼得堡国立大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG、cs.SE

AI总结 介绍用于编码智能体评估的AgentLens基准，结合形式验证、大语言模型编写的轨迹审查和并排比较来评估智能体整个轨迹，不仅能排名，还可用于诊断模型行为、比较智能体版本及发现产品回归问题，且已开源。

Agent-Safety Evaluations as Load-Bearing Evidence: A Vendor-Neutral, Cross-Harness Reconstructability Metric

作为承重证据的智能体安全评估：一种供应商中立的跨线束可重构性度量

Oleg Solozobov

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.SE

AI总结 研究智能体安全评估结果缺乏承重证据问题，引入属性级可重构性度量及跨线束适配器，通过特定协议和方法定义相关指标，在公共和捆绑轨迹上验证，为安全评估提供可重构性度量及相关验证方法。

Comments 36 pages, 3 tables. Reproducibility package (scorer, fixtures, Evidence Sufficiency Cards): https://doi.org/10.5281/zenodo.21055696

How Many Tasks Are Enough for Agent Benchmark Decisions? A Replay Analysis of Public LLM Agent Benchmarks

多少任务足以做出智能体基准决策？对公共大语言模型智能体基准的重放分析

Wei-Jung Huang

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI；agentic(comments)

AI总结 研究智能体基准测试中多少任务足以做决策，通过重放公共任务级记录，提出部分预算需满足支持完整基准决策、覆盖任务组及控制未解决比较比例等条件，还指出部分评估报告应包含的内容。

Comments KDD 2026 Workshop Agentic AI Evaluation and Trustworthiness

SeqGPT: A Constrained Transformer Agent for the Inverse Design of Multi-Panel Composite Structures

SeqGPT：用于多面板复合结构逆向设计的受限Transformer智能体

Driss Chraibi, Alejandro García Pis, Stéphane Grihon, Sixin Zhang

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究针对多面板复合结构逆向设计的组合逆问题，提出SeqGPT智能体，采用混合神经符号解码策略，经实验验证其能快速生成与进化方法性能相当的解决方案，加速了设计过程。

Journal ref APIA 2026 -- Applications Pratiques de l'Intelligence Artificielle, AFIA, Jun 2026, Arras, France

Agent-Based Software Artifact Evaluation

基于代理的软件工件评估

Zhaonan Wu, Yanjie Zhao, Zhenpeng Chen, Zheng Wang, Haoyu Wang

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.SE

AI总结 研究针对软件工件评估中人工评估难及现有政策缺乏验证标准的问题，构建ArtifactGuide评分标准，设计ArtifactCopilot代理，通过实验评估，该框架提升了评估性能，提高了评审信心，还为设计高质量工件提供了实践指导。

QwenPaw-Data: Bridging Facts, Methodology, and Execution for Autonomous Enterprise Data Analytics

QwenPaw-数据：为自主企业数据分析搭建事实、方法与执行的桥梁

Tianjing Zeng, Yuntao Hong, Zhongjun Ding, Dandan Liu, Yinan Mei, Yunxiang Su, Yiming Wang, Xiaojian Zhang, Jingyu Zhu, Junhao Zhu, Zhuowen Liang, Jiazhen Peng, Lianggui Weng, Zhihao Ding, Kerui Yi, Qifeng Wang, Rong Zhu, Bolin Ding, Liyu Mou, Jingren Zhou

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 研究针对企业数据分析在开放环境的特性，提出QwenPaw-Data系统，通过整合异构资产、转化自然语言请求为工作流，架构含三个协作子系统，实验证明该系统提升了数据访问和分析质量，为企业数据智能体提供基础。

JADE: Expert-Grounded Dynamic Evaluation for Open-Ended Professional Tasks

JADE：面向开放式专业任务的专家基础动态评估

Lanbo Lin, Jiayao Liu, Tianyuan Yang, Li Cai, Yuanwu Xu, Lei Wei, Sicong Xie, Guannan Zhang

机构 * Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团） ； Zhejiang University（浙江大学） ； Peking University（北京大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 提出JADE双层评估框架，结合专家知识与动态声明级评估，解决开放式专业任务中严格性与灵活性的矛盾，在BizBench等基准上提升稳定性并揭示关键失败模式。

Comments Accepted at ICML 2026

First, do NOHARM: a medical safety benchmark and randomized study of physician and AI teaming on clinical consultations

首先，不伤害：迈向临床安全的大语言模型

David Wu, Fateme Nateghi Haredasht, Saloni Kumar Maharaj, Priyank Jain, Jessica Tran, Matthew Gwiazdon, Arjun Rustagi, Jenelle Jindal, Jacob M. Koshy, Vinay Kadiyala, Anup Agarwal, Bassman Tappuni, Brianna French, Sirus Jesudasen, Christopher V. Cosgriff, Rebanta Chakraborty, Jillian Caldwell, Susan Ziolkowski, David J. Iberri, Robert Diep, Rahul S. Dalal, Kira L. Newman, Kristin Galetta, J. Carl Pallais, Nancy Wei, Kathleen M. Buchheit, David I. Hong, Vartan Pahalyants, Ernest Y. Lee, Allen Shih, Tamara B. Kaplan, Vishnu Ravi, Sarita Khemani, Thomas A. Buckley, April S. Liang, Daniel Shirvani, Advait Patil, Nicholas Marshall, Kanav Chopra, Joel Koh, Adi Badhwar, Anastasia Perez, Austin J. Schoeffler, Mahbuba Tusty, Chase M. Walton, Liam G. McCoy, David J. H. Wu, Yingjie Weng, Sumant Ranji, Kevin Schulman, Nigam H. Shah, Jason Hom, Arnold Milstein, Arjun K. Manrai, Adam Rodman, Jonathan H. Chen, Ethan Goh

机构 * Harvard Combined Dermatology Program（哈佛联合皮肤科项目） ； Department of Dermatology, Mass General Brigham（麻省总医院皮肤科） ； Harvard Medical School（哈佛医学院） ； Stanford Center for Biomedical Informatics Research（斯坦福生物医学信息学研究中心） ； Stanford University（斯坦福大学） ； Division of Hospital Medicine, Department of Medicine, Stanford University School of Medicine（斯坦福大学医学院医院医学科） ； Department of Medicine, Cambridge Health Alliance（剑桥健康联盟医学科） ； Beth Israel Deaconess Hospital–Plymouth（贝塞斯达德acons医院-普利茅斯） ； Department of Medicine, University of California, San Francisco（加州大学旧金山分校医学科） ； Department of Neurology, Stanford University School of Medicine（斯坦福大学医学院神经科） ； Department of Medicine, Beth Israel Deaconess Medical Center（贝塞斯达德acons医学中心医学科） ； Division of Cardiology, Department of Medicine, Cambridge Health Alliance（剑桥健康联盟心脏病科） ； Department of Cardiovascular Medicine, Summa Health System（Summa健康系统心血管医学科） ； Division of Allergy, Pulmonary, and Critical Care Medicine, Department of Medicine, University of Wisconsin-Madison（威斯康星大学麦迪逊分校医学科过敏、呼吸科和危重医学科） ； Division of Pulmonary and Critical Care Medicine, Department of Medicine, Massachusetts General Hospital（麻省总医院呼吸科和危重医学科） ； Center for Immunology and Inflammatory Diseases, Department of Medicine, Massachusetts General Hospital（麻省总医院免疫和炎症疾病中心） ； Broad Institute of MIT and Harvard（MIT和哈佛Broad研究所） ； Division of Pulmonary, Critical Care, and Sleep Medicine, Cambridge Health Alliance（剑桥健康联盟呼吸科、危重医学科和睡眠医学科） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出NOHARM基准，包含1100个初级到专科咨询案例，评估28个LLM的医疗建议安全性，发现高达22.6%的案例存在严重危害风险，其中遗漏错误占80%以上。

OOD-RL-Bench: A Benchmark Framework for Out-of-Distribution Detection in Reinforcement Learning

OOD-RL-Bench：强化学习中分布外检测的基准框架

Emil Mittag, Richard Dazeley, Peter Vamplew

机构 * Deakin University（迪肯大学） ； Federation University Australia（澳大利亚联邦大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对强化学习中分布外检测问题，提出OOD-RL-Bench框架，通过共享接口集成检测器与异常注入器，在LunarLander-v3环境评估其效用，揭示不同异常类型性能差异，还公开相关成果以便重现。

Comments 21 pages, 2 figures

SkillSelect-Serve: QoS-Aware Budgeted Skill Service Recommendation for LLM Agents

SkillSelect-Serve：面向小型LLM代理的预算可控且QoS感知的技能服务推荐与组合

Jingyuan Zheng, Dongjing Wang, Xin Zhang, Hao Chen, Youhuizi Li, Xudong Shen, Haiping Zhang, Butian Huang, Dongjin Yu, Guandong Xu

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 提出SkillSelect-Serve框架，将技能选择建模为服务推荐与组合问题，通过双粒度效用建模和预算约束优化，在35,353个技能和586个任务查询上优于固定top-k检索基线。

Comments 18 pages (14-page main text + appendices), 5 figures

Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

对主观预期效用最大化的敏感性：一项方法学研究，并应用于大语言模型决策

Jeff Helzner

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究在标记结果稀缺等情况下评估不确定性决策的难题，通过含敏感性参数α的softmax选择模型得出相关可识别性结果，应用于大语言模型决策，检测到结构化比较α效应。

Comments 64 pages, 5 figures. Code and data archived at Zenodo: https://doi.org/10.5281/zenodo.21250951

Epistemic Stance Flexibility Probing: Measuring Prompt-Conditioned Register Shift in Large Language Models

认知立场灵活性探测：测量大语言模型中提示条件下的语域转换

Binwen Liu, Yilin Ren

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 研究大语言模型在不同归因提示下的认知立场灵活性，引入ESFP基准，涵盖多类别多模板项目，从四个维度评估模型响应，发现认知灵活性与模型能力正交，立场内容密度信号最强。

Skills That Don't Exist: A Large-Scale Study of Hallucinated Skill Recommendation in LLM Agents

不存在的技能：对大语言模型代理中幻觉技能推荐的大规模研究

Weifeng Yuan, Wenbo Guo, Feng Dong, Haoyu Wang, Yang Liu

专题命中 Agent评测 ：agent(abstract)；分类 cs.SE

AI总结 研究大语言模型代理中技能名称幻觉漏洞，通过大规模测量发现各配置均有此问题，系统生成众多幻觉名称且非随机，测试的模型级防御存在安全与可用性冲突，修复需全生态系统结构改变。

Rethinking the Evaluation of Harness Evolution for Agents

重新思考智能体的 harness 进化评估

Yike Wang, Huaisheng Zhu, Zhengyu Hu, Yige Yuan, Zhengyu Chen, Shakti Senthil, Hannaneh Hajishirzi, Yulia Tsvetkov, Pradeep Dasigi, Teng Xiao

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI

AI总结 研究重新审视大语言模型智能体的自动 harness 进化评估，通过在可比条件下与基线比较及在保留任务上测试，发现其不总优于简单方法且泛化有限，对其有效性提出质疑，强调需更公平评估协议和基准。

In-Context Reinforcement Learning under Non-Stationarity: A Survey

非平稳性下的上下文强化学习：一项综述

A Run, Ziluo Ding

机构 * Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该综述围绕非平稳性下的上下文强化学习展开，探讨预训练或微调决策模型在交互中推断规则改善行为的能力。将其定义为策略固定时通过上下文适应问题，关联多种相关技术，并从变化内容、展开方式及智能体可观察性三方面组织文献。

Egocentric Bias in Vision-Language Models

视觉语言模型中的自我中心偏差

Maijunxian Wang, Yijiang Li, Bingyang Wang, Tianwei Zhao, Ran Ji, Qingying Gao, Emmy Liu, Hokin Deng, Dezhi Luo

机构 * Cognitive Science Program, University of California, Berkeley（加州大学伯克利分校认知科学项目） ； Department of Electrical and Computer Engineering, University of California San Diego（加州大学圣地亚哥分校电气与计算机工程系） ； School of Computer Science, Georgia Institute of Technology & Emory University（佐治亚理工学院计算机科学学院及埃默里大学） ； Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系） ； Department of Cognitive Science, University of California San Diego（加州大学圣地亚哥分校认知科学系） ； Equal Advising Department of Computer Science & Wilmer Eye Institute, Johns Hopkins University（约翰霍普金斯大学计算机科学系及威尔默眼科研究所） ； Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） ； Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） ； Weinberg Institute for Cognitive Science, University of Michigan（密歇根大学韦恩伯格认知科学研究所） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本文提出FlipSet基准，揭示视觉语言模型在第二级视觉视角推理中存在系统性自我中心偏差，表明模型在整合社会认知与空间操作方面存在根本性不足。

Comments Accepted at CogSci 2026 (Best Undergraduate Student Paper)

Strict Fairness at What Cost? Envy-Free Contracts with Subsidies

带有补贴的无嫉妒合同

Matteo Castiglioni, Junjie Chen, Yingkai Li

专题命中 Agent评测 ：agent(abstract)

AI总结 提出带有补贴的无嫉妒合同（EFS）方案，通过额外提供代理人特定补贴，在恢复严格公平性的同时，将公平性代价从无界降低到紧的$n^{\Theta(n)}$界，并证明一般情况下的NP难解性和任务数恒定时的多项式时间算法。

Comments some improvements

Mean-field optimal control with stochastic leaders

具有随机领导者的平均场最优控制

Sebastian Zimper, Ana Djurdjevac, Carsten Hartmann, Christof Schütte, Nataša Djurdjevac Conrad

专题命中 Agent评测 ：agent(abstract)

AI总结 研究大量随机代理受少量随机主导代理影响的系统，在追随者数量趋于无穷时的部分平均场极限。证明有限代理系统最优控制收敛到极限系统最优控制，还提出随机梯度下降算法近似平均场控制，以舆论动态模型为例说明理论结果。

Asymptotic Fair Division: Chores Are Easier Than Goods

渐进公平分配：家务比物品更容易分配

Pasin Manurangsi, Warut Suksompong

专题命中 Agent评测 ：agent(abstract)

AI总结 本文研究了家务分配的渐进公平性问题，证明在 m ≥ 2n 时存在无嫉妒分配，且 m 至少为 n + Θ(n) 才能保证存在性，同时比例分配在 m = ω(1) 时很可能存在。

Comments Appears in the 34th International Joint Conference on Artificial Intelligence (IJCAI), 2025

Journal ref SIAM Journal on Discrete Mathematics, 40(3):1048-1065 (2026)

Decision-Making Under Complete Uncertainty: You Will Not Regret Being Greedy

完全不确定性下的决策：贪婪无悔

Kristijan Atanasov, Frederik Mallmann-Trenn, Mehmet Mars Seven

专题命中 Agent评测 ：agent(abstract)

AI总结 研究完全不确定性下贪婪策略的最坏情况后悔值，通过博弈论模型，先探讨等观察情况，后研究不同观察数量情况，建立上下界并分析其性质，最后经餐厅评论数据测试，验证贪婪策略理论与实证表现相符。

Comments Revised version. Strengthens the main theoretical results, adds results for heterogeneous numbers of observations, includes a correction to an auxiliary result, and updates the related literature. Title slightly revised