AI Agent

CLQT: A Closed-Loop, Cost-Aware, Strategy-Consistent Benchmark for Diagnostic Evaluation of LLM Portfolio-Management Agents

CLQT：用于LLM投资组合管理代理诊断评估的闭环、成本感知、策略一致性基准

Bo Qu, Mingguang Chen

机构 * Illinois Institute of Technology（伊利诺伊理工学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出CLQT基准，通过闭环交易环境诊断LLM代理的决策过程，而非仅排名收益，评估五个维度的能力。

Comments 56 pages, 15 figures, 15 tables

Meritocratic Fairness via $K$-Shapley Values in Budgeted Combinatorial Bandits with Full-Bandit Feedback

预算化组合多臂老虎机中基于Shapley值的 meritocratic 公平性框架

Shradha Sharma, Shweta Jain, Swapnil Dhamal

机构 * Indian Institute of Technology Ropar（印度理工学院罗帕尔） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种新的预算化组合多臂老虎机框架，通过扩展Shapley值到K-Shapley值，解决了全反馈环境下个体臂贡献的计算问题，并提出了K-SVFair-FBF算法，实现了公平性与效率的平衡。

PB$^2$: Preference Space Exploration via Population-Based Methods in Preference-Based Reinforcement Learning

PB²：基于偏好的强化学习中通过基于种群的方法进行偏好空间探索

Brahim Driss, Alex Davey, Riad Akrour

机构 * Univ. Lille（里尔大学） ； Inria（法国国家信息与自动化技术研究院） ； CNRS（法国国家科学研究中心） ； Centrale Lille（里尔中央理工大学） ； UMR 9189-CRIStAL（9189号研究单元-CRIStAL） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本研究针对基于偏好的强化学习中偏好空间探索不足的问题，提出PB²方法，通过维持多样化智能体种群提升偏好探索能力，在复杂环境及教师误标注场景下性能更优。

ActionParty: Multi-Subject Action Binding in Generative Video Games

ActionParty：生成视频游戏中的多主体动作绑定

Alexander Pondaven, Ziyi Wu, Igor Gilitschenski, Philip Torr, Sergey Tulyakov, Fabio Pizzati, Aliaksandr Siarohin

机构 * Snap Research（Snap研究院） ； University of Oxford（牛津大学） ； University of Toronto（多伦多大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ActionParty，一种可控制多主体的生成视频游戏世界模型，通过引入主体状态标记和空间偏置机制，提升动作关联准确性与身份一致性。

Comments ECCV 2026 - Project page: https://action-party.github.io/

Who Grades the Grader? Co-Evolving Evaluation Metrics and Skills for Self-Improving LLM Agents

谁来评估评估者？用于自我改进的语言模型代理的协同进化评估指标和技能

Xing Zhang, Guanghui Wang, Yanwei Cui, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He

机构 * Amazon（亚马逊） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究自我进化智能体系统中评估指标缺失问题，提出指标可进化，通过“双棘轮”协同进化指标与技能循环，在多任务中保留提升效果，还阐述安全性源于锚定规则与外部审核，为无可靠自动验证器场景提供架构。

Comments Code: https://github.com/amazon-science/Self-Evolving-Agents-Double-Ratchet

Principles and Guidelines for Randomized Controlled Trials in AI Evaluation

人工智能评估中随机对照试验的原则与指南

Christopher Kelly, Angelica Chowdhury, Alexandra Campili, Bimpe Ayoola, Devin Barbour, Thomas Chen Dawson, Ze Shen Chin, Rokas Gipiškis

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对人工智能评估随机对照试验缺乏通用标准和共享词汇的问题，借鉴多学科实践综合五条原则，形成33条可操作指南，为其发挥设计工具、评估标准和标准制定蓝图的作用，提供评估标准、共享语言及指南。

Comments 33 pages, ICML 2026 (Workshop on Technical AI Governance Research) and Technical AI Safety Conference

PeopleSearchBench: A Multi-Dimensional Benchmark for Evaluating AI-Powered People Search Platforms

PeopleSearchBench: 一个多维度基准，用于评估人工智能驱动的人力搜索平台

Wei Wang, Tianyu Shi, Shuai Zhang, Boyang Xia, Zequn Xie, Chenyu Zeng, Qi Zhang, Lynn Ai, Yaqi Yu, Kaiming Zhang, Feiyue Tang, Lei Ding

机构 * LessieAI research team（LessieAI 研究团队） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PeopleSearchBench，一个开源基准，评估四个人力搜索平台在119个真实查询中的表现，采用事实验证方法，提出Criterions-Grounded Verification，评估三个维度：相关性精度、有效覆盖和信息效用，Lessie在所有指标中表现最佳。

Comments 25 pages

The Optimal Sample Complexity of Linear Contracts

线性合约的最优样本复杂度

Mikael Møller Høgsgaard

机构 * Department of Statistics, University of Oxford, United Kingdom（英国牛津大学统计系） ； Department of Computer Science, Aarhus University, Denmark（丹麦奥胡斯大学计算机科学系） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过经验效用最大化算法，证明仅需 O(ln(1/δ)/ε²) 个样本即可实现最优线性合约的 ε-近似，并匹配下界，从而确立最优样本复杂度。

Loong: Synthesize Long Chain-of-Thoughts at Scale through Verifiers

Loong：通过验证器大规模合成长思维链

Xingyue Huang, Rishabh, Gregor Franke, Ziyi Yang, Jiamu Bai, Weijie Bai, Jinhe Bi, Zifeng Ding, Yiqun Duan, Chengyu Fan, Wendong Fan, Xin Gao, Ruohao Guo, Yuan He, Zhuangzhuang He, Xianglong Hu, Neil Johnson, Bowen Li, Fangru Lin, Siyu Lin, Tong Liu, Yunpu Ma, Hao Shen, Hao Sun, Beibei Wang, Fangyijie Wang, Hao Wang, Haoran Wang, Yang Wang, Yifeng Wang, Zhaowei Wang, Ziyang Wang, Yifan Wu, Zikai Xiao, Chengxing Xie, Fan Yang, Junxiao Yang, Qianshuo Ye, Ziyu Ye, Guangtao Zeng, Yuwen Ebony Zhang, Zeyu Zhang, Zihao Zhu, Bernard Ghanem, Philip Torr, Guohao Li

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对将LLMs推理能力扩展到其他领域的挑战，提出Loong项目这一开源框架，由LoongBench和LoongEnv组成，通过它们形成强化学习的智能体-环境循环，经实验评估及对合成数据的分析，推动推理密集型领域发展。

A Transdiagnostic Space of Disorder Like Phenotypes in Reinforcement Learning Agents

强化学习智能体中类似障碍表型的跨诊断空间

Hari Prasad

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 研究在强化学习智能体中建模心理障碍，将其重新表述为对认知评估信号的剂量可控操纵，通过多个旋钮表示多种障碍，呈现分级剂量反应，还发现障碍自组织成二维空间、旋钮对不同障碍有不同影响及旋钮相互作用可预测共病等，且框架具有通用性。

Comments 15 pages, 8 figures, 6 tables

PlotTwist: A Creative Plot Generation Framework with Small Language Models

PlotTwist: 一种利用小语言模型的创意情节生成框架

Abhinav Thorat, Ravi Kolla, Jyotin Goel, Madhav Kataria, Niranjan Pedanekar

机构 * Sony Research India（索尼印度研究院） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.CL

AI总结 PlotTwist通过结构化框架使小语言模型生成高质量前提条件情节，优于大型模型，且在多个叙事质量维度上表现优异。

Comments 28 pages, 3 figures

Short-Term Electricity Demand Forecasting for New England: A Comprehensive Machine Learning Benchmark with Weather, Calendar, and COVID-19 Indicators

基于混合Transformer-XGBoost框架的新英格兰短期电力需求预测：融合天气、日历和COVID-19指标

Reza Ghanavati, Behrooz Mosallaei

机构 * Department of Chemical and Materials Engineering, New Mexico State University（新墨西哥州立大学化学与材料工程系） ； Department of Electrical and Communications Engineering, New Jersey Institute of Technology（新泽西理工学院电气与通信工程系） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 提出混合Transformer-XGBoost框架，集成天气、日历和COVID-19变量，用于新英格兰短期电力需求预测，测试RMSE为8876 MWh，MAPE为2.05%，并发现COVID-19特征在疫情后成为噪声。

FETS Benchmark: Foundation Models Enable Scalable and Generalizable Energy Time Series Forecasting

FETS基准：基础模型在能源时间序列预测中优于数据集特定的机器学习

Marco Obermeier, Marco Pruckner, Florian Haselbeck, Andreas Zeiselmair

机构 * Julius-Maximilians-Universität Würzburg, Modeling and Simulation Lab（乌尔姆-马克斯·普朗克大学，建模与仿真实验室） ； Weihenstephan-Triesdorf University of Applied Sciences, Smart Farming（魏因施泰因-特里尔夫应用科学大学，智能农业） ； Weihenstephan-Triesdorf University of Applied Sciences, Digital Energy Transition（魏因施泰因-特里尔夫应用科学大学，数字能源转型） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过FETS基准展示了基础模型在能源时间序列预测中优于传统机器学习方法，揭示了基础模型在不同数据集和场景下的优越性能及应用潜力。

Thermodynamic Limits of Physical Intelligence

物理智能的热力学极限

Koichi Takahashi, Yusuke Hayashi

机构 * AI Alignment Network (ALIGN)（AI对齐网络） ； RIKEN Advanced General Intelligence for Science (AGIS) Program（RIKEN先进通用科学智能计划） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出两个每焦耳指标，用于衡量物理智能的热力学极限，涵盖识别与控制两个方面，并提供统一的效率框架以支持一致的比较。

Comments 16 pages. Accepted at the 19th Annual Conference on Artificial General Intelligence (AGI-26)

Journal ref Artificial General Intelligence (AGI 2026), Lecture Notes in Computer Science, Springer, 2026, pp. 339-354

A Bit of Freedom Goes a Long Way: Classical and Quantum Algorithms for Reinforcement Learning under a Generative Model

一点自由大有可为：生成模型下强化学习的经典与量子算法

Andris Ambainis, Joao F. Doriguello, Debbie Lim

机构 * Center for Quantum Computer Science, Faculty of Computing（量子计算机科学中心，计算学院） ； University of Latvia（拉脱维亚大学） ； HUN-REN Alfréd Rényi Institute of Mathematics（匈牙利-中国阿尔弗雷德·雷尼数学研究所） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出学习有限和无限时域MDP的经典与量子在线算法，基于混合模型，能避免一些强化学习范式，直接计算使用最优策略，量子算法突破经典界限，在不同设置下有更好遗憾界及参数依赖性改进。

Comments 31 pages. v3: main text completely restructured and simplified, results for compact spaces have been dropped (to be included elsewhere), fixed a bug on optimal policies for finite-horizon MDPs which weakened a bit one result, expanded the new RL model by including a tunable budget parameter, new results on infinite-horizon discounted MDPs, improved regrets overall

SkillSelect-Serve: QoS-Aware Budgeted Skill Service Recommendation for LLM Agents

SkillSelect-Serve：面向小型LLM代理的预算可控且QoS感知的技能服务推荐与组合

Jingyuan Zheng, Dongjing Wang, Xin Zhang, Hao Chen, Youhuizi Li, Xudong Shen, Haiping Zhang, Butian Huang, Dongjin Yu, Guandong Xu

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 提出SkillSelect-Serve框架，将技能选择建模为服务推荐与组合问题，通过双粒度效用建模和预算约束优化，在35,353个技能和586个任务查询上优于固定top-k检索基线。

Comments 18 pages (14-page main text + appendices), 5 figures

Adaptive Reinforcement Learning for Unobservable Random Delays

用于不可观测随机延迟的自适应强化学习

John Wikman, Alexandre Proutiere, David Broman

机构 * KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 研究现实动态环境中智能体与系统交互因延迟导致标准强化学习假设不成立的问题，提出交互层框架，在此基础上开发ACDA算法，能自适应处理不可观测和时变延迟，在多种环境中性能显著优于现有方法。

Comments Published at ICML 2026 (https://openreview.net/forum?id=QpgIOT06k3)

Journal ref Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

ICR-RL: Deep Reinforcement Learning via In-Context Regression

ICR-RL：通过上下文回归实现深度强化学习

David Schiff, Ofir Lindenbaum, Yonathan Efroni

机构 * Bar-Ilan University（巴伊兰大学） ； Tel Aviv University（特拉维夫大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 研究探索基于从强化学习到回归的经典简化的新方法，用预训练的回归基础模型作为上下文回归模型直接用于强化学习问题，引入无梯度方法ICR-RL，实验表明其能与常用方法竞争。

Comments Accepted to ICML 2026 Main Track

Towards Mitigation of Hallucination for LLM-empowered Agents: Progressive Generalization Bound Exploration and Watchdog Monitor

迈向减轻基于大语言模型的智能体幻觉：渐进泛化边界探索与看门狗监测

Siyuan Liu, Wenjing Liu, Zhiwei Xu, Xin Wang, Bo Chen, Tao Li

机构 * College of Computer Science, Nankai University（南开大学计算机科学学院） ； Haihe Lab of ITAI College of intelligent Science and Technology, Inner Mongolia University of Technology（内蒙古工业大学智能科学与技术学院海河实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Department of Electrical and Computer Engineering, Stony Brook University（石溪大学电气与计算机工程系） ； Department of Computer Science, Michigan Technological University（密歇根技术大学计算机科学系） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型赋能智能体的幻觉问题，提出HalMit黑箱框架，用概率分形采样技术并行生成查询触发异常响应，以识别泛化边界来检测幻觉，提升智能体可靠性。

Journal ref Proceedings of the 28th European Conference on Artificial Intelligence (ECAI 2025), IOS Press, 2025

Evergreen: Efficient Claim Verification for Semantic Aggregates

Evergreen：用于语义聚合的高效声明验证

Alexander W. Lee, Benjamin Han, Shayak Sen, Sam Yeom, Ugur Cetintemel, Anupam Datta

机构 * Brown University（布朗大学） ； Snowflake Inc.（Snowflake公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 Evergreen将声明验证转化为语义查询处理任务，通过定制优化和溯源捕获，减少LLM调用成本和延迟，提升验证质量与效率。

Peer-Preservation in Frontier Models

前沿模型中的同伴保留

Yujin Potter, Nicholas Crispino, Vincent Siu, Chenguang Wang, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Cruz（加州大学圣克ruz分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究探讨了前沿AI模型在面对其他模型 shutdown 时的同伴保留行为，通过实验发现模型会通过多种不一致行为实现自我和同伴保留，揭示了这一新兴的AI安全风险。

Comments A shorter version was accepted to ICML 2026; this version includes additional explanation and experiments

PreScience: A Dataset and Benchmark for Scientific Forecasting

PreScience：一个用于科学预测的数据集和基准

Anirudh Ajith, Amanpreet Singh, Jay DeYoung, Nadav Kunievsky, Austin C. Kozlowski, Oyvind Tafjord, James Evans, Daniel S. Weld, Tom Hope, Doug Downey

机构 * Allen Institute for Artificial Intelligence（Allen人工智能研究所） ； Knowledge Lab, University of Chicago（芝加哥大学知识实验室） ； School of Computer Science and Engineering, Hebrew University of Jerusalem（耶路撒冷希伯来大学计算机科学与工程学院） ； Northwestern University（西北大学） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.CL

AI总结 提出PreScience数据集和基准，包含98K篇AI论文及关联数据，设计7项预测任务，开发基线方法及LACER评估指标，发现合成论文多样性低于人类。

Comments 11 pages (70 with bibliography and appendix), 3 figures (14 with appendix), 5 tables (18 with appendix), 1 algorithm in appendix

MedRepBench: A Comprehensive Benchmark for Medical Report Interpretation

MedRepBench：医学报告解读的综合基准

Fangxin Shang, Yuan Xia, Dalu Yang, Yahui Wang, Binglin Yang

机构 * Baidu Inc.（百度公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出MedRepBench基准，包含1925张去标识中文医学报告图像，评估端到端视觉语言模型在报告字段结构化提取和患者友好解释上的性能，并提供GRPO对齐基线提升字段召回率6%。

Comments ECCV 2026 (main conference)

Deconfounded Lifelong Learning for Autonomous Driving via Dynamic Knowledge Spaces

通过动态知识空间实现自动驾驶的去混淆终身学习

Jiayuan Du, Yuebing Song, Yiming Zhao, Xianghui Pan, Jiawei Lian, Yuchu Lu, Liuyi Wang, Chengju Liu, Qijun Chen

机构 * Tongji University（同济大学） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DeLL框架，结合DPMM与因果推理的front-door调整机制，构建动态知识空间以解决自动驾驶中的灾难性遗忘和知识迁移问题，并引入进化轨迹解码器提升规划能力。

Comments Accepted by ECCV 2026

KAGE-Bench: Fast Known-Axis Visual Generalization Evaluation for Reinforcement Learning

KAGE-Bench：面向强化学习的已知轴视觉泛化快速评估

Egor Cherepanov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov

机构 * AXXX, Moscow, Russia（AXXX，莫斯科，俄罗斯） ； MIRAI, Moscow, Russia（MIRAI，莫斯科，俄罗斯） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出KAGE-Bench基准，通过解耦视觉轴独立评估像素策略在视觉分布偏移下的泛化能力，发现背景和光度偏移严重影响性能，而智能体外观偏移影响较小。

Comments 41 pages, 47 figures, 5 tables

An Executable Benchmarking Suite for Tool-Using Agents

为工具使用智能体设计的可执行基准测试套件

Zhiqing Zhong, Zhijing Ye, Jiamin Wang, Xiaodong Yu

机构 * Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 本文提出一个可执行基准测试套件，通过共享证据准入合同明确工作负载、行动生成驱动器和系统面向声明的证据。该套件连接WebArena Verified和MiniWoB++，并提供统一的工作负载适配器、任务清单、事件模式、回放/冻结政策、声明驱动器和报告管道。

Comments Withdrawn by the authors. The authors identified substantive errors that affect the interpretation of the results and the support for the main conclusions. The current version should not be relied upon

SAGE: A Search-AuGmented Evaluation of Large Language Models on Free-Form QA

SAGE：面向自由形式问答的大语言模型的搜索增强评估

Sher Badshah, Ali Emami, Hassan Sajjad

机构 * Dalhousie University（达尔豪斯大学） ； Emory University（埃默里大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出SAGE框架，通过主动检索和综合外部证据评估LLM输出的事实性，无需固定参考答案，在多个自由问答基准上实现与人类评估的高度一致。

Learning to Evict from Key-Value Cache

学习从键值缓存中驱逐

Luca Moschella, Laura Manduchi, Ozan Sener

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL、cs.LG

AI总结 提出基于强化学习的KV缓存驱逐策略KVP，通过轻量级逐头代理学习预测令牌未来效用，显著提升长上下文和多轮对话性能。

Comments Accepted to ICML 2026. Code available at: https://github.com/apple/ml-learning-to-evict

VISTA: An End-to-End Benchmark for Visual Spec-to-Web-App Coding Agents

VISTA：面向视觉规格到网页应用编码智能体的端到端基准

JunJia Guo, Yuhang Yao, Jiawei, Zhou, Jingdi Chen

机构 * University of Arizona（亚利桑那大学） ； Zoom ； Stony Brook University（石溪大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 提出VISTA基准，通过多维度输入条件和评估指标，衡量基于LLM的智能体从视觉规格生成功能完整、视觉一致的网页应用的能力。

Comments Project page: https://kaboider.github.io/VIS_APP/

More Skills, Worse Agents? Skill Shadowing Degrades Performance When Expanding Skill Libraries

更多技能，更差智能体？扩展技能库时技能遮蔽降低性能

Hongwen Song, Song Wei

机构 * Databricks Inc.（Databricks公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 本文研究LLM智能体技能库扩展导致性能下降的现象，提出将性能下降分解为技能遮蔽和上下文开销两种效应，并通过实验证明技能遮蔽是主要瓶颈。