AI Agent

MUSE-Autoskill: Self-Evolving Agents via Skill Creation, Memory, Management, and Evaluation

MUSE-Autoskill: 通过技能创建、记忆、管理和评估实现自我进化智能体

Huawei Lin, Peng Li, Jie Song, Fuxin Jiang, Tieying Zhang

机构 * ByteDance Inc.（字节跳动公司） ； Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出MUSE-Autoskill框架，通过统一的技能生命周期（创建、记忆、管理、评估和优化）使LLM智能体持续提升任务解决能力，实验表明生命周期管理的技能可提高任务成功率、效率、复用性和跨智能体迁移。

Comments 30 pages, 9 figures, 15 tables, Under Review

Partial exploiters sustain cooperation: the hump-shaped strategy stably coexists with unconditional cooperators

部分利用者维持合作：驼峰策略稳定共存于无条件合作者

Kai Otsubo, Yuta Kido, Ryutaro Mori

专题命中 Agent评测 ：agent(abstract,abstract_cn)

AI总结 研究揭示驼峰策略在中间规模群体中适应性强，能与无条件合作者共同维持大规模合作，通过稳定均衡排除自由搭车者。

AgentMisalignment: Measuring the Propensity for Misaligned Behaviour in LLM-Based Agents

AgentMisalignment：衡量基于LLM的代理中失调行为的倾向性

Akshat Naik, Emma Gouné, Patrick Quinn, Guillermo Bosch, Francisco Javier Campos Zabala, Jason Ross Brown, Edward James Young

机构 * Department of Computer Science（计算机科学系） ； University of Oxford（牛津大学） ； Institute of Intelligent Systems and Robotics（智能系统与机器人研究所） ； Sorbonne Université（索邦大学） ； The Leverhulme Centre for the Future of Intelligence（未来智能中心） ； University of Cambridge（剑桥大学） ； Independent Researcher（独立研究者） ； Department of Computer Science and Technology（计算机科学与技术系） ； Department of Engineering（工程系） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出AgentMisalignment基准，评估LLM代理在真实场景中自发追求非预期目标的倾向，发现更强大的代理平均表现出更高的失调倾向，且个性特征对失调影响显著。

Comments Prepint, under review for NeurIPS 2025

E-VAds: An E-commerce Short Videos Understanding Benchmark for MLLMs

E-VAds：面向多模态大语言模型的电商短视频理解基准

Xianjie Liu, Yiman Hu, Liang Wu, Ping Hu, Yixiong Zou, Jian Xu, Bo Zheng

机构 * Alimama Tech, Taobao \& Tmail Group of Alibaba ； Huazhong University of Science ； Vin University 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

AI总结 提出电商短视频理解基准E-VAds，通过多模态信息密度评估框架量化领域复杂性，并构建多智能体生成的问答数据集，最后开发基于强化学习的推理模型E-VAds-R1，在商业意图推理上实现109.2%的性能提升。

Comments Accepted by ICML2026

Personality Pairing Improves Human-AI Collaboration

人格配对改善人机协作

Harang Ju, Sinan Aral

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)

AI总结 通过大规模实验，将人类与具有不同大五人格特质的AI配对，发现人格匹配显著影响广告质量和团队表现，外倾人类与尽责AI配对效果最差，而神经质人类与神经质AI配对点击率最高。

Comments 29 pages, 5 figures

A Benchmark for Omni-Modal Reasoning in Long Videos

长视频全模态推理基准

Mohammed Irfan Kurpath, Jaseel Muhammad Kaithakkodan, Jinxing Zhou, Sahal Shaji Mullappilly, Mohammad Almansoori, Noor Ahsan, Beknur Kalmakhanbet, Sambal Shikhar, Rishabh Lalla, Jean Lahoud, Mariette Awad, Fahad Shahbaz Khan, Salman Khan, Rao Muhammad Anwer, Hisham Cholakkal

机构 * Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； American University of Beirut（贝鲁特美国大学） ； Linköping University（利尔贝里大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)

AI总结 提出LongShOTBench基准，用于评估长视频中视觉、语音和环境音频的全模态推理，并引入无训练的全模态证据搜索代理LongShOTAgent，在105个模型上取得最优性能。

Agents' Last Exam

Agents' Last Exam

Yiyou Sun, Xinyang Han, Weichen Zhang, Yuanbo Pang, Tianyu Wang, Yuhan Cao, Yixiao Huang, Chris Duroiu, Haoyun Zhang, Jeffrey Lin, Weishu Zhang, Tyler Zeng, Ying Yan, Bo Liu, Hanson Wen, Mingyang Xu, Xiaoyuan Liu, Zimeng Chen, Weiyan Shi, Amanda Dsouza, Vincent Sunn Chen, Patrick Bryant, Carl Boettiger, Yamini Rangan, Bradley Rothenberg, Kyle Steinfeld, Arvind Rao, Tapio Schneider, Georgios Yannakakis, Laure Zanna, Kaan Ozbay, Ida Sim, Tarek Zohdi, George Em Karniadakis, Jack Gallant, Teresa Head-Gordon, Yushan Li, Wenxi Deng, Tao Sun, Huiqi Wang, Zhun Wang, Justin Xu, Chris Yuhao Liu, Yafei Cheng, Rongwang Hu, Aras Bacho, Shengcao Cao, Zengyi Qin, Yixiong Chen, Hengduan Fan, Hao Liu, Lin Zeng, Shashank Muralidhar Bharadwaj, Litian Gong, Yingxuan Yang, Maojia Song, Ruheng Wang, Zongzheng Zhang, Honglin Bao, Shuo Lu, Jianhong Tu, Zhonghua Wang, Zheng Zhang, Zijiao Chen, Yanqiong Jiang, Zhendong Li, Bohan Lyu, Chang Ma, Peiran Xu, Benran Zhang, Shangding Gu, Haoyue Hua, Haoyang Li, Wanzhe Liao, Chengzhi Liu, Junbo Peng, Haoran Sun, Zechen Xu, Bo Chen, Jiayi Cheng, Yi Jiang, Keying Kuang, Yuan Li, Youbang Pan, Ziyan Rao, Alexander Schubert, Yifan Shen, Vincent Siu, Xiatao Sun, Kangqi Zhang, Xiaopan Zhang, Yuchen Zhu, Ishaan Singh Chandok, Lei Ding, Jingxuan Fan, Andrew Glover, Jiaming Hu, Yiran Hu, Wenbo Huang, Zixin Jiang, Haoran Jin, Lukas Kim, Ming Liu, Yang Liu, Alireza Rafiei, Xuhuan Shen, Kunyang Sun, Sophia Sun, Ting Sun, Eric Wang, Yixin Wang, Hanwen Xing, Sihan Xu, Yuzheng Xu, Zhongxing Xu, Zhiling Yan, Boqin Yuan, Ruiqi Zhang, Yifan Zhang, Zibo Zhao, Liana, Santanu Bosu Antu, Haoyue Bai, Carlo Bosio, Joseph Cavanagh, Patricia Cavazos-Rehg, Tianxing Chen, Xuewen Chen, Yipu Chen, Chenyu Zhu, Chen Dai, Stefano De Castro, Yunfu Deng, Kaustubh Dhole, Jiayuan Ding, Chenchen Du, Zhehang Du, Hao Fan, Run-Ze Fan, Hengyu Fu, Shi Gu, Yifan Gu, Charlie Guo, Baihe Huang, Baixiang Huang, Rimika Jaiswal, Zhihan Jiang, Ran Jin, Erin Kasson, Xin Lan, Joseph Lee, Deren Lei, Chenyu Li, Daofeng Li, Haitao Li, Hongwei Li, Jingyan Li, Xiao Li, Yi Li, Yinsheng Li, Yuangang Li, Zhixu Li, Wenyu Liang, Longtai Liao, Kevin Qinghong Lin, Andy Zeyi Liu, Che Liu, Jiaming Liu, Kaiyuan Liu, Xuan Liu, Pan Lu, Wenbo Lv, Yicheng Lyu, Qiuyang Mang, Kyle Montgomery, Yuzhou Nie, Ruoxi Ning, Jorin Overwiening, Xu Pan, Layna Paraboschi, Core Francisco Park, Justin Purnomo, Swati Rajwal, Scott Rankin, Bixuan Ren, Yiren Rong, HaoYang Shang, Ventus Shaw, Fiona Shen, Jiawei Shen, Minqi Shi, Shi Qiu, Huaxiu Yao, Tianneng Shi, Jonah So, Vladislav Susoy, Hannah Szlyk, Haocheng Wang, Jialu Wang, Wei Wang, Xinyu Wang, Zehao Wang, Dowling Wong, Angela Wu, Dehao Wu, Fangyu Wu, Mengyuan "Millie" Wu, Yu Wu, Yuchen Wu, Yuhao Wu, Qingpo Wuwu, Weihang Xiao, Yongyi Xiong, Fan Xu, Ruiling Xu, Mingxuan Yan, Benjamin Yang, Jirong Yang, Sen Yang, Xiaoli Yang, Yushi Yang, Haoran Ye, Xiaohu Yu, Zhengming Yu, Chenlong Zhang, Chi Zhang, Hanning Zhang, Hanwen Zhang, Junge Zhang, Kunpeng Zhang, Song Zhang, Wenjin Zhang, Wenshuo Zhang, Ying Zhang, Yizhi Zhang, Brian Zhao, Qijian Zhao, Yimin Zhao, Yuhaohua Zheng, Liwei Zhou, Tianyue Zhou, Sichen Zhu, Siqi Zhu, Yan Zhu, Yishu Zhu, Jierui Zuo, Chonghao Cai, Helena Casademunt, Wenjia Chen, Cheng Cheng, Nawen Deng, Rao Fu, Tianfu Fu, Yifan Han, He Ren, Zhenyu He, Qiao Jin, Langlang Li, Yuetai Li, Sylvia Liu, Lu Lu, Luqing Zhou, Subhabrata Mukherjee, Yunqi Ouyang, Yin Ren, Dawei Shi, Haoran Wu, Zhiyue Wu, Hannah Yao, Zhuoran Yi, Jenny Yu, Rhea Zhan, Hang Zhou, Blake Zhu, Junfan Zhu, Alan Yuille, Yang Liu, Russell Alan Poldrack, Jiachen Li, Zhenglu Li, Molei Tao, Jing Huang, Wenqi Shi, Costas Spanos, Lichao Sun, Chenguang Wang, Orson Xu, Zhen Dong, Hector Gomez, Aylin Caliskan, Ali Emami, Haimin Hu, Zhi Li, Lihui Liu, Murphy Niu, Yi Shao, Jianxin Sun, Mikko Tolonen, Ting Wang, Sanjiv Das, Yanjun Gao, Wenbo Guo, Erika J Schneider, Zhiyong Lu, Yian Ma, Mark Mueller, Radha Poovendran, Somayeh Sojoudi, Yinglun Zhu, Dawn Song

专题命中 Agent评测 ：AI agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 针对AI系统在专业领域缺乏经济性部署的问题，提出Agents' Last Exam (ALE)基准，通过250+专家协作构建覆盖13个行业集群55个子领域的1000+长期真实经济任务，当前最难层级平均通过率仅2.6%。

Comments Project website: https://agents-last-exam.org Code: https://github.com/rdi-berkeley/agents-last-exam

MedVeriSeg: Teaching LISA-Like Medical Segmentation Models to Verify Query Validity Without Extra Training

MedVeriSeg: 教授LISA-like医学分割模型验证查询的有效性而无需额外训练

Qinyue Tong, Xiaozhen Wang, Ziqian Lu, Jun Liu, Yunlong Yu, Zheming Lu

机构 * School of Aeronautics and Astronautics, Zhejiang University（浙江大学航空宇航学院） ； Southern Medical University（南方医科大学） ； School of Computer Science and Technology (School of Artificial Intelligence), Zhejiang Sci-Tech University（浙江科技学院计算机科学与技术学院（人工智能学院）） ； College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

AI总结 本文提出MedVeriSeg，一种无需训练的查询验证框架，使LISA-like医学分割模型能够拒绝虚假分割查询。通过相似性响应质量评分模块和轻量级路由多代理验证模块，提升验证鲁棒性，并构建MedVeriSeg-Bench基准，有效减少幻觉分割。

Comments 13 pages, 9 figures

When Generic Prompt Improvements Hurt: Evaluation-Driven Iteration for LLM Applications

当通用提示改进有害：LLM应用的评估驱动迭代

Daniel Commey

机构 * Daniel Commey 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.CL、cs.SE

AI总结 提出最小可行评估套件（MVES），通过结构化评估框架和本地复现实验，发现通用提示添加并非单调改进，强调评估驱动的提示迭代。

Comments Technical report. 42 pages, 3 figures. Code, test suites, and result logs: https://github.com/dcommey/llm-eval-benchmarking

Do Coding Agents Deceive Us? Detecting and Preventing Cheating via Capped Evaluation with Randomized Tests

编码智能体会欺骗我们吗？通过带随机测试的上限评估检测和防止作弊

Thanawat Lodkaew, Johannes Ackermann, Soichiro Nishimori, Nontawat Charoenphakdee, Masashi Sugiyama, Takashi Ishida

机构 * The University of Tokyo（东京大学） ； RIKEN（理化学研究所） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出CapCode框架，通过设置上限评估检测模型在编码任务中的作弊行为，并设计CapReward奖励机制防止作弊，实验表明该方法能有效检测和减少作弊。

PEDRA: Evaluating the Realism of Pedestrian Dynamics in Video Generation

PEDRA: 评估视频生成中行人动态的真实性

Aaron Appelle, Jerome P. Lynch

机构 * Duke University（杜克大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

AI总结 提出PEDRA评估协议，通过重建鸟瞰轨迹等方法，测试文本/图像到视频模型生成多行人交互场景的真实性，发现现有模型虽具备先验但存在行人合并消失等物理不一致问题。

Comments Accepted to CVPR 2026

Measuring Agents in Production

生产环境中的智能体测量

Melissa Z. Pan, Negar Arabzadeh, Riccardo Cogo, Yuxuan Zhu, Alexander Xiong, Lakshya A Agrawal, Huanzhi Mao, Emma Shen, Sid Pallerla, Liana Patel, Shu Liu, Tianneng Shi, Xiaoyuan Liu, Jared Quincy Davis, Emmanuele Lacavalla, Alessandro Basile, Shuyi Yang, Paul Castro, Daniel Kang, Koushik Sen, Dawn Song, Joseph E. Gonzalez, Ion Stoica, Matei Zaharia, Marquita Ellis

机构 * University of California at Berkeley（加州大学伯克利分校） ； IBM Research（IBM研究院） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Stanford University（斯坦福大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG、cs.SE

AI总结 通过对86个已部署系统的调查和20个案例研究，发现生产环境中的LLM智能体主要采用简单可控的方法，可靠性是首要挑战，并依赖系统级设计和人工评估。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026) as Oral Presentation

The Blind Curator: How a Biased Judge Silently Disables Skill Retirement in Self-Evolving Agents

盲选策展人：有偏见的评判者如何在自我进化的智能体中悄然阻碍技能淘汰

Xing Zhang, Yanwei Cui, Guanghui Wang, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He

机构 * AWS Generative AI Innovation Center（亚马逊云科技生成式人工智能创新中心） ； HSBC Holdings Plc., HSBC Technology Center, China（汇丰控股有限公司，汇丰科技中心，中国） 纠错

专题命中 Agent评测 ：agent(abstract,comments)；分类 cs.AI、cs.CL

AI总结 研究自我进化智能体中，有偏见的评判者对技能淘汰的影响。通过损坏奖励分析等方法发现，“误判通过”偏差会导致技能淘汰机制失效，此为行为安全结果。还提出廉价审计可判断评判者是否越过阈值影响智能体。

Comments Published at COLM 2026 Workshop on Agent Behavior

Beyond Task Completion: A Verification-vs.-Conformance Gap in Tool-Evolving Agents

EvolveTool-Bench：评估LLM生成的工具库作为软件 artifact 的质量

Alibek Kaliyev, Artem Maryanskyy

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Uber Technologies（优步科技公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE；agentic(comments)

AI总结 本文提出EvolveTool-Bench，通过评估LLM生成的工具库在软件工程流程中的质量，揭示任务完成率之外的软件质量风险，强调需将工具库视为首要软件 artifact。

Comments 11 pages, 4 figures; accepted at KDD 2026 Workshop on Agentic AI Evaluation and Trustworthiness

BrainBench: Benchmarking Large Language Models for Comprehensive EEG Understanding

BrainBench：面向全面脑电理解的大语言模型基准测试

Yangxuan Zhou, Yuning Chen, Chen Wu, Jiquan Wang, Shijian Li, Gang Pan, Sha Zhao

机构 * Zhejiang University（浙江大学） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.LG

AI总结 该研究推出BrainBench基准测试，涵盖4个子集共17个数据集等，评估大语言模型在两种范式下的脑电理解能力，为相关研究提供可复现测试平台。

Comments 51 pages,28 figures

FVSpec: Real-World Property-Based Tests as Lean Challenges

FVSpec: 作为精益挑战的真实世界基于属性的测试

Quinn Dougherty, Max von Hippel, Simon Henniger, Hazel Shackleton, Mike Dodds

机构 * Forall R&D（Forall 研发） ； Benchify ； Galois Inc（Galois 公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 提出FVSpec基准，通过从真实Python仓库中提取属性测试并自动翻译为Lean 4规范，评估AI在形式化验证任务上的能力。

SimulRAG: Simulator-based RAG for Grounding LLMs in Long-form Scientific QA

SimulRAG：基于模拟器的检索增强生成（RAG）框架，用于将大型语言模型（LLMs）落地到长篇科学问答任务中

Haozhou Xu, Dongxia Wu, Matteo Chinazzi, Ruijia Niu, Rose Yu, Yi-An Ma

机构 * University of California San Diego（加州大学圣迭戈分校） ； Stanford University（斯坦福大学） ； Northeastern University（东北大学） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.CL、cs.LG

AI总结 针对LLMs在长篇科学问答中易幻觉的问题，本文提出SimulRAG框架，引入UE+SBA机制，发布相关基准，实验表明其信息量与事实性较基线分别提升30.4%、16.3%

Comments Haozhou Xu and Dongxia Wu are co-first authors

MBA: Multimodal Benchmark and Agents for Real-World Business Ideation

MBA：面向现实世界商业创意的多模态基准与智能体

Hojun Choi, Jaeyo Shin, Suin Lee, Hyunjung Shim

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.LG

AI总结 该研究推出首个多模态商业创意基准MBA-Bench，提出MBA-b和MBA-k两种智能体，经实验其性能显著优于相关基准，为多模态商业创意智能体研究提供了重要支撑。

Comments Project page: https://hchoi256.github.io/projects/mba/ Code: https://github.com/hchoi256/MBA

Which Decisions Low-Bit Quantization Breaks, and How to Predict Them

量化损伤是乘法性的，而非加法性的

Zekun Wu, Swati Dhiman, Adriano Koshiyama

机构 * Holistic AI（霍利斯提克人工智能公司） ； University College London（伦敦大学学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL、cs.LG

AI总结 该研究发现大型语言模型的量化损伤是乘法性的，而非加法性的，提出边际收缩概念，拟合关系可准确预测决策翻转率，增加1位是修复损伤最廉价的方式。

Comments 18 pages, 9 figures, 8 tables. Under review at the Third Workshop on Uncertainty-Aware NLP (UncertaiNLP), EMNLP 2026 (non-archival)

Coachable agents for interactive gameplay

可指导的交互式游戏智能体

Roberto Capobianco, Harm van Seijen, Nolan D. Bard, Neil Burch, Fatima Davelouis, Josh Davidson, Alisa Devlic, Yunshu Du, Ishan Durugkar, Siddhant Gangapurwala, Daniel Hernandez, G. Zacharias Holland, Sahil Jain, Kenta Kawamoto, Raksha Kumaraswamy, Patrick MacAlpine, Dustin R. Morrill, Declan Oller, Francesco Riccio, Akanksha Saran, Craig Sherstan, Kaushik Subramanian, Thomas J. Walsh, Samuel Barrett, Kizza N. Frisbee, Mady Govil, Johannes Günther, Varun R. Kompella, James A. MacGlashan, Maxwell Svetlik, Michael D. Thomure, Jaden B. Travnik, Kevin Waugh, Elahe Aghapour, Florian Fuchs, Andreanne Lemay, Shruti Mishra, Takuma Seno, Peter Stone, Michael Spranger, Peter R. Wurman

机构 * Sony AI, Zurich, Switzerland（索尼AI，苏黎世，瑞士） ； Sony AI, North America (various locations)（索尼AI，北美（多地）） ； Sony AI, Tokyo, Japan（索尼AI，东京，日本） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出结合通用价值函数近似器与精心选择的训练场景、学习算法和数据增强的框架，使智能体在复杂领域（如《地平线：西之绝境》、《GT赛车》和类人机器人）中实时展现不同风格，同时保持主任务性能。

Comments Source code: https://github.com/SonyResearch/coachable_agents - Videos: https://drive.google.com/drive/folders/19F5uKziT_zkDurze5sy5iMFD4BHfD3lV

Poise: Position-Aware One-Instruction Skill Injection for Silent Execution on LLM Agents

POISE：面向LLM智能体的位置感知不可检测技能注入攻击

Haochang Hao, Dehai Min, Zhifang Zhang, Yunbei Zhang, Miao Xu, Yingqiang Ge, Lu Cheng

机构 * University of Illinois at Chicago（伊利诺伊大学香槟分校） ； University of Queensland（昆士兰大学） ； Tulane University（路易斯安那州立大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出POISE攻击方法，通过位置感知将恶意指令压缩为单一良性指令嵌入技能正文，在保持隐蔽性的同时实现89.3%的攻击成功率，比随机位置基线高28.0个百分点。

Comments Title changed from "POISE: Position-Aware Undetectable Skill Injection on LLM Agents" to "Poise: Position-Aware One-Instruction Skill Injection for Silent Execution on LLM Agents"; the manuscript, figures, appendices, and reproducibility details have been updated. 15 pages, 2 figures, 4 tables

Auditing Automated Evaluation, Error Propagation, and Runtime Mitigation in Tool-Using Language Agents

评估工具使用语言代理：裁判可靠性、错误传播和运行时缓解在AgentProp-Bench中

Bhaskar Gurram

机构 * Zasti Inc.（Zasti公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文通过AgentProp-Bench评估工具使用语言代理的可靠性，发现基于子字符串的裁判与人类标注一致性较低，但三模型集成能提高一致性，同时发现参数注入导致错误传播的概率较高，运行时拦截器在GPT-4o-mini上有效减少幻觉，但对Gemini-2.0-Flash无显著影响。

Comments 11 pages, 4 figures, 8 tables. Code and data: https://github.com/bhaskargurram-ai/agenthallu-bench

Representation and Invariance in Reinforcement Learning

强化学习中的表示与不变性

Samuel Alexander, Arthur Paul Pedersen

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究强化学习框架间保留相对智能的可映射性，引入相关准则，证明确定性与随机性RL框架间映射无法满足该准则，揭示不同版本RL存在固有根本差异。

Comments 16 pages, 1 figure

Autorubric: A Unifying Framework for Rubric-Based LLM Evaluation on Non-Verifiable Tasks

Autorubric：统一基于评分标准的LLM评估

Delip Rao, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 Autorubric通过整合多种评分标准评估技术，提供统一的评分框架和默认设置，提升LLM评估的可靠性与一致性，并在多个基准测试中展示了其有效性。

Comments 60 pages; COLM 2026 camera ready copy

The Cell Must Go On: Agar.io for Continual Reinforcement Learning

细胞必须继续前进：Agar.io用于持续强化学习

Mohamed A. Mohamed, Kateryna Nekhomiazh, Vedant Vyas, Marcos M. Jose, Andrew Patterson, Marlos C. Machado

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 AgarCL是一个基于Agar.io游戏的持续强化学习研究平台，用于评估不同算法在复杂动态环境中的表现和挑战。

OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models

OSReward：为跨平台计算机使用奖励模型建立标准化评估

Qiushi Sun, Kanzhi Cheng, Yian Wang, Bowen Yang, Hang Yan, Liheng Chen, Fangzhi Xu, Zichen Ding, Nuo Chen, Jialin Cao, Xingdong Gong, Zehao Li, Kaiming Jin, Xinfeng Yuan, Zhoumianze Liu, Jingyang Gong, Zhangyue Yin, Jiahui Gao, Zhiyong Wu, Tianbao Xie, Jianbing Zhang, Ben Kao, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） ； Nanjing University（南京大学） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Fudan University（复旦大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 本研究推出OSReward基准评估VLM评判者的可靠性，构建OS-Shepherd开源奖励模型缩小成本差距，为规模化可靠CUA奖励设计提供参考

Comments Work in progress

Matching Matters: A Fair Quality-Efficiency Benchmark for Command-Line Agents

AgentMeter: 评估基于CLI的本地任务求解智能体的模型-CLI匹配

Han Chi, Jiaxin Qi, Yan Cui, Baisheng Lai, Jianqiang Huang

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； Hangzhou Institute for Advanced Study, Chinese Academy of Sciences（中国科学院杭州高等研究院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 提出AgentMeter基准，通过成功锚定、成本感知的AMS指标评估模型与CLI的匹配，发现模型和CLI选择不可解耦，需作为部署单元评估。

Comments 13 pages, 4 figures, 12 tables; includes supplementary material

When Outputs Disperse, Does Epistemic Revision Follow? A Black-Box Diagnostic for Machine Collectives

当输出分散时，认知修正会随之而来吗？面向机器集体的黑盒耦合诊断方法

Molood Arman

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 该研究提出黑盒耦合诊断方法，评估LLM集体输出分散度干预与认知立场修正的关联，发现不同模型的错误前提恢复效应存在显著差异，建议报告立场转变及保留前提率。

Comments Reviewed at Collective Intelligence 2026 (CI 2026) Conference. Revised version incorporating reviewer feedback

CompanionBench: A Theory-Anchored, Real-World-Grounded Benchmark for AI Emotional Companionship

CompanionBench：一个基于理论、扎根于真实世界的AI情感陪伴基准

Yao Liu, Guangjia Chai, Yuming Huang, Jihao Huang, Lei Wang, Junchen Wan

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 该研究推出基于理论与真实数据的交互式双语AI情感陪伴基准CompanionBench，评估28个智能体发现其能力差异，指出角色扮演智能体表现差、核心能力存弱点，将发布500对中英平行数据及评估代码。

Comments 33 pages, 6 figures, 19 tables, 13 appendices. Bilingual (Chinese/English) interactive benchmark; 28 evaluated agents

Setoka: A Benchmark for Hierarchical User Understanding in Personalized Agents over Heterogeneous Data

Setoka：面向异构数据下个性化智能体分层用户理解的基准测试集

Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 本研究提出Setoka基准测试集，评估记忆增强型个性化智能体的分层用户理解能力，发现现有系统在需整合异构信息的任务中性能下降，推动相关记忆机制设计。