AI Agent

Building a European Multilingual Evaluation Dataset: The MMLU Localisation Project within the EMT Network

构建欧洲多语言评估数据集：EMT网络中的MMLU本地化项目

Pilar Sánchez-Gijón, Susana Valdez, Sofía Calvo Del Barrio, Florence Bellemont, Anna Kokkinidou, Mihai Cristian Brasoveanu

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL

AI总结 DGT与EMT合作将MMLU数据集本地化至11种欧洲语言，既为大语言模型评估打造更具包容性基准，又为硕士生提供专业培训，还突显了相关方法、管理及工作流程方面的挑战。

Journal ref Proceedings of the 3rd International Conference on New Trends in Translation and Interpreting Technology, June 24 - 27, 2026, Dubrovnik, Croatia

Uncertainty Quantification for AI-Driven Crash Simulation Surrogates: A Comparative Study of Monte Carlo Dropout and Deep Ensemble on Open-Source Bumper Beam Benchmark

人工智能驱动的碰撞模拟代理的不确定性量化：基于开源保险杠梁基准的蒙特卡洛随机失活和深度集成的比较研究

Sudeep Chavare

专题命中 Agent评测 ：workflow(abstract)；分类 cs.LG

AI总结 研究人工智能驱动碰撞模拟代理的不确定性量化，对蒙特卡洛随机失活和深度集成两种方法在开源管道上比较，用具体随机失活解决常见批评，经汽车碰撞模拟实验，揭示权衡，表明可低成本实现良好校准和无超参数的不确定性估计。

Market Strategy Evaluation for Prosumers in Local Electricity Markets

本地电力市场中 prosumer 的市场策略评估

Lukas Peter Wagner, Raoul Bisson, Felix Gehlhoff

机构 * Federal Ministry for Economic Affairs and Climate Action（经济事务和气候行动部） ； Projektträger Jülich GmbH（尤利奇项目载体） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究本地电力市场中 prosumer 的市场策略，开发基于代理的模拟平台，比较四种市场策略，通过模拟发现基于规则的资源控制可降社区能源支出，市场自适应策略收益最高，策略有效性取决于多种因素。

Calibrated Selective Fact-Checking via Evidence Chain Evaluation

通过证据链评估进行校准的选择性事实核查

Dekun Yang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对大语言模型事实核查的可靠性问题，提出证据链评估框架ECE，通过网络搜索等收集证据并返回结构化裁决。在ECE - Bench上有较好表现，虽总体校准指标未超最强基线，但实现了选择性预测权衡，弃权可处理弱证据。

Fundamental limits of distributed multiclass classification from simple binary decisions

基于简单二元决策的分布式多类分类的基本限制

Ioannis Papageorgiou, Srinivas Nomula, Ayalvadi Ganesh, Sidharth Jaggi, Parimal Parag

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 研究从\(O(\log K)\)个简单二元分类器组合构建\(K\)类分类器的问题，当二元分类器为超平面时，在高斯设置下得出性能界限，并通过模拟实验验证理论结果。

(Over)Reliance on Test Agents in AI-Assisted Software Testing

人工智能辅助软件测试中对测试代理的（过度）依赖

Eduard Paul Enoiu

专题命中 Agent评测 ：agent(abstract)；分类 cs.SE

AI总结 探讨人工智能辅助软件测试中对测试代理的过度依赖问题，通过软件测试作为认知问题解决等三个理论视角阐述，提出收集过度依赖数据的框架及识别模式，旨在支持加速测试且不削弱测试判断与证据价值。

Comments Accepted @ ORCAS'2026, co-located with SAFECOMP 2026

ProEvent: An Event-centric Benchmark for Proactive Agents

ProEvent：面向主动智能体的以事件为中心的基准测试

Guanzhen Li, Liangming Pan, Leye Wang

机构 * School of Computing, Peking University（北京大学计算机学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对主动智能体研究忽视事件中心协助及评估难的问题，引入ProEvent基准测试，基于即时通讯聊天评估智能体维护用户时间表能力，实验发现当前智能体存在过度反应和事件取消处理难等问题，揭示了大语言模型的根本局限。

EvolvingWorld: An Open-Schema Framework for Co-Evolving Role-Play Agents and World Model in Interactive Literary World

EvolvingWorld：用于交互式文学世界中角色与世界模型协同进化的开放架构框架

Qing Zong, Yue Guo, Mengxin Yang, Yiwen Guo, Yangqiu Song

机构 * Hong Kong University of Science and Technology（香港科技大学） ； LIGHTSPEED（光速） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 研究交互式文学世界中角色与世界协同进化问题，提出EvolvingWorld框架，含角色智能体和世界模型两个耦合模块，制定7个可训练任务，构建数据集并引入评估协议，实验证明其能有效改进长期模拟。

Privacy-Aware Synthetic Video Benchmarking and Relational Evaluation for Worker-Under-Suspended-Load Detection

用于悬吊负载下工人检测的隐私感知合成视频基准测试与关系评估

Anshu Singh, Alejandro Seif

机构 * Government Technology Agency of Singapore（新加坡政府科技局） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI

AI总结 研究悬吊负载下工人检测的隐私问题，引入SynthSite合成视频基准测试及隐私感知混合生成工作流程，在五种隐私条件下评估相关指标，发现保留结构的模糊处理效用更好，强调建筑安全分析隐私评估需兼顾外观抑制和几何线索保留。

Comments Accepted at the 3rd Workshop on Synthetic Data for Computer Vision (SynData4CV), CVPR 2026. OpenReview: https://openreview.net/forum?id=dMfhFmDWsg . Dataset and code: https://huggingface.co/datasets/govtech/SynthSite

Reinforcement Learning-Guided NSGA-II Enhanced with Gray Relational Coefficient for Multi-Objective Optimization: Application to NASDAQ Portfolio Optimization

基于灰色关联系数增强的强化学习引导的NSGA-II在多目标优化中的应用：以纳斯达克投资组合优化为例

Zhiyuan Wang, Qinxu Ding, Ding Ding, Siying Zhu, Jing Ren, Yue Wang, Chong Hui Tan

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 本文针对投资组合优化中的约束多目标优化问题，提出RL-NSGA-II-GRC方法，结合强化学习智能体与灰色关联系数，通过自适应控制参数及设计综合指标引导搜索，在基准测试和纳斯达克案例中提升收敛性，得到密集前沿及有效投资组合。

Journal ref Mathematics 14(2), 296 (2026)

Schema-Bound LLM Control of Scientific Instrumentation through Model Context Protocol Skills

通过模型上下文协议技能对科学仪器进行模式绑定的大语言模型控制

Roberto dos Reis, Vinayak P. Dravid

专题命中 Agent评测 ：agentic(abstract)；分类 cs.SE

AI总结 研究如何通过模型上下文协议将本地大语言模型与科学仪器相连，结合多种技术实现连接，开源服务器展示相关工具等，通过软件验证，为闭环智能仪器研究提供基础。

Comments 36 pages, 8 figures, 7 tables. Open-source reference implementation, physics-plausible simulator, and validation suite. Software-only validation; live-instrument validation is not reported

Perceived AGI: Believability as Dimensional Completeness, Not Capability

感知通用人工智能：可信度取决于维度完整性，而非能力

Sebastian Cochinescu

机构 * University of Bucharest（布加勒斯特大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究探讨大语言模型在对话中缺乏思维存在感的问题，提出可信度取决于维度完整性的假设，定义了时间、真相、熵和爱四个维度及相关行为立场，识别出行为层，还陈述了可证伪预测，为感知通用人工智能提供概念框架。

Comments 12 pages, 1 figure, 3 tables

IMBench: A Benchmark for Intuitive Robotic Manipulation

IMBench：直观机器人操作的基准测试

Anurag Maurya, Sukhvansh Jain, Prajwal Avhad, Gautham Balachandran, Ziyi Zhou, Atharva Kshirsagar, Satyam Singh, Bowen Li. Rishabh Mukund, Ritul Singh, Jatin Vira, Suvonil Chatterjee, Devesh K. Jha

专题命中 Agent评测 ：tool use(abstract)；分类 cs.AI

AI总结 IMBench旨在评估直观机器人操作这一综合能力，其任务含物理结构推断与动作序列生成。通过35个任务等进行实验，发现视觉语言模型和视觉 - 语言 - 动作模型的不足，为评估和发展物理智能提供基准。

Comments Accepted to SemRob Workshop, RSS 2026. Project Website: https://imbench.org/

Project Kaleidoscope: Contextual, Human-Aligned Evaluation for Real-World AI Applications

万花筒计划：面向现实世界人工智能应用的情境化、符合人类需求的评估

Leanne Tan, Rohan Jaggi, Shaun Khoo, Roy Ka-Wei Lee

机构 * GovTech（新加坡政府科技局） ； National University of Singapore（新加坡国立大学） ； University of British Columbia（英属哥伦比亚大学） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI

AI总结 该项目旨在解决现实世界AI应用评估瓶颈，提出万花筒计划，通过集成基于角色的测试生成、情境化评分标准和人工审查，实现可靠性门控自动评分，经试点和实验验证了其在端到端可靠自动评分方面的有用特征。

Lyapunov Exponent as Physics-Informed Dense Reward: RL Discovery of Stabilization Beyond the Kapitza Pendulum

李雅普诺夫指数作为物理信息密集奖励：强化学习发现超越卡皮察摆的稳定方法

Slava Andrejev

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 该研究针对强化学习中稳定垂直运动倒立摆的问题，提出将李雅普诺夫特征指数作为密集奖励信号，智能体借此成功找到卡皮察摆振荡运动并抑制摆动，让摆处于直立位置。

UESF-Bench: Benchmarking and Probing for Unified Embodied Seeking and Following

UESF-Bench：统一的具身寻找与跟随的基准测试与探究

Kun Yu, Jianhua Yang, Yixiang Chen, Changwei Wang, Hongyuan Yu, Yan Huang, Fushuo Huo, Ya Jing, Zhumin Chen, Keji He

机构 * Shandong University（山东大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Qilu University of Technology（齐鲁工业大学） ； Xiaomi Inc（小米公司） ； Beijing University Of Technology（北京工业大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究针对现有具身智能体语言引导人类跟随基准测试的局限，引入UESF-Bench基准，提出SeekFollow-VLA框架，可处理语义引导探索等任务，实验显示该框架在单人和多人环境中比基线有明显改进，为统一具身寻找与跟随建立基线。

HRIBench: Benchmarking Interaction-Centric Human-Robot Collaboration

HRIBench：以交互为中心的人机协作基准测试

Chang Liu, Jiawei Zhang, Tao Zhang, Ye Wang, Hongyu Zhou, Qin Jin

机构 * Renmin University of China（中国人民大学） ； Beijing Normal University（北京师范大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 研究针对当前VLA基准未充分考量人机交互结构的问题，引入HRIBench基准，它以结构化场景脚本定义协作任务与交互角色，含多项可解释指标。通过实验表明该基准能暴露机器人策略局限，提升协作性能，推动以交互为中心的机器人学习。

Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

对主观预期效用最大化的敏感性：一项方法学研究，并应用于大语言模型决策

Jeff Helzner

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究在标记结果稀缺等情况下评估不确定性决策的难题，通过含敏感性参数α的softmax选择模型得出相关可识别性结果，应用于大语言模型决策，检测到结构化比较α效应。

Comments 64 pages, 5 figures. Code and data archived at Zenodo: https://doi.org/10.5281/zenodo.21250951

Epistemic Stance Flexibility Probing: Measuring Prompt-Conditioned Register Shift in Large Language Models

认知立场灵活性探测：测量大语言模型中提示条件下的语域转换

Binwen Liu, Yilin Ren

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 研究大语言模型在不同归因提示下的认知立场灵活性，引入ESFP基准，涵盖多类别多模板项目，从四个维度评估模型响应，发现认知灵活性与模型能力正交，立场内容密度信号最强。

Skills That Don't Exist: A Large-Scale Study of Hallucinated Skill Recommendation in LLM Agents

不存在的技能：对大语言模型代理中幻觉技能推荐的大规模研究

Weifeng Yuan, Wenbo Guo, Feng Dong, Haoyu Wang, Yang Liu

专题命中 Agent评测 ：agent(abstract)；分类 cs.SE

AI总结 研究大语言模型代理中技能名称幻觉漏洞，通过大规模测量发现各配置均有此问题，系统生成众多幻觉名称且非随机，测试的模型级防御存在安全与可用性冲突，修复需全生态系统结构改变。

Rethinking the Evaluation of Harness Evolution for Agents

重新思考智能体的 harness 进化评估

Yike Wang, Huaisheng Zhu, Zhengyu Hu, Yige Yuan, Zhengyu Chen, Shakti Senthil, Hannaneh Hajishirzi, Yulia Tsvetkov, Pradeep Dasigi, Teng Xiao

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI

AI总结 研究重新审视大语言模型智能体的自动 harness 进化评估，通过在可比条件下与基线比较及在保留任务上测试，发现其不总优于简单方法且泛化有限，对其有效性提出质疑，强调需更公平评估协议和基准。

In-Context Reinforcement Learning under Non-Stationarity: A Survey

非平稳性下的上下文强化学习：一项综述

A Run, Ziluo Ding

机构 * Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该综述围绕非平稳性下的上下文强化学习展开，探讨预训练或微调决策模型在交互中推断规则改善行为的能力。将其定义为策略固定时通过上下文适应问题，关联多种相关技术，并从变化内容、展开方式及智能体可观察性三方面组织文献。

MAGIC: Transition-Aware Generation of Navigable Multi-Scene Game Worlds with Large Language Models

MAGIC：利用大语言模型生成具有可导航多场景的游戏世界并感知过渡

Tsz Hei Fan, Choi Wing Fung, Yuxuan Wan, Shuqing Li, Michael R. Lyu

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究利用大语言模型生成多场景游戏世界时面临的问题，提出MAGIC系统，通过四阶段管道将自然语言提示转化为可运行项目，解决跨场景一致性等问题，在新基准测试中表现出色，生成可执行项目且过渡识别指标优。

Vinci2: Providing Proactive Assistance in Continuous Egocentric Videos

Vinci2：在连续自我中心视频中提供主动协助

Gong Sitong, Tianyu Yan, Caixin Kang, Bo Zheng, Xiang Ruan, Huchuan Lu, Kaipeng Zhang, Yoichi Sato, Yifei Huang

机构 * Dalian University of Technology（大连理工大学） ； Alaya Lab（阿莱雅实验室） ； The University of Tokyo（东京大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究连续自我中心视频中智能助手的主动协助问题，提出Vinci2系统，包含EgoServe基准测试和EgoMemo智能体，通过依赖上下文决策及相关技术，在新基准测试上建立强大基线且在现有测试中具竞争力。

Comments Accepted by ECCV 2026

Are LLMs Ready for Scientific Discovery? A Capability-Oriented Benchmark for AI Scientists

大语言模型准备好进行科学发现了吗？面向能力的人工智能科学家基准测试

Chuhan Shi, Xiaoquan Ren, Sicheng Song, Haobo Li, Rui Sheng, Yushi Sun

专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI

AI总结 研究围绕科学发现评估大语言模型的能力，引入SDABench基准，涵盖多领域多能力的真实和合成数据实例，评估15个模型，发现其在描述性分析好但在特定任务下降，还提供错误分析框架定位失败之处。

Dimensionality in Satisfaction Ratings

满意度评级中的维度

Andrew Hong, Jason Potteiger

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 该研究用大语言模型注释消费品公司对话文本，分解客户服务满意度为多轴，验证注释与客户自评的关系，发现轴间相关性及共线性，指出分解价值在于归因和覆盖，能识别对话数据中细微的客户体验驱动因素。

Comments 25 pages, 7 figures, 6 tables

SETA: Scaling Environments for Terminal Agents

SETA：终端智能体的扩展环境

Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Ping Nie, Philip Torr, Bernard Ghanem, Changran Hu, Jonathan Lingjie Li, Urmish Thakker, Guohao Li

机构 * Imperial College London（帝国理工学院） ； University College London（伦敦大学学院） ； SambaNova（桑巴诺瓦公司） ； KAUST（阿卜杜拉国王科技大学） ； Stanford University（斯坦福大学） ； University of Oxford（牛津大学） ； University of Waterloo（滑铁卢大学） ； RadixArk（基数方舟公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究针对终端智能体训练扩展难的问题，提出SETA框架，含SETA - Synth和SETA - Evol两个管道及统一验证机制，构建了SETA - Env数据集。实验显示该数据集能为终端智能体提供优质训练环境，推动相关研究发展。

NetInjectBench: Benchmarking Indirect Prompt Injection in Tool-Using Large Language Model Agents for Network Operations

NetInjectBench：用于网络操作的工具使用大型语言模型代理中间接提示注入的基准测试

Ruksat Khan Shayoni, Muhammad Faraz Shoaib, S M Asif Hossain, M. F. Mridha

机构 * School of Computing, Wichita State University（威斯康星州立大学计算机学院） ； Department of Computer Science, American International University-Bangladesh（孟加拉国国际大学计算机科学系） 纠错

专题命中 Agent评测 ：tool use(abstract)；分类 cs.LG

AI总结 研究网络操作中工具使用大型语言模型代理的间接提示注入问题，提出NetInjectBench基准测试。通过多种方法评估，发现单纯执行不安全率高，不同方法可降低该率，元数据感知策略门效果好，表明网络操作代理需执行时授权边界。

VRExplorer: A Model-based Approach for Semi-Automated Testing of Virtual Reality Scenes

VRExplorer：一种基于模型的虚拟现实场景半自动测试方法

Zhengyang Zhu, Hong-Ning Dai, Hanyang Guo, Zeqin Liao, Zibin Zheng

专题命中 Agent评测 ：agent(abstract)；分类 cs.SE

AI总结 针对VR应用测试难题，提出基于模型的VRExplorer工具。设计EAT框架，结合路径查找算法和概率有限状态机实现场景探索与交互决策。实验显示其在覆盖率和效率上超现有方法，还成功检测出实际项目中的错误。

Comments Published in ASE 2025

Journal ref 2025 40th IEEE/ACM International Conference on Automated Software Engineering (ASE), pp. 482-494, 2025

SafeGuard: A Lightweight Client-Server Architecture for Real-Time Endpoint Threat Detection and Response

SafeGuard：一种用于实时端点威胁检测与响应的轻量级客户端-服务器架构

Gideon Francis Oghie, DivineDavid Shittu Abolanle

专题命中 Agent评测 ：agent(abstract)；分类 cs.SE

AI总结 针对小型和资源受限组织，提出SafeGuard轻量级客户端-服务器架构用于实时端点威胁检测与响应。通过基于签名比较检测威胁，利用多种安全技术保障通信安全，经测试验证其能提供实时端点可见性且无商业许可成本，虽有局限但贡献显著。

Comments 21 pages, 7 figures, 4 tables