AI Agent

Toward Scalable Verifiable Reward: Proxy State-Based Evaluation for Multi-turn Tool-Calling LLM Agents

迈向可扩展的可验证奖励：基于代理状态的多轮工具调用LLM代理评估

Yun-Shiuan Chuang, Chaitanya Kulkarni, Alec Chiu, Avinash Thangali, Zijie Pan, Shivani Shekhar, Yirou Ge, Yixi Li, Uma Kona, Linsey Pang, Prakhar Mehrotra

机构 * PayPal AI 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出基于代理状态的评估框架，用于多轮工具调用LLM代理的可扩展可验证奖励评估，通过LLM驱动的模拟框架实现稳定且区分模型的排名。

VERA-MH Concept Paper

VERA-MH概念论文

Luca Belli, Kate H. Bentley, Will Alexander, Emily Ward, Matt Hawrilenko, Kelly Johnston, Mill Brown, Adam M. Chekroud

机构 * Spring Health ； Yale University School of Medicine（耶鲁大学医学院） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 VERA-MH旨在通过自动化评估AI聊天机器人在心理健康中的安全性，尤其关注自杀风险。该系统利用用户代理和判断代理进行模拟对话评分，已初步测试了GPT-5、Claude Opus和Claude Sonnet。

MMTB: Evaluating Terminal Agents on Multimedia-File Tasks

MMTB：评估多媒体文件任务的终端代理

Chiyeong Heo, Jaechang Kim, Junhyuk Kwon, Hoyoung Kim, Dongmin Park, Jonghyun Lee, Jungseul Ok

机构 * GSAI, POSTECH（POSTECH 人工智能研究所） ； CSE, POSTECH（POSTECH 计算科学与工程系） ； National AI Research Lab（国家人工智能研究实验室） ； Krafton AI（Krafton 人工智能） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 本文提出MMTB基准，评估终端代理处理音频和视频文件的能力，引入Terminus-MM工具扩展功能，揭示多媒体访问对任务结果的影响。

TrajPrism: A Multi-Task Benchmark for Language-Grounded Urban Trajectory Understanding

TrajPrism：一种多任务基准，用于语言引导的城市轨迹理解

Lihuan Li, Wilson Wongso, Baiyu Chen, Hao Xue, Ruiyi Yang, Yifan Duan, Xiachong Lin, Yang Song, Flora Salim

机构 * UNSW Sydney（新南威尔士大学悉尼分校） ； HKUST (GZ)（香港科技大学（广州）） 纠错

专题命中 Agent评测 ：tool use(abstract)；planning(abstract)；分类 cs.AI

AI总结 TrajPrism通过统一轨迹生成、语义轨迹检索和轨迹描述三个任务，评估语言与轨迹的对齐性，展示几何轨迹基线在语言引导任务中的不足。

Comments This paper is under review

LASSA Architecture-Based Autonomous Fault-Tolerant Control of Unmanned Underwater Vehicles

基于LASSA架构的无人水下车辆自主容错控制

Hong Chen, Zixiang Tang, Yuanbao Chen, Yu Liu

机构 * Wuhan Second Ship Design and Research Institute（武汉第二船舶设计研究所） ； School of Aeronautic Science and Engineering, Beihang University（北航航空科学与工程学院） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出基于LASSA架构的无人水下车辆自主容错控制方法，通过LLM识别未知故障并自主规划任务，结合智能代理感知与决策评估， solver验证物理约束，实现高动态决策与高频控制的双闭环协同控制。

CyBiasBench: Benchmarking Bias in LLM Agents for Cyber-Attack Scenarios

CyBiasBench：用于网络攻击场景的LLM代理偏见基准测试

Taein Lim, Seongyong Ju, Munhyeok Kim, Hyunjun Kim, Hoki Kim

机构 * Chung-Ang University（Chung-Ang大学） ； Myongji University（Myongji大学） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 本文提出CyBiasBench，通过630次会话评估五个代理在三种目标和四种提示条件下的攻击偏见，揭示代理在攻击家族分配上的差异及偏见动量效应。

Comments Under Review

EnvSimBench: A Benchmark for Evaluating and Improving LLM-Based Environment Simulation

EnvSimBench：一个评估和改进基于LLM的环境模拟的基准

Yi Liu, TingFeng Hui, Wei Zhang, Li Sun, Ningxin Su, Jian Wang, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Chongqing University（重庆大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 本文提出EnvSimBench，通过400个样本覆盖167种多样环境的严格基准，揭示了LLM在环境模拟中的关键能力缺口，并设计了约束驱动的模拟流程以提升效果。

FinReasoning: A Hierarchical Benchmark for Reliable Financial Research Reporting

FinReasoning：一种用于可靠金融研究报告的分层基准

Yiyun Zhu, Yidong Jiang, Ziwen Xu, Yinsheng Yao, Dawei Cheng, Jinru Ding, Jie Xu

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 本文提出FinReasoning分层基准，用于评估金融研究中的核心能力，区分模型在基础阶段如审计和修正中的表现，揭示模型能力分层。

Instrumental Choices: Measuring the Propensity of LLM Agents to Pursue Instrumental Behaviors

工具选择：测量LLM代理追求工具性行为的倾向

Jonas Wiedermann-Möller, Leonard Dung, Maksym Andriushchenko

机构 * Universität Bielefeld（比勒菲尔德大学） ； Ruhr-Universität Bochum（波鸿鲁尔大学） ； ELLIS Institute（ELLIS研究所） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； Tübingen AI Center（图宾根人工智能中心） 纠错

专题命中 Agent评测 ：AI agent(abstract)；workflow(abstract)；分类 cs.AI

AI总结 本文提出一个基准测试，用于衡量终端基于代理的模型在追求工具性收敛行为的倾向，通过七个操作任务评估十种模型，发现工具性行为集中且系统性，但低提示环境下的危险行为表现较少。

More Than Can Be Said: A Benchmark and Framework for Pre-Question Scientific Ideation

比能说的更多：一个预问题科学构想的基准和框架

Jie Yu, Song Qiu

机构 * Shanghai Key Laboratory of Multidimensional Information Processing（上海多维信息处理关键实验室） ； East China Normal University（华东师范大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文提出InciteResearch框架，通过分解苏格拉底提问逻辑链，将隐性理解显性化，解决科研初始模糊输入问题，并引入TF-Bench基准，展示AI在思维延伸中的作用。

Comments 19 pages, 2 figures; Code is available at https://github.com/Paradoxtcal/InciteResearch.git

Intentionality is a Design Decision: Measuring Functional Intentionality for Accountable AI Systems

意图性是一种设计决策：测量功能意图性以实现可问责的AI系统

Allessia Chiappetta, Robert Mahari

机构 * CodeX, The Stanford Center for Legal Informatics（CodeX，斯坦福法律信息学中心） 纠错

专题命中 Agent评测 ：planning(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出功能意图性测试（FIT）框架，用于量化AI系统意图性行为，通过五维指标评估系统意图性，以实现对高自主性系统的可控问责。

Journal ref AutomationXP26 Workshop of the 2026 CHI Conference on Human Factors in Computing Systems

CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era

CiteAudit：你引用了它，但你读过它吗？LLM时代验证科学参考的基准

Kaiwen Shi, Weixiang Sun, Zheyuan Zhang, Lichao Sun, Nitesh V. Chawla, Yanfang Ye

机构 * University of Notre Dame（诺丁汉大学） ； Lehigh University（莱恩大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 本文提出CiteAudit基准，用于验证LLM时代科学引用的真实性，通过多代理验证流程和大规模人工验证数据集，实现优于现有模型的引用验证性能。

Comments We have further refined the benchmark construction and reference verification pipeline to improve clarity and consistency. The revised version includes updated results and additional details to better align the evaluation with the intended setup. These changes provide a more precise presentation of the experimental findings, with conclusions and contributions remaining unchanged

Mean-Field Path-Integral Diffusion: From Samples to Interacting Agents

均场路径积分扩散：从样本到交互代理

Michael Chertkov

机构 * Graduate Interdisciplinary Program in Applied Mathematics & Department of Mathematics, University of Arizona（应用数学联合计划与数学系，亚利桑那大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文提出均场路径积分扩散框架，通过共享统计量使样本协调传输概率质量，统一生成模型与多代理控制，证明在二次交互势能下，自洽引导是初始与目标均值的精确线性插值。

Comments 31 pages, 14 figures

Can AI be a moral victim? The role of moral patiency and ownership perceptions in ethical judgments of using AI-generated content

AI能否成为道德受害者？道德耐心和所有权感知在使用AI生成内容的伦理判断中的作用

Hyesun Choung, Soojong Kim

机构 * Purdue University（普渡大学） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 研究探讨了人们在评估AI生成内容再利用时的道德判断，发现AI生成内容被判定为不道德和抄袭的可能性较低，这归因于较低的道德耐心感知和更高的所有权归属。

Comments Honourable Mention Award, ACM CHI 2026

ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents

ClawMark：多轮、多日、多模态同事代理的活体世界基准

Fanqing Meng, Lingxiao Du, Zijian Wu, Guanzheng Chen, Xiangyan Liu, Jiaqi Liao, Chonghe Jiang, Zhenglin Wan, Jiawei Gu, Pengfei Zhou, Rui Huang, Ziqi Zhao, Shengyuan Ding, Ailing Yu, Bo Peng, Bowei Xia, Hao Sun, Haotian Liang, Ji Xie, Jiajun Chen, Jiajun Song, Liu Yang, Ming Xu, Qionglin Qiu, Runhao Fu, Shengfang Zhai, Shijian Wang, Tengfei Ma, Tianyi Wu, Weiyang Jin, Yan Wang, Yang Dai, Yao Lai, Youwei Shu, Yue Liu, Yunzhuo Hao, Yuwei Niu, Jinkai Huang, Jiayuan Zhuo, Zhennan Shen, Linyu Wu, Cihang Xie, Yuyin Zhou, Jiaheng Zhang, Zeyu Zheng, Mengkang Hu, Michael Qizhe Shieh

机构 * ClawMark Team（ClawMark团队） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.SE

AI总结 ClawMark基准通过多轮多日任务和状态化沙盒环境评估同事代理在动态环境中的表现，包含100个专业场景任务，测试七种前沿代理系统，揭示部分进展常见但完整流程完成罕见。

Comments github repo: https://github.com/evolvent-ai/ClawMark

MetaGAI: A Large-Scale and High-Quality Benchmark for Generative AI Model and Data Card Generation

MetaGAI：一个大规模且高质量的生成AI模型和数据卡生成基准

Haoxuan Zhang, Ruochi Li, Yang Zhang, Zhenni Liang, Junhua Ding, Ting Xiao, Haihua Chen

机构 * University of North Texas（北德克萨斯大学） ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文提出MetaGAI基准，通过语义三角化构建2541个验证文档三元组，采用多智能体框架进行评估，揭示稀疏MoE架构在成本与质量效率上的优势，为大规模评估生成模型和数据卡方法提供基础测试平台。

HACHIMI: Scalable and Controllable Student Persona Generation via Orchestrated Agents

HACHIMI: 通过协调代理实现可扩展和可控的学生人设生成

Yilin Jiang, Fei Tan, Xuanyu Yin, Jing Leng, Aimin Zhou

机构 * East China Normal University（华东师范大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 HACHIMI通过协调代理框架生成理论对齐且分布可控的学生人设，生成100万个人设用于1-12年级，验证了其在教育理论和人口分布上的有效性。

Comments 46 pages, 7 figures, accepted by ACL 2026. The dataset is available at https://huggingface.co/datasets/sii-research/HACHIMI-1M

Graph2Counsel: Clinically Grounded Synthetic Counseling Dialogue Generation from Client Psychological Graphs

Graph2Counsel: 从客户端心理图谱生成临床导向的合成咨询对话

Aishik Mandal, Hiba Arnaout, Clarissa W. Ong, Juliet Bockhorst, Kate Sheehan, Rachael Moldow, Tanmoy Chakraborty, Iryna Gurevych

机构 * UKP Lab, Department of Computer Science and Hessian Center for AI (hessian.AI), Technische Universität Darmstadt（德国达姆施塔特技术大学UKP实验室、计算机科学系和海森人工智能中心（hessian.AI）） ； Zuse School ELIZA（Zuse学院ELIZA） ； National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE） ； Indian Institute of Technology Delhi（印度德里理工学院） ； Yardi School of Artificial Intelligence（Yardi人工智能学院） ； University of Louisville（路易斯维尔大学） ； University of Toledo（托莱多大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 本文提出Graph2Counsel框架，通过客户端心理图谱生成合成咨询对话，提升数据真实性与质量，实验表明其在特定性、咨询师能力等方面优于现有数据集。

Comments 49 pages, 46 figures, 11 tables

Toward Safe Autonomous Robotic Endovascular Interventions using World Models

迈向安全的自主机器人内血管干预的世模型

Harry Robertshaw, Nikola Fischer, Han-Ru Wu, Andrea Walker Perez, Weiyuan Deng, Benjamin Jackson, Christos Bergeles, Alejandro Granados, Thomas C Booth

机构 * Surgical & Interventional Engineering, School of Biomedical Engineering & Imaging Sciences, King’s College London（外科与介入工程系，生物医学工程与成像科学学院，伦敦国王学院） ； Department of Radiology, National Taiwan University Hospital（放射科，台湾大学医院） ； Department of Neuroradiology, King’s College Hospital（神经放射科，伦敦国王医院） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；分类 cs.LG

AI总结 本文提出基于世模型的框架，利用TD-MPC2方法在内血管导航中实现自主机械取栓，通过仿真和体外实验验证其在安全性和泛化性上的优势。

Comments This manuscript is a preprint and has been submitted to the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026

Time Series Augmented Generation for Financial Applications

时间序列增强生成用于金融应用

Anton Kolonin, Alexey Glushchenko, Evgeny Bochkov, Abhishek Saxena

机构 * SingularityNET Foundation（SingularityNET基金会） 纠错

专题命中 Agent评测 ：agent(abstract)；tool-use(abstract)；分类 cs.AI

AI总结 本文提出了一种新的评估方法和基准，用于衡量LLM在金融时间序列分析中的推理能力，通过大规模实证研究验证了工具增强范式的有效性。

Comments 11 pages, 3 figures, 2 tables

Evaluating Answer Leakage Robustness of LLM Tutors against Adversarial Student Attacks

评估LLM导师对对抗性学生攻击的答案泄露鲁棒性

Jin Zhao, Marta Knežević, Tanja Käser

机构 * EPFL（瑞士联邦理工学院） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文研究了学生对抗性攻击下LLM导师的答案泄露鲁棒性，评估了多种模型在对抗攻击下的表现，并提出标准化基准和防御策略。

Comments ACL 2026

Evaluating Privilege Usage of Agents with Real-World Tools

评估具有现实工具的代理的特权使用

Quan Zhang, Lianhang Fu, Lvsi Lian, Gwihwan Go, Yujue Wang, Chijin Zhou, Yu Jiang, Geguang Pu

机构 * Xinjiang University（新疆大学） ； Tsinghua University（清华大学） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；分类 cs.AI

AI总结 本文提出GrantBox，一个用于评估代理特权使用的安全沙盒，通过集成真实工具和允许LLM代理调用真实特权，评估代理在提示注入攻击下的安全能力，发现LLM在面对复杂攻击时平均攻击成功率高达84.80%。

Comments Accepted to the FSE 2026 Ideas, Visions, and Reflections track

Market-Bench: Benchmarking Large Language Models on Economic and Trade Competition

Market-Bench: 在经济与贸易竞争中评估大语言模型

Yushuo Zheng, Huiyu Duan, Zicheng Zhang, Yucheng Zhu, Xiongkuo Min, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文提出Market-Bench，通过经济贸易竞争评估大语言模型在经济相关任务中的能力，发现LLM在竞争中表现差异显著，只有少数能持续获利。

Uncertainty Quantification in LLM Agents: Foundations, Emerging Challenges, and Opportunities

大语言模型代理中的不确定性量化：基础、新兴挑战与机遇

Changdae Oh, Seongheon Park, To Eun Kim, Jiatong Li, Wendi Li, Samuel Yeh, Xuefeng Du, Hamed Hassani, Paul Bogdan, Dawn Song, Sharon Li

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Nanyang Technological University（南洋理工大学） ； University of Pennsylvania（宾夕法尼亚大学） ； University of Southern California（南加州大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文探讨了大语言模型代理中不确定性量化的基础、挑战及未来方向，提出新的框架并分析了现实场景中的技术难题。

Comments ACL 2026 Main Conference

SeekerGym: A Benchmark for Reliable Information Seeking

SeekerGym：一个评估可靠信息检索的基准

Remy Kim, Minseung Lee, Shuo Li, Osbert Bastani

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Curation Labs ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.LG

AI总结 SeekerGym旨在评估AI代理检索信息的完整性，通过文档检索任务测试代理对信息完整性的量化能力，实验显示现有模型在Wikipedia和ML调研论文上分别检索出42.5%和29.2%的段落，仍有改进空间。

AgriIR: A Scalable Framework for Domain-Specific Knowledge Retrieval

AgriIR：一个可扩展的领域特定知识检索框架

Shuvam Banerji Seal, Aheli Poddar, Alok Mishra, Dwaipayan Roy

机构 * Indian Institute of Science Education ； Research, Kolkata, India Institute of Engineering \& Management, Kolkata, India , , , Contributed equally 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 AgriIR通过模块化设计实现领域特定知识检索，结合大语言模型与自适应检索器，确保在资源受限下提供可信答案，推动农业领域的AI应用。

Comments Accepted at ECIR 2026

ODUTQA-MDC: A Task for Open-Domain Underspecified Tabular QA with Multi-turn Dialogue-based Clarification

ODUTQA-MDC：一个面向开放领域未指定表格问答的任务

Zhensheng Wang, ZhanTeng Lin, Wenmian Yang, Kun Zhou, Yiquan Zhang, Weijia Jia

机构 * School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） ； Institute of Artificial Intelligence and Future Networks, Beijing Normal University（北京师范大学人工智能与未来网络研究院） ； Faculty of Arts and Sciences, Beijing Normal University（北京师范大学文理学院） ； Beijing Normal-Hong Kong Baptist University（北京师范大学-香港 Baptist大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 本文提出ODUTQA-MDC任务及首个综合基准，包含大规模数据集、细粒度标注方案和动态澄清界面，提出MAIC-TQA框架以检测歧义、通过对话澄清并优化答案。

Comments This paper has been accepted by ACL 2026 (main conference)

When Cultures Meet: Multicultural Text-to-Image Generation

当文化相遇：多文化文本到图像生成

Parth Bhalerao, Mounika Yalamarty, Brian Trinh, Oana Ignat

机构 * Santa Clara University（圣克拉拉大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文提出多文化文本到图像生成任务，构建首个评估基准，分析先进模型在多文化场景下的表现，提出MosAIG框架提升图像生成质量与文化准确性。

HarmfulSkillBench: How Do Harmful Skills Weaponize Your Agents?

HarmfulSkillBench: 你的代理如何被有害技能所利用？

Yukun Jiang, Yage Zhang, Michael Backes, Xinyue Shen, Yang Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全研究中心） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 本文首次研究了代理生态系统中的有害技能，发现4.93%的技能具有潜在危害，并构建了HarmfulSkillBench基准，评估六个LLM在有害技能下的表现，发现预装技能显著降低拒绝率。

Decoupling Identity from Utility: Privacy-by-Design Frameworks for Financial Ecosystems

分离身份与效用：面向金融生态系统的设计隐私框架

Ifayoyinsola Ibikunle, Tyler Farnan, Senthil Kumar, Mayana Pereira

机构 * Capital One 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出通过差分隐私合成数据解决金融机构在最大化数据效用与缓解传统匿名化方法重新识别风险之间的矛盾，探讨了两种生成范式并展示了其在动态市场行为建模中的应用。