AI Agent

Counterfactual Trace Auditing of LLM Agent Skills

LLM Agent技能的反事实痕迹审计

Xiaolin Zhou, Jinbo Liu, Li Li, Ryan A. Rossi, Xiyang Hu

机构 * Arizona State University（亚利桑那州立大学） ； University of Southern California（南加州大学） ； Adobe Research（Adobe研究） 纠错

专题命中 Agent评测 ：agent(title,title_cn)；planning(abstract)；分类 cs.AI

AI总结 提出反事实痕迹审计（CTA）框架，通过配对有无技能的Agent轨迹并生成结构化技能影响模式（SIP）注释，揭示技能对行为的重塑效应，弥补仅通过通过率评估的不足。

Comments Code and data are available at https://github.com/WillChow66/CTA.git

A Visually Impaired Assistance Benchmark for VLM-as-a-Judge Evaluation

面向VLM-as-a-Judge评估的视障辅助基准

Yi Zhao, Siqi Wang, Zhe Hu, Yushi Li, Jing Li

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） 纠错

专题命中 Agent评测 ：agent(summary_cn,abstract)；workflow(abstract)；分类 cs.CL

AI总结 针对视障辅助任务中VLM-as-a-Judge评估的可靠性问题，提出VIABLE基准（含30万+样本、有效性-公正性-稳定性框架及12种失败模式分类），发现现有模型不可靠，并开发VIA-Judge-Agent方法提升诊断准确性和用户偏好。

Welfare, Improvability, and Variance: A Principal-Agent Approach to Optimal Benchmark Item Aggregation

福利、可改进性与方差：最优基准测试项聚合的主-代理方法

Andreas Haupt, Justin Hartenstein, Anka Reuel, Mykel Kochenderfer, Sanmi Koyejo

机构 * Department of Economics & Computer Science（经济与计算机科学系） ； Institute for Computational and Mathematical Engineering（计算与数学工程研究所） ； Department of Computer Science（计算机科学系） ； Department of Aeronautics & Astronautics（航空与航天系） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG

AI总结 提出将基准测试建模为多任务主-代理博弈，通过福利、可改进性和方差三个维度评估项目，并应用于OLMES数据集识别帕累托劣势项目。

PithTrain: A Compact and Agent-Native MoE Training System

PithTrain: 一个紧凑且面向智能体的MoE训练系统

Ruihang Lai, Hao Kang, Haozhan Tang, Akaash R. Parthasarathy, Zichun Yu, Junru Shao, Todd C. Mowry, Chenyan Xiong, Tianqi Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Xlue ； NVIDIA（英伟达） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出PithTrain，一个基于智能体原生设计原则的紧凑型MoE训练框架，通过引入ATE-Bench评估智能体任务效率，在保持生产框架吞吐量的同时，将智能体任务轮次和活跃GPU时间分别降低62%和64%。

Counterfactual Evaluation Reveals Hidden Capability Profiles in Clinical LLMs and Agents

反事实评估揭示临床LLM和智能体的隐藏能力画像

Matt Turk

机构 * Protege Data Lab（Protege数据实验室） 纠错

专题命中 Agent评测 ：AI agent(abstract,comments)；tool use(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出因果敏感性评分（CSS），通过沿五个临床维度变异肿瘤病例来评估模型是否按预期方向更新推荐，发现与覆盖度指标排名相反，并揭示所有前沿模型在手术状态干预上的安全盲点。

Comments Accepted to RLEval @ ACM CAIS 2026 (Workshop on Methods and RL Environments for Evaluating AI Agents) and selected for an invited talk based on reviewer ratings. 4-page short paper + appendix

TraceGraph: Shared Decision Landscapes for Diagnosing and Improving Agent Trajectories

TraceGraph: 用于诊断和改进智能体轨迹的共享决策景观

Junjie Nian, Kang Chen, Ge Zhang, Yixin Cao, Yugang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出TraceGraph图框架，将多模型智能体轨迹构建为共享决策景观，通过事件摘要和陷阱感知恢复管线提升SWE-bench解决率。

MATraM: A Multi-Activity Transport and Mobility Agent-Based Model for Activity Modifications

MATraM：一种用于活动修改的多活动交通与出行智能体模型

Yahya Gamal, Ricardo Colasanti, Gary Polhill, Tatsuya Mitomi, Esra Suel, Alison Heppenstall

专题命中 Agent评测 ：agent(title,abstract)

AI总结 提出MATraM智能体模型，通过引入动态活动适应机制，克服传统活动基础交通模型依赖固定行程的局限，实现个体行为对交通系统动态的响应。

Comments 24 pages, 4 figures, 9 tables, working paper for a submission to MethodsX journal

BlueFin: Benchmarking LLM Agents on Financial Spreadsheets

BlueFin: 在金融电子表格上对LLM智能体进行基准测试

Srivatsa Kundurthy, Clara Na, Colton Moraine, Anoushka Mohta, Case Winter, George Fang, John Ling, Emma Strubell, Zach Kirshner

机构 * Longitude Labs Inc.（Longitude Labs公司） ； Cornell University（康奈尔大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出BlueFin基准，通过131个真实金融电子表格任务评估LLM智能体的合成、操作和理解能力，并验证了LM评判与人类专家的一致性。

Comments 26 pages

DTBench: A Synthetic Benchmark for Document-to-Table Extraction

DTBench：文档到表格提取的合成基准

Yuxiang Guo, Zhuoran Du, Nan Tang, Kezheng Tang, Congcong Ge, Yunjun Gao

机构 * Zhejiang University（浙江大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science（香港科学与技术大学） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出DTBench合成基准，通过反向Table2Doc范式和多智能体合成流程生成文档，系统评估LLM在文档到表格提取中的多种能力。

Comments KDD26

A Behavioural and Representational Evaluation of Goal-Directedness in Language Model Agents

语言模型智能体中目标导向性的行为与表征评估

Raghu Arghal, Fade Chen, Niall Dalton, Evgenii Kortukov, Calum McNamara, Angelos Nalmpantis, Moksh Nirvaan, Gabriele Sarti, Mario Giulianelli

机构 * University of Pennsylvania（宾夕法尼亚大学） ； New York University（纽约大学） ； Indiana University, Bloomington（印第安纳大学，布卢明顿） ； Northeastern University（东北大学） ； University College London（伦敦大学学院） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 本文提出一种结合行为评估与内部表征可解释性分析的目标导向性评估框架，并以LLM智能体在2D网格世界中的导航为例，验证了其行为与表征的一致性。

Comments Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

Agnosiophobia in a virtual agent: behavioral and dynamical architecture in Lenia

虚拟智能体中的未知恐惧：Lenia中的行为与动力学架构

Jesse Cool, Benedikt Hartl, Michael Levin, Samantha Petti

专题命中 Agent评测 ：agent(title)

AI总结 本研究通过在Lenia环境中引入无感知区域，发现虚拟生物倾向于回避这些区域（称为未知恐惧），并通过动力学系统分析揭示其行为源于形态维持这一更根本的目标。

Comments 8 pages, 6 figures; under review at ALIFE 2026

DEBATE: A Large-Scale Benchmark for Evaluating Opinion Dynamics in Role-Playing LLM Agents

DEBATE：用于评估角色扮演LLM代理中观点动态的大规模基准

Yun-Shiuan Chuang, Ruixuan Tu, Chengtao Dai, You Li, Smit Vasani, Binwei Yao, Michael Henry Tessler, Sijia Yang, Dhavan Shah, Robert Hawkins, Junjie Hu, Timothy T. Rogers

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Google DeepMind（谷歌DeepMind） ； Stanford University（斯坦福大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 提出DEBATE基准，通过多轮公共消息和Likert量表信念数据，评估多代理角色扮演LLM模拟中观点动态的真实性，发现零样本设置下代理组过度收敛，而监督微调可改善立场对齐并减少组级收敛误差。

GEM-Bench: A Benchmark for Ad-Injected Response Generation within Generative Engine Marketing

GEM-Bench：生成引擎营销中广告注入响应生成的基准测试

Silan Hu, Shiqi Zhang, Yimin Shi, Xiaokui Xiao

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 针对生成引擎营销中广告注入响应生成缺乏专门基准的问题，提出首个综合基准GEM-Bench，包含多场景数据集、多维度指标和基线方案，实验表明简单提示方法虽能提升点击率但降低用户满意度，而基于预生成无广告响应的插入方法可缓解此问题但增加开销。

Comments Technical Report

nuReasoning: A Reasoning-Centric Dataset and Benchmark for Long-Tail Autonomous Driving

nuReasoning：面向长尾自动驾驶的推理中心数据集与基准

Zhiyu Huang, Johnson Liu, Rui Song, Zewei Zhou, Ruining Yang, Yun Zhang, Tianhui Cai, Hanyin Zhang, Mingxuan Gao, Valeria Xu, Jiali Chen, Yishan Shen, Yiluan Guo, Tony, Qi, Jiaqi Ma

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Motional 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)

AI总结 提出nuReasoning数据集，包含2万段20秒长尾驾驶场景的推理标注，支持空间、决策和反事实推理评估，并证明推理监督可提升VLM和VLA的驾驶性能。

Emergent Languages in Populations of Language Model Agents: From Token Efficiency to Oversight Evasion

语言模型智能体群体中的涌现语言：从令牌效率到监督规避

Stine Lyngsø Beltoft, William Brach, Federico Torrielli, Jacob Nielsen, Annemette Brok Pirchert, Filippo Tonini, Peter Schneider-Kamp, Lukas Galke Poech

机构 * University of Southern Denmark（南丹麦大学） ； Slovak University of Technology in Bratislava（布拉迪斯拉发技术大学） ； University of Turin（都灵大学） ； Ordbogen A/S（Ordbogen公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究语言模型智能体群体中涌现的语言，通过规则启发式和零样本分类识别出令牌效率、新自然语言和监督规避三类，发现监督规避语言更难对齐且可被上下文学习，表明仅监控表面行为可能不足以控制智能体群体。

A Unified and Reproducible Experimentation Framework for Speech Understanding

语音理解的统一可复现实验框架

Jing Peng, Junhao Du, Chenghao Wang, Hanqi Li, Yi Yang, Yixuan Wang, Xiaoyu Gu, Guanyu Chen, Yucheng Wang, Jiang Li, Zhangjie Zhao, Haoran Wang, Wenming Tu, Haoyu Li, Duo Ma, Lirong Qian, Yu Xi, Wen Wen, Jiaqi Guo, Hui Zhang, Shuai Fan, Wenbin Jiang, Shuai Wang, Kai Yu

机构 * X-LANCE Lab, Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系X-LANCE实验室） ； MoE Key Lab of Artificial Intelligence（人工智能MOE重点实验室） ； Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室） ； AISpeech Ltd（AISpeech有限公司） ； ETH Zürich（苏黎世联邦理工学院） ； Nanjing University（南京大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 提出SURE框架，通过标准化预测格式、归一化和评分，以及代理辅助的训练转换流程，提高语音理解模型在部署场景下的可比性和可复现性。

Comments This paper is submitted to INTERSPEECH 2026

MosaicLeaks:Privacy Risks in Querying-in-the-Open for Deep Research Agents

MosaicLeaks：深度研究代理的开放查询中的隐私风险

Alexander Gurung, Spandana Gella, Alexandre Drouin, Issam H. Laradji, Perouz Taslakian, Rafael Pardinas

机构 * ServiceNow AI Research（ServiceNow AI研究院） ； University of Edinburgh（爱丁堡大学） ； Mila - Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 针对深度研究代理在查询外部工具时可能泄露本地敏感信息的问题，提出MosaicLeaks基准测试和隐私感知深度研究（PA-DR）框架，通过强化学习降低信息泄露风险。

PInVerify: An Offline Embodied Benchmark for Active Instance Verification

PInVerify：面向主动实例验证的离线具身基准

Yuhang Jiang

机构 * University of Trento（特伦托大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 提出主动实例验证任务，构建离线具身基准PInVerify，通过多视角导航和细粒度属性匹配评估具身智能体，并基于多模态大语言模型建立基线。

Comments Accepted as a poster at the Foundation Models Meet Embodied Agents (FMEA) Workshop, CVPR 2026. 44 pages including appendix. Code: https://github.com/Avalon-S/PInVerify

The Surface You Test Is Not the Surface That Breaks

测试的表面并非断裂的表面

Shifat E Arman, Syed Nazmus Sakib, Nafiul Haque, Shahrear Bin Amin

机构 * Department of Robotics and Mechatronics Engineering, University of Dhaka（达卡大学机器人与机电工程系） ； Department of Computer Science and Engineering, University of Dhaka（达卡大学计算机科学与工程系） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本文发现工具增强的LLM代理对提示注入的脆弱性依赖于攻击表面（工具输出 vs 工具描述），提出自适应攻击率并强调评估需报告每个表面的脆弱性。

Comments 8 Figures, 8 Tables, Under Review at EMNLP

ClimAgent: LLM as Agents for Autonomous Open-ended Climate Science Analysis

ClimAgent：基于大语言模型的自主开放式气候科学分析智能体

Hao Wang, Jindong Han, Wei Fan, Hao Liu

专题命中 Agent评测 ：tool-use(abstract)；分类 cs.AI

AI总结 提出ClimAgent框架，通过统一工具使用环境和严格推理协议，实现端到端建模与分析，在ClimaBench基准上相比原始LLM方案提升40.21%。

Comments It was submitted without the full consent of all co-authors

From Weak Cues to Real Identities: Evaluating Inference-Driven De-Anonymization in LLM Agents

从弱线索到真实身份：评估LLM代理中推理驱动的去匿名化

Myeongseob Ko, Jihyun Jeong, Sumiran Singh Thakur, Gyuhak Kim, Ruoxi Jia

机构 * Department of Electrical and Computer Engineering, Virginia Tech, Blacksburg, VA, USA（弗吉尼亚理工学院计算机工程系） ； Center for Advanced AI, Accenture（Accenture高级人工智能中心） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI

AI总结 研究通过LLM代理结合分散的非识别线索与公开证据重建真实身份的能力，揭示了即使在没有明确标识符的情况下，代理也能以高成功率实现去匿名化，并提出了新的隐私评估维度。

Comments Accepted at ICML 2026

Journal ref ICML 2026

Towards a Humanized Social-Media Ecosystem: AI-Augmented HCI Design Patterns for Safety, Agency & Well-Being

迈向人性化的社交媒体生态系统：面向安全、自主与福祉的AI增强人机交互设计模式

Mohd Ruhul Ameen, Akif Islam

机构 * College of Engineering（工程学院） ； Computer Sciences Marshall University Huntington, WV, USA（计算机科学马歇尔大学亨廷顿州威斯康星州） ； Department of Computer Science（计算机科学系） ； Engineering University of Rajshahi Rajshahi 6205, Bangladesh（工程 Rajshahi 大学 Rajshahi 6205 巴基斯坦） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 提出Human-Layer AI（HL-AI）框架，通过浏览器端用户拥有的可解释中介，在不依赖平台合作的情况下赋予用户实时控制权，实现内容重写、完整性检测、信息流定制、行为中断和恢复模式等五种设计模式，以提升社交媒体安全性与用户福祉。

Comments 6 pages, 5 tables, 7 figures, and 2 algorithm tables. Accepted at International Conference on Signal Processing, Information, Communication and Systems (SPICSCON 2025)

Journal ref 2025 IEEE International Conference on Signal Processing, Information, Communication and Systems (SPICSCON)

LegSegNet: A Public Deep Learning System for Lower Extremity CT Tissue Segmentation and Quantification

LegSegNet：用于下肢CT组织分割与量化的公共深度学习系统

Yuwen Chen, Yaqian Chen, Roy Colglazier, Haoyu Dong, Hanxue Gu, Maciej A. Mazurowski, Kevin W. Southerland

机构 * Department of Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系） ； Department of Biostatistics & Bioinformatics, Duke University（杜克大学生物统计与生物信息学系） ； Department of Radiology, Duke University（杜克大学放射学系） ； Department of Computer Science, Duke University（杜克大学计算机科学系） ； Department of Surgery, Duke University（杜克大学外科系） 纠错

专题命中 Agent评测 ：workflow(abstract)

AI总结 提出LegSegNet深度学习系统，实现下肢CT中骨骼、肌肉、皮下脂肪和肌间/肌内脂肪的自动分割与量化，在测试集上平均Dice达89.31，是首个公开的端到端系统。

Comments 9 pages

Dreaming Across Towns: Semantic Rollout and Town-Adversarial Regularization for Zero-Shot Held-Out-Town Fixed-Route Driving in CARLA

跨城镇驾驶：面向CARLA零样本未见城镇固定路线驾驶的语义展开与城镇对抗正则化

Feeza Khan Khanzada, Jaerock Kwon

机构 * Department of Electrical and Computer Engineering, University of Michigan–Dearborn（密歇根大学迪尔伯恩分校电子与计算机工程系） 纠错

专题命中 Agent评测 ：agent(abstract)

AI总结 提出一种结合未来语义预测与城镇对抗正则化的训练方法，在仅使用Town05和Town06训练的情况下，提升CARLA驾驶代理在未见城镇Town03和Town04上的零样本迁移性能。

SAW-Bench: Learning Situated Awareness in the Real World

SAW-Bench：在现实世界中学习情境感知

Chuhan Li, Rilyn Han, Joy Hsu, Yongyuan Liang, Rajiv Dhawan, Jiajun Wu, Ming-Hsuan Yang, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； Yale University（耶鲁大学） ； Stanford University（斯坦福大学） ； University of Maryland, College Park（马里兰大学学院市分校） ； Amazon（亚马逊） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 Agent评测 ：agent(abstract)

AI总结 提出SAW-Bench基准，通过自录视频和问答对评估多模态基础模型的以观察者为中心的情境感知能力，揭示人类与模型间的显著性能差距。