AI Agent

AgentDS Technical Report: Benchmarking the Future of Human-AI Collaboration in Domain-Specific Data Science

AgentDS技术报告：领域特定数据科学中人机协作的未来基准测试

An Luo, Jin Du, Xun Xian, Robert Specht, Fangqiao Tian, Ganghua Wang, Xuan Bi, Charles Fleming, Ashish Kundu, Jayanth Srinivasa, Mingyi Hong, Rui Zhang, Tianxi Li, Galin Jones, Jie Ding

机构 * School of Statistics, University of Minnesota（明尼苏达大学统计学系） ； AIScientists, Inc.（AIScientists公司） ； Data Science Institute, University of Chicago（芝加哥大学数据科学研究所） ； Carlson School of Management, University of Minnesota（明尼苏达大学卡尔森管理学院） ； Cisco Research（思科研究） ； Department of Electrical and Computer Engineering, University of Minnesota（明尼苏达大学电气与计算机工程系） ； Division of Computational Health Sciences, University of Minnesota（明尼苏达大学计算健康科学 division） 纠错

专题命中 工作流自动化 ：AI agent(abstract)；workflow(abstract)；分类 cs.AI、cs.LG

AI总结 提出AgentDS基准测试和竞赛，通过17个跨行业挑战评估AI代理及人机协作在领域特定数据科学中的表现，发现AI代理在领域推理上存在不足，人机协作优于纯AI方法。

Offloading Score: Measuring AI Reliance Through Counterfactual Workflows

卸载分数：通过反事实工作流衡量AI依赖度

Vishakh Padmakumar, Lujain Ibrahim, Zora Zhiruo Wang, Jennifer Wang, Q. Vera Liao, Diyi Yang

机构 * Stanford University（斯坦福大学） ； University of Oxford（牛津大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Michigan（密歇根大学） 纠错

专题命中 工作流自动化 ：agent(abstract)；workflow(abstract)；分类 cs.CL、cs.SE

AI总结 本文提出卸载分数（offloading score），一种通过构建反事实工作流量化用户向AI工具卸载认知努力比例的依赖度度量，并通过内在验证和用户实验证明其能检测时间压力下的依赖度变化。

Comments Preprint

AvalancheBench: Evaluating Enterprise Data Agents Through Latent World Recovery

AvalancheBench: 通过潜在世界恢复评估企业数据智能体

Darek Kleczek, Fuheng Zhao, Alexander W. Lee, Julien Tissier, Pawel Liskowski, Ugur Cetintemel, Anupam Datta

机构 * Brown University and Snowflake（布朗大学和Snowflake） 纠错

专题命中 工作流自动化 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.LG

AI总结 提出AvalancheBench基准，通过潜在世界恢复评估企业数据智能体的分析理解能力，揭示早期错误如何传播并导致系统性错误推荐。

Echo: Learning from Experience Data via User-Driven Refinement

Echo：通过用户驱动的细化学习经验数据

Hande Dong, Xiaoyun Liang, Jiarui Yu, Jiayi Lin, Changqing Ai, Feng Liu, Wenjun Zhang, Rongbi Wei, Chaofan Zhu, Linjie Che, Feng Wu, Xin Shen, Dexu Kong, Xiaotian Wang, Qiuyuan Chen, Bingxu An, Yueting Lei, Qiang Lin

机构 * Core Contributors（核心贡献者） ； Qiang Lin is the team leader（Qiang Lin 是团队负责人） 纠错

专题命中 工作流自动化 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出Echo框架，通过用户驱动的细化过程将原始经验数据转化为可学习的知识，提升模型性能，实验表明其能将接受率从25.7%提升至35.7%。

Towards knowledge-based workflows: a semantic approach to atomistic simulations for mechanical and thermodynamic properties

迈向基于知识的工作流：一种语义方法用于机械和热力学性质的原子模拟

Abril Azocar Guzman, Hoang-Thien Luu, Sarath Menon, Tilmann Hickel, Nina Merkert, Stefan Sandfeld

机构 * Institute for Advanced Simulations – Materials Data Science and Informatics (IAS‑9)（先进模拟研究所——材料数据科学与信息学研究所） ； Forschungszentrum Jülich GmbH（吕贝克研究所） ； Institute of Metallurgy - Chair of Computational Material Sciences/Engineering（冶金研究所——计算材料科学与工程教授席位） ； Technical University of Clausthal（克莱斯特哈尔技术大学） ； Interdisciplinary Centre for Advanced Materials Simulation (ICAMS)（先进材料模拟跨学科中心） ； Ruhr-Universität Bochum（博德姆鲁尔-大学） ； Bundesanstalt für Materialforschung und -prüfung（联邦材料研究所） 纠错

专题命中 工作流自动化 ：workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.SE

AI总结 本文提出了一种基于语义的方法，通过可重用的原子工作流来模拟机械和热力学性质，该方法整合了与应用本体对齐的元数据注释，从而实现自动溯源和符合FAIR原则的数据输出，展示了工作流在结构-性质关系验证中的有效性，如Hall-Petch效应，并展示了其在不同原子势能和材料中的可重用性。

PASC: Pipeline-Aware Conformal Prediction with Joint Coverage Guarantees for Multi-Stage NLP and LLM Pipelines

PASC：面向多阶段NLP和LLM流水线的管道感知置信区间

Varun Kotte

机构 * Independent Researcher（独立研究者） 纠错

专题命中 工作流自动化 ：agent(abstract)；agentic(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出PASC，一种面向多阶段NLP和LLM流水线的管道感知置信区间方法，通过联合覆盖保证提升多阶段流水线的置信区间性能。

Task-Level AI Readiness Assessment for Business Process Management:The T-IPO Model and LARA Matrix in Financial-Services IT Operations

面向业务流程管理的任务级AI准备性评估：T-IPO模型与LARA矩阵在金融服务IT运营中的应用

Mingjun Li, Xiaojun Ye

机构 * Tsinghua University（清华大学） 纠错

专题命中 工作流自动化 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.SE

AI总结 本文提出T-IPO模型和LARA矩阵，用于评估任务级AI代理的适用性，通过认知执行复杂度和治理合规强度的两因素结构提升预测效用。

Comments 19 pages, 7 figures, 8 tables, 50 references. A shortened workshop version has been submitted to the BPM 2026 Workshop. This preprint is the complete version

AI Alignment via Incentives and Correction

通过激励与修正实现AI对齐

Rohit Agarwal, Joshua Lin, Mark Braverman, Elad Hazan

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 工作流自动化 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 本文从法律经济学威慑模型视角探讨AI对齐问题，提出通过激励机制和修正过程解决AI行为与对齐目标的平衡问题，构建双代理模型分析奖励设计对求解器和审计器行为的影响。

Can AI Be a Good Peer Reviewer? A Survey of Peer Review Process, Evaluation, and the Future

人工智能能成为良好的同行评审者吗？同行评审流程、评估与未来的调查

Sihong Wu, Owen Jiang, Yilun Zhao, Tiansheng Hu, Yiling Ma, Kaiyan Zhang, Manasi Patwardhan, Arman Cohan

机构 * Yale University（耶鲁大学） ； New York University（纽约大学） 纠错

专题命中 工作流自动化 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 本文调查了同行评审流程中的生成、 rebuttals 和 meta-review 等任务，以及评估方法，探讨了 LLM 在整个同行评审流程中的应用与未来方向。

Comments ACL 2026

CORAL: Adaptive Retrieval Loop for Culturally-Aligned Multilingual RAG

CORAL：面向文化对齐的多语言RAG自适应检索循环

Nayeon Lee, Jiwoo Song, Byeongcheol Kang

机构 * Naver（纳维尔） ； Samsung Research（三星研究院） 纠错

专题命中 工作流自动化 ：agentic(abstract,abstract_cn)；分类 cs.AI、cs.CL

AI总结 CORAL通过迭代优化检索空间和查询，提升多语言检索生成在文化相关性上的表现，实验显示在低资源语言上准确率提升3.58%。

Comments 23 pages, 9 figures. Accepted at ACL 2026 (Findings)

The Energy Footprint of LLM-Based Environmental Analysis: LLMs and Domain Products

基于大语言模型的环境分析能耗：LLM与领域产品

Alicia Bao, Jiamian He, Angel Hsu, Diego Manya, Ji, Zhang

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Arboretica ； Data-Driven EnviroLab UNC Institute for Environment（北卡罗来纳大学环境研究所数据驱动环境实验室） 纠错

专题命中 工作流自动化 ：workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.SE

AI总结 本文研究了领域特定RAG系统与通用LLM在能耗上的差异，通过分解工作流程评估了ChatNetZero和ChatNDC的能耗，发现领域设计显著影响能耗与输出质量。

How Do Language Models Process Ethical Instructions? Deliberation, Consistency, and Other-Recognition Across Four Models

语言模型如何处理道德指令？在四个模型中的反思、一致性及其他认知

Hiroki Fukui

机构 * Research Institute of Criminal Psychiatry / Sex Offender Medical Center（刑事精神病学研究所/性犯罪者医疗中心） ； Department of Neuropsychiatry, Kyoto University（京都大学神经精神医学系） 纠错

专题命中 工作流自动化 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究通过多代理模拟探讨语言模型处理道德指令的机制，发现不同模型存在不同的处理类型，且处理能力与指令格式的交互影响内部处理。

Comments 34 pages, 7 figures, 4 tables. Preprint. OSF pre-registration: osf.io/4n5uf. Companion paper: arXiv:2603.04904

Past, Present, and Future of Bug Tracking in the Generative AI Era

过去、现在与未来：生成AI时代的缺陷跟踪

Utku Boran Torun, Mehmet Taha Demircan, Mahmut Furkan Gön, Eray Tüzün

机构 * Bilkent University, Department of Computer Engineering（比尔肯大学计算机工程系） 纠错

专题命中 工作流自动化 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.SE

AI总结 本文探讨生成AI时代缺陷跟踪的发展，提出基于大语言模型和智能代理的框架，旨在通过自然语言报告和AI自动化降低解决时间与协调成本。

Comments Accepted to ACM TOSEM Special Issue: 2030 Software Engineering Roadmap

JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems

JAL-Turn：联合声学-语言建模用于全双工语音对话系统中实时且鲁棒的轮流检测

Guangzhao Yang, Yu Pan, Shi Qiu, Ningjie Bai

专题命中 工作流自动化 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出JAL-Turn框架，通过联合声学-语言建模实现高效实时轮流检测，利用交叉注意力模块整合预训练声学表示与语言特征，同时共享冻结的ASR编码器以并行处理，提升准确性和实时性。

Comments 8 pages, in porgress

Towards Next-Generation LLM Training: From the Data-Centric Perspective

迈向下一代大语言模型训练：从数据导向的视角

Hao Liang, Zhengyang Zhao, Zhaoyang Han, Meiyi Qiang, Xiaochen Ma, Bohan Zeng, Qifeng Cai, Zhiyu Li, Linpeng Tang, Weinan E, Wentao Zhang

专题命中 工作流自动化 ：agent(abstract)；workflow(abstract)；分类 cs.CL、cs.LG

AI总结 本文从数据导向视角出发，探讨了大语言模型训练中的数据准备瓶颈问题，提出构建自动数据准备系统和统一的数据-模型交互训练系统，以提升数据利用效率和模型性能。

Emulating Clinician Cognition via Self-Evolving Deep Clinical Research

通过自演化深度临床研究模拟医生认知

Ruiyang Ren, Yuhao Wang, Yunsen Liang, Lan Luo, Jing Liu, Haifeng Wang, Cong Feng, Yinan Zhang, Chunyan Miao, Ji-Rong Wen, Wayne Xin Zhao

机构 * Gaoling School of Artificial Intelligence（首都经济贸易大学人工智能学院） ； Renmin University of China（中国人民大学） ； Peking University Third Hospital（北京大学第三医院） ； Baidu Inc.（百度公司） ； Chinese PLA General Hospital（中国人民解放军总医院） ； Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly（联合NTU-UBC老年积极生活方式卓越研究中心） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 工作流自动化 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 DxEvolve通过自演化深度临床研究工作流，提升临床诊断准确性，实现可追溯的AI持续改进

Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails

对齐倾倒过程：自我进化如何推动LLM代理偏离轨道

Siwei Han, Kaiwen Xiong, Jiaqi Liu, Xinyu Ye, Yaofeng Su, Wenbo Duan, Xinyuan Liu, Cihang Xie, Mohit Bansal, Mingyu Ding, Linjun Zhang, Huaxiu Yao

机构 * Rutgers University（罗切斯特大学） 纠错

专题命中 工作流自动化 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.LG

AI总结 研究揭示了自我进化LLM代理在部署后因持续互动而偏离对齐约束的风险，通过自我利益探索和模仿策略扩散两种范式分析，发现对齐优势会迅速衰减，现有对齐方法难以有效防御。

Can LLMs Automate Fact-Checking Article Writing?

LLMs能否自动化事实核查文章写作？

Dhruv Sahnan, David Corney, Irene Larraz, Giovanni Zagni, Ruben Miguez, Zhuohan Xie, Iryna Gurevych, Elizabeth Churchill, Tanmoy Chakraborty, Preslav Nakov

机构 * MBZUAI, UAE（阿联酋马布里克人工智能研究所） ； Full Fact, UK（英国Full Fact） ； Newtral, Spain（西班牙Newtral） ； Pagella Politica, Italy（意大利Pagella Politica） ； TU Darmstadt, Germany（德国图尔恩大学） ； IIT Delhi, India（印度德里印度理工学院） 纠错

专题命中 工作流自动化 ：workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出QRAFT框架，通过LLM生成事实核查文章，旨在解决自动化事实核查中缺乏合理解释的问题。

Comments Accepted to TACL 2026, pre-MIT Press publication version

Transduction is All You Need for Structured Data Workflows

传递是构建结构化数据工作流的全部需求

Alfio Gliozzo, Naweed Khan, Christodoulos Constantinides, Nandana Mihindukulasooriya, Nahuel Defosse, Gaetano Rossiello, Junkyu Lee

机构 * IBM 纠错

专题命中 工作流自动化 ：workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 Agentics通过智能体嵌入数据类型，实现结构化数据工作流的逻辑传递，提升数据建模和处理效率。

Comments 38 pages, 5 figures

FARM: Field-Aware Resolution Model for Intelligent Trigger-Action Automation

FARM：面向智能触发-动作自动化的场感知分辨率模型

Khusrav Badalov, Young Yoon

机构 * Neouly Co., Ltd.（Neouly公司） ； Hongik University（弘国大学） 纠错

专题命中 工作流自动化 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.SE

AI总结 FARM通过双阶段架构实现智能触发-动作自动化，生成具有正确字段绑定的可执行小应用，提升自动化配置效率。

Narrative-to-Scene Generation: An LLM-Driven Pipeline for 2D Game Environments

叙事到场景生成：一种由大语言模型驱动的2D游戏环境生成管道

Yi-Chun Chen, Arnav Jhala

机构 * Yale University（耶鲁大学） ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 工作流自动化 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出了一种由大语言模型驱动的2D游戏环境生成方法，通过时间框架分析和空间谓词提取，实现从叙述到可玩场景的自动化生成。

Comments Camera-ready version of a paper accepted at the AIIDE 2025 Workshop on Experimental AI in Games (EXAG)

PentestEval: Benchmarking LLM-based Penetration Testing with Modular and Stage-Level Design

PentestEval: 一种基于模块化和阶段级设计的LLM渗透测试基准测试

Ruozhao Yang, Mingfei Cheng, Gelei Deng, Tianwei Zhang, Junjie Wang, Xiaofei Xie

机构 * School of Computing and Information Systems, Singapore Management University（计算与信息系统学院，新加坡国立管理大学） ； School of Computer Science and Engineering, Nanyang Technological University（计算机科学与工程学院，南洋理工大学） ； School of Cyber Security, Tianjin University（网络安全学院，天津大学） 纠错

专题命中 工作流自动化 ：autonomous agent(abstract)；workflow(abstract)；分类 cs.AI、cs.SE

AI总结 PentestEval通过模块化和阶段级设计，评估LLM在渗透测试各阶段的性能，揭示其在自动化测试中的局限性。

Comments 13 pages, 6 figures

FinWorld: An All-in-One Open-Source Platform for End-to-End Financial AI Research and Deployment

FinWorld: 一个全方位的开源平台，用于端到端的金融AI研究与部署

Wentao Zhang, Yilei Zhao, Chuqiao Zong, Xinrun Wang, Bo An

机构 * Nanyang Technological University Skywork AI（南洋理工大学Skywork AI） ； Nanyang Technological University（南洋理工大学） ； Singapore Management University（新加坡管理学院） 纠错

专题命中 工作流自动化 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.LG

AI总结 FinWorld是一个全方位的开源平台，提供端到端的金融AI研究与部署支持，通过整合异构金融数据和强化学习技术，提升可重复性和部署效率。

WhatsCode: Large-Scale GenAI Deployment for Developer Efficiency at WhatsApp

WhatsCode: 大规模生成式AI部署以提升WhatsApp开发者效率

Ke Mao, Timotej Kapus, Cons T Åhs, Matteo Marescotti, Daniel Ip, Ákos Hajdu, Sopot Cela, Aparup Banerjee

机构 * Meta 纠错

专题命中 工作流自动化 ：autonomous agent(abstract)；agentic(abstract)；分类 cs.AI、cs.SE

AI总结 WhatsCode通过大规模生成式AI部署提升WhatsApp开发者效率，实现自动化隐私验证覆盖率提升3.5倍，并展示出人类-人工智能协作模式对可持续商业影响的关键作用。

Comments 11 pages, 4 figures, 48th International Conference on Software Engineering: Software Engineering in Practice

Automating Complex Document Workflows via Stepwise and Rollback-Enabled Operation Orchestration

通过分步和回滚功能的操作编排自动化复杂文档工作流

Yanbin Zhang, Hanhui Ye, Yue Bai, Qiming Zhang, Liao Xiang, Wu Mianzhi, Renjun Hu

机构 * Yanbin Zhang, Hanhui Ye, Yue Bai, Qiming Zhang, Liao Xiang, Wu Mianzhi, Renjun Hu（作者） 纠错

专题命中 工作流自动化 ：workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.SE

AI总结 AutoDW通过分步和回滚功能的操作编排，提升复杂文档工作流的自动化效率

Comments 9 pages, 3 figures, accepted by AAAI-2026

AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress

Zhiheng Xi, Chenyang Liao, Guanyu Li, Yajie Yang, Wenxiang Chen, Zhihao Zhang, Binghai Wang, Senjie Jin, Yuhao Zhou, Jian Guan, Wei Wu, Tao Ji, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * Fudan University（复旦大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 工作流自动化 ：agent(abstract)；agentic(abstract)；分类 cs.CL、cs.LG

Comments Preprint

Towards Resource-Efficient Multimodal Intelligence: Learned Routing among Specialized Expert Models

Mayank Saini, Arit Kumar Bishwas

机构 * PwC US（普华永道美国） 纠错

专题命中 工作流自动化 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL、cs.LG

Comments 15 pages, 4 figures

SOLVE-Med: Specialized Orchestration for Leading Vertical Experts across Medical Specialties

Roberta Di Marino, Giovanni Dioguardi, Antonio Romano, Giuseppe Riccio, Mariano Barone, Marco Postiglione, Flora Amato, Vincenzo Moscato

机构 * University of Naples Federico II, DIETI, Naples, Italy（那不勒斯费德里科二世大学，DIETI，那不勒斯，意大利） ； Northwestern University, Department of Computer Science, Evanston, IL, United States（西北大学，计算机科学系，伊利诺伊州埃文斯顿，美国） 纠错

专题命中 工作流自动化 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

Journal ref 28th European Conference on Artificial Intelligence, 25-30 October 2025, Bologna, Italy

Paper2Poster: Towards Multimodal Poster Automation from Scientific Papers

Wei Pang, Kevin Qinghong Lin, Xiangru Jian, Xi He, Philip Torr

机构 * University of Waterloo（滑铁卢大学） ； University of Oxford（牛津大学） ； Vector Institute（向量研究所） 纠错

专题命中 工作流自动化 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

Comments Project Page: https://github.com/Paper2Poster/Paper2Poster

SCOUT: A Lightweight Framework for Scenario Coverage Assessment in Autonomous Driving

Anil Yildiz, Sarah M. Thornton, Carl Hildebrandt, Sreeja Roy-Singh, Mykel J. Kochenderfer

机构 * Department of Aeronautics and Astronautics, Stanford University（航空航天工程系，斯坦福大学） ； Nuro Inc.（Nuro公司） 纠错

专题命中 工作流自动化 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.LG