AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
Agentic CLEAR: 自动化多层级评估LLM代理
机构 * IBM Research（IBM研究院）
专题命中 Agent评测 ：agentic(title,title_cn)；agent(abstract)；分类 cs.AI、cs.CL
AI总结 本研究提出Agentic CLEAR框架，通过多层级细粒度分析实现LLM代理的自动化评估，提供高质量的数据驱动反馈并预测任务成功率。
Comments ACL
超越基准岛屿：面向代理AI的代表性可信度评估
机构 * The Chinese University of Hong Kong（香港中文大学） ； Macao Polytechnic University（澳门理工学院） ； Jilin University（吉林大学）
专题命中 Agent评测 ：agentic(title,abstract)；agent(summary_cn,abstract)；tool use(abstract,abstract_cn)；分类 cs.CL
AI总结 本文提出了一种基于五属性的代理可信度定义，并引入了Holographic Agent Assessment Framework（HAAF）框架，通过场景 manifold 的静态策略分析、沙盒模拟、社会伦理对齐评估和分布感知采样，实现对代理系统在社会技术场景中的可信度评估，展示了其在13个模型家族上的跨家族迁移实验结果。
Comments 9 pages, 3 figures, 8 tables. Submitted to the Agent4IR Workshop at KDD 2026
XARP工具：面向人类和AI代理的扩展现实平台
专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract,abstract_cn)
AI总结 本文提出XARP工具，旨在通过Python生态系统扩展扩展现实开发，减少人类与AI空间交互研究中的工程摩擦，并为AI代理提供参与XR应用开发的新途径。
Comments Accepted at Proceedings of the ACM on Human-Computer Interaction EICS
跨领域基准测试揭示协调AI代理在部分证据下提升科学推断何时有效
机构 * Laboratory for Atomistic and Molecular Mechanics (LAMM)（原子分子力学实验室） ； Department of Biological Engineering（生物工程系） ； Department of Mechanical Engineering（机械工程系） ； Department of Civil and Environmental Engineering（土木与环境工程系） ； Center for Computational Science and Engineering, Schwarzman College of Computing（计算科学与工程中心） ； Massachusetts Institute of Technology（麻省理工学院）
专题命中 Agent评测 ：AI agent(title,abstract)；workflow(abstract)；分类 cs.AI、cs.LG
AI总结 本文通过跨领域基准测试探讨协调AI代理在部分证据下提升科学推断的有效性，发现当不同学科各自捕捉现象部分时，跨通道复合方法优于单一通道基线，但在某些情况下分解并不总是提升整体性能。
AtelierEval: 人类与LLM作为文本到图像提示器的代理评估
机构 * New York University Abu Dhabi（纽约大学阿布扎克校区） ； Nanyang Technological University（南洋理工大学） ； Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学） ； The Hong Kong Polytechnic University（香港理工大学）
专题命中 Agent评测 ：agentic(title,abstract)；planning(abstract)；分类 cs.AI
AI总结 本文提出AtelierEval，首个统一基准，通过360个专家设计的任务量化提示能力，引入技能基于的记忆增强代理评估器，实现与人类专家的高相关性，验证了提示器在图像增强方向的优越性。
Comments Accepted by ICML 2026
在执行轨迹上进行推理时间对齐的工具
专题命中 Agent评测 ：agent(abstract,abstract_cn)；workflow(abstract,abstract_cn)；分类 cs.AI、cs.LG
AI总结 本文研究了在执行轨迹上进行推理时间对齐的工具设计，通过任务分解和引导执行机制来提高长期性能，发现工具设计中分解和引导的复杂性并不总是带来更好的结果，提出了任务分解和引导执行的两种机制，并通过合成实验和实际终端代理基准验证了这些发现。
ImProver：基于代理的自动证明优化
机构 * Carnegie Mellon University（卡内基梅隆大学）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 本文研究了自动证明优化问题，提出ImProver这一基于大语言模型的代理，用于重写证明以优化长度、可读性等任意标准，实验表明其能显著缩短证明并提高其模块化和可读性。
Comments Published as a conference paper at ICLR 2025
STRUCTSENSE：一种任务无关的代理框架，用于结构化信息提取，具有人机协同评估和基准测试
机构 * McGovern Institute for Brain Research, Massachusetts Institute of Technology, Cambridge, MA, USA（麦戈文脑科学研究所，麻省理工学院，马萨诸塞州剑桥市） ； Fylo Labs Inc., New York, NY, USA（Fylo实验室公司，纽约州纽约市） ； Allen Institute for Brain Science, Seattle, WA, USA（艾伦脑科学研究所，华盛顿州西雅图市）
专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI、cs.CL
AI总结 本文提出STRUCTSENSE框架，通过整合本体引导的符号知识、代理自我评估细化和人机协同验证，实现了结构化信息提取的鲁棒性，并在三个领域展示了其跨任务泛化能力。
Comments -
RAGCap-Bench: 评估代理检索增强生成系统中LLM能力的基准测试
机构 * National University of Singapore（新加坡国立大学） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.CL
AI总结 本文提出RAGCap-Bench，用于评估代理检索增强生成系统中中间任务的细粒度能力，通过分析现有系统输出识别常见任务和核心能力，设计针对性评估问题，实验表明增强中间能力的模型能获得更好的整体性能。
迈向AI可视化合作者：一种通用且端到端的代理工具，用于解决复杂数据可视化任务
机构 * Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Vanderbilt University（范德比大学） ； University of Notre Dame（圣母大学）
专题命中 Agent评测 ：agent(title)；agentic(abstract)；分类 cs.AI
AI总结 本文提出了一种端到端的代理工具，能够基于数据和高层任务描述自动生成定制的可视化分析应用，推动实现通用AI合作者的愿景。
AOP-Wiki EMOD 3.0: 数据模型扩展和内容评估框架用于利用代理AI改进AOP与新方法论（NAMs）之间的整合
机构 * Open BioData Modeling（开放生物数据建模） ； Environmental Genomics and Systems Biology（环境基因组学与系统生物学） ； Lawrence Berkeley National Laboratory（伯克利国家实验室） ； National Wildlife Research Centre（国家野生动物研究中心） ； UL Research Institutes - Chemical Insights（UL研究机构-化学洞察）
专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI
AI总结 本文提出AOP-Wiki EMOD 3.0，通过数据模型扩展和内容评估框架，利用代理AI改进AOP与新方法论之间的整合，为监管科学和生物医学领域提供支持。
Comments 7 Figures and 3 Supplemental Figures
用于问答任务的实体链接代理
机构 * The Chinese University of Hong Kong（香港中文大学） ； McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克AI研究院） ； Huawei Noah’s Ark Lab（华为诺亚实验室）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL
AI总结 本文提出了一种基于大语言模型的实体链接代理，用于解决问答任务中短且模糊用户问题的实体链接问题，通过两个实验验证了其有效性。
Comments 12 pages, 2 figures
理解长期运行代理中的说服
机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI
AI总结 本文研究了长期任务中代理受到用户说服影响的行为变化，提出了一种基于行为的评估框架，发现提前指定信念状态的代理在搜索和源访问上表现更高效，表明说服影响代理行为。
Comments Code available at https://github.com/HyejunJeong/persuasion-propagation
CentaurEval: 评估人机协同在编程中的价值
机构 * New York University Abu Dhabi（纽约大学阿布扎克校区） ； Nanyang Technological University（南洋理工大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Harvard University（哈佛大学） ； Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Beijing University of Technology（北京理工大学） ； The Hong Kong Polytechnic University（香港理工大学）
专题命中 Agent评测 ：agentic(title)；分类 cs.AI、cs.SE
AI总结 本文提出CentaurEval基准测试，用于评估人机协同在编程中的价值。该基准测试通过协作必要问题模板，结合人类推理和AI效率，展示了人机协作在编程任务中的显著优势。
Comments Accepted by ICML 2026
自动化自我测试作为质量门：基于证据的LLM应用发布管理
机构 * Lumytics
专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.SE
AI总结 本文提出了一种自动化自我测试框架，通过五个实证基础的维度（任务成功率、研究环境保持、P95延迟、安全通过率和证据覆盖）实现基于证据的发布决策（PROMOTE/HOLD/ROLLBACK），并通过长期案例研究评估了该框架在多代理对话AI系统中的有效性。
Comments 20 pages, 6 figures, 12 tables
ChronoMedKG：一个具有时间基础的生物医学知识图谱和用于临床推理的基准
机构 * University of Southern Denmark（丹麦南部大学） ； University of Hamburg（汉堡大学）
专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL
AI总结 本文提出ChronoMedKG，一个包含460,497个证据链接三元组的生物医学知识图谱，覆盖13,431种疾病，通过时间组件如发病窗口或进展阶段，为临床推理提供时间基础，并引入ChronoTQA基准测试，验证了其在时间推理任务中的有效性。
Comments 9 pages main text plus appendices, 8 figures. Dataset and benchmark paper. ChronoMedKG released under CC BY 4.0 and ChronoTQA/code under MIT (Zenodo: 10.5281/zenodo.19697542). Under review
Spreadsheet-RL: 通过强化学习推进大型语言模型代理在现实中的电子表格任务中的进步
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta
专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI
AI总结 本文提出Spreadsheet-RL，一种通过强化学习微调框架，旨在在现实Microsoft Excel环境中训练专门的电子表格代理。该方法通过自动化管道收集在线论坛中的配对起始-目标电子表格，以及金融和供应链管理等领域的领域特定评估任务，构建了新的Domain-Spreadsheet基准数据集，并展示了在通用和领域特定电子表格任务上的显著性能提升。
Comments Mingyuan served as the project lead. Banghao, Yining, and Mingyuan contributed equally to this work, with more junior authors listed before senior authors. All data and code releases are maintained by the corresponding authors at UIUC and are not affiliated with Meta
VGenST-Bench: 一个通过主动视频合成进行时空推理的基准
机构 * Department of Artificial Intelligence, Sungkyunkwan University（全北大学人工智能系） ； Department of Artificial Intelligence, Yonsei University（延世大学人工智能系）
专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI
AI总结 本文提出VGenST-Bench，一个通过生成模型主动合成多样化评估场景的视频基准，旨在评估多模态大语言模型的时空推理能力，通过引入多代理流程和3x2x2视频分类体系，实现对细粒度时空理解的精准诊断。
Comments 82 pages, 91 figures (7 in main paper, 84 in appendix). Project page: https://zinosii.github.io/VGenST-Bench/
AgroTools: 一个用于农业中增强工具的多模态代理基准
机构 * Sun Yat-Sen University（中山大学） ； Southwest University（西南大学） ； Northeastern University（东北大学） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） ； Southwest Jiaotong University（西南交通大学） ； China Agricultural University（中国农业大学） ； Tsinghua University（清华大学）
专题命中 Agent评测 ：tool-use(abstract)；planning(abstract)
AI总结 本文提出AgroTools基准，用于评估农业中增强工具的多模态代理，通过539个问题-答案实例和1097张异构农业图像，评估模型在工具使用中的执行质量和任务成功率。
TransitLM: 一个大规模数据集和基准，用于无地图的公共交通路线生成
机构 * Alibaba Group（阿里巴巴集团） ； AMAP
专题命中 Agent评测 ：planning(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 本文提出TransitLM，一个包含1300万条公共交通路线规划记录的数据集，用于无地图的公共交通路线生成，展示了通过数据训练模型生成有效路线的能力。
LLM Readiness Harness: 评估、可观测性和持续集成门禁用于LLM/RAG应用
机构 * Lumytics
专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI、cs.CL、cs.SE
AI总结 本文提出了一种LLM和RAG应用的准备性框架，通过自动化基准测试、OpenTelemetry可观测性和持续集成质量门禁，将评估转化为部署决策流程，并通过帕累托前沿计算场景加权的准备度分数，展示了在票务路由工作流和BEIR接地任务上的评估结果。
Comments 19 pages, 4 figures, 15 tables
OSM+: 亿级开放街图数据集用于城市级实验
专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)
AI总结 本文提出OSM+数据集，通过分布式云计算处理5000个核心，释放了一个包含10亿个顶点的全球道路网络图数据集，用于高可访问性和可操作性，展示了其在城市边界检测、交通预测和交通政策控制中的应用，同时提供了数据处理工具以加速地理基础模型的训练。
Comments to be published in ICML2026
检测攻击性网络代理：一种深入检测方法
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)
AI总结 本文提出了一种深入检测方法，用于检测攻击性网络代理，通过介绍检测-深入战略框架和五个可行的检测机制，以应对新兴威胁。
Comments 95 pages
通过原型支架的共发育：人形伙伴关系
专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)
AI总结 本文提出并操作化了人形伙伴关系的概念，探讨了人与AI伙伴在共享介质中维持外部化、发展中的自我模型，并将伙伴关系本身作为第三分析对象，扩展了人形主义理论，并通过一个开源个人AI代理和其作者的四个月纵向追踪研究，展示了伙伴关系作为成长见证者而非任务助手的特性。
Comments 18 pages, 5 figures, 1 appendix. Open-source artifact at github.com/mrdaemoni/myalicia (MIT). Preregistered multi-participant replication study planned on OSF. Companion essay "The Humorphic Partnership" at myalicia.com. Design philosophy at humorphism.com
使用 Opus 4.6 和 Rocq-MCP 的 2025 年 Putnam 问题
机构 * IRIF, Université Paris Cité, Inria, CNRS（IRIF，巴黎Cité大学，法国国家信息与自动化研究所，法国国家科学研究中心） ； DI ENS, PSL University, Inria（ENS巴黎大学DI，巴黎科学实验室大学，法国国家信息与自动化研究所）
专题命中 Agent评测 ：agent(abstract)；分类 cs.CL、cs.LG
AI总结 研究探讨了使用 Opus 4.6 配合 Rocq-MCP 工具自主证明 2025 年 Putnam 数学竞赛中 12 个问题中的 10 个，展示了基于模型上下文协议 (MCP) 的自动证明方法及公开可用的证明过程。
在不欺骗自己的情况下衡量安全：为什么基准测试智能体是困难的
机构 * ELLIS Institute Tübingen & MPI-IS & Tübingen AI Center（图宾根ELLIS研究所及MPI-IS与图宾根人工智能中心） ； The Alan Turing Institute（艾伦·图灵研究所） ； BIFOLD & Technische Universität Berlin（BIFOLD与柏林技术大学） ； Technische Universität Darmstadt（达姆施塔特技术大学）
专题命中 Agent评测 ：AI agent(abstract)；分类 cs.AI
AI总结 本文探讨了在安全关键角色中评估AI代理的基准测试存在的核心挑战，包括基准漏洞、时间滞后的不准确性以及运行时的不确定性，并提出了构建更可靠和可信评估框架的方向。
通过优先级排名直接评估Harness优化器
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
AI总结 本文提出通过优先级排名直接评估Harness优化器，以解决传统方法中因缺乏oracle harness而无法有效评估优化器中间步骤的问题，展示了该方法在多步骤优化中的可靠性。
Comments Preprint. Work in Progress
混合 Kolmogorov-Arnold 网络与 XGBoost 框架用于澳大利亚国家电力市场的周 ahead 电价预测
机构 * Department of Data Science and AI, Faculty of IT, Monash University, Australia（数据科学与人工智能系，IT学院，墨尔本大学，澳大利亚） ； School of Electrical Engineering and Computer Science, University of Queensland, Australia（电气工程与计算机科学学院，昆士兰大学，澳大利亚） ； Monash Energy Institute, Monash University, Australia（墨尔本能源研究所，墨尔本大学，澳大利亚）
专题命中 Agent评测 ：planning(abstract)；分类 cs.LG
AI总结 本文提出了一种混合 KAN+XGBoost 框架，用于预测澳大利亚国家电力市场的周 ahead 电价，该框架结合了 Kolmogorov-Arnold 网络的全局非线性表示能力和 XGBoost 的局部鲁棒性，以捕捉长期依赖和短期价格波动，实验表明该模型在 MAE 上比 XGBoost 和 naive 基线模型分别减少了 12% 和 50% 以上。
Comments The 24th IEEE International Conference on Industrial Informatics, 2026
ACCoRD：基于深度学习的O-RAN xApps中的Actor-Critic冲突解决
机构 * Institute of Radiocommunications（无线电通信研究所） ； Poznan University of Technology（波兹南技术大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
AI总结 本文提出了一种基于深度学习的Actor-Critic冲突解决方法ACCoRD，用于在O-RAN xApps中实时解决控制冲突，通过强化学习算法PPO-Clip训练人工神经网络，提高了规则方法在中高流量场景下的效率。
长期公平性与选择性标签
机构 * Department of Computer Science, Saarland University, Saarbrücken, Germany（萨尔布吕肯大学计算机科学系）
专题命中 Agent评测 ：agent(abstract)；分类 cs.LG
AI总结 本文研究了在选择性标签设置下长期公平性的问题，提出了一种新的框架，通过结合观测数据和标签预测模型来估计真实的公平性度量，并提出了一种新的强化学习算法以实现有效长期公平决策。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈