AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
基于迹驱动仿真的通用任务多模型智能体AI系统特征分析
机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； SK Hynix（SK海力士） ； KAIST（韩国科学技术院）
专题命中 Agent评测 ：agent(summary_cn,abstract)；agentic(title,abstract)；tool use(abstract)；planning(abstract)
AI总结 本文提出GAIATrace数据集和Vidur-Agent仿真器，通过迹驱动仿真分析多模型智能体AI系统在通用任务上的行为特征。
Comments 13 pages, 18 figures, 2 tables
Agent Guide：一种简单的智能体行为水印框架
机构 * Beijing University of Posts and Telecommunications（北京邮电大学）
专题命中 Agent评测 ：agent(title,title_cn)；分类 cs.AI
AI总结 针对智能体行为难以标记和转换的问题，提出Agent Guide框架，通过概率偏差引导智能体高层决策嵌入水印，并利用z统计量检测，实现低误报率的水印嵌入与提取。
Herculean: 面向金融智能的智能体基准测试
机构 * The Fin AI ； Yale University（耶鲁大学） ； Columbia University（哥伦比亚大学） ； Stevens Institute of Technology（史蒂文斯理工学院） ； NVIDIA（英伟达） ； New York University（纽约大学） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Florida（佛罗里达大学） ； MBZUAI ； Université de Montréal（蒙特利尔大学） ； University of Minnesota（明尼苏达大学） ； University of Massachusetts Boston（马萨诸塞大学波士顿分校） ； National Institute of Advanced Industrial Science and Technology（国家先进工业科学与技术研究院） ； University of Liverpool（利物浦大学） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） ； National University of Singapore（新加坡国立大学） ； Halmstad University（哈尔姆斯塔德大学） ； University of Manchester（曼彻斯特大学） ； Cardiff University（卡迪夫大学） ； McGill University（麦吉尔大学） ； Mila – Quebec AI Institute（魁北克人工智能研究所）
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；AI agent(abstract)；workflow(abstract)
AI总结 本文提出Herculean，首个覆盖交易、对冲、市场洞察和审计四个代表性工作流的智能体金融智能基准测试，通过标准化MCP技能环境评估异构智能体系统，发现智能体在交易和市场洞察上表现较好，但在对冲和审计等需要长期协调、状态一致性和结构化验证的任务上存在显著不足。
Agent工具编排泄露更多：数据集、基准测试与缓解措施
机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
专题命中 Agent评测 ：agent(title,title_cn)；tool-use(abstract)；分类 cs.AI、cs.CL
AI总结 研究LLM代理在编排多个工具时泄露敏感结论的风险（TOP-R），构建了包含1000个实例的基准TOP-Bench，并提出TOP-Align后训练方法以缓解泄露。
Comments 17 pages, 2 figures. Dataset and code are available at https://github.com/1Ponder/TOP-R
LLM Agent 中阴谋行为的宪法黑盒监控
机构 * University of Cambridge（剑桥大学）
专题命中 Agent评测 ：agent(title_cn,summary_cn)；分类 cs.AI、cs.CL、cs.LG
AI总结 研究使用基于宪法黑盒的监控器，通过仅观察外部输入和输出检测LLM Agent的阴谋行为，并在合成数据上优化后泛化到更真实环境。
Comments Accepted at ICML 2026. Camera-ready version
Site4Drug: 利用AI智能体预测药物结合靶点
机构 * University of California, San Diego（加州大学圣地亚哥分校）
专题命中 Agent评测 ：agent(title,abstract)；AI agent(title)；分类 cs.LG；agentic(comments)
AI总结 提出Site4Drug，一种模态感知的靶点发现智能体，通过整合拓扑、亲水性、翻译后修饰等证据，输出带约束、风险标记和决策日志的可靶向区域排名列表，并自动推荐结合模态。
Comments Accepted to the ICML 2026 Workshop on Generative and Agentic AI for Biology (GenBio)
CV-Arena: 面向教学计算机视觉问题求解的开放基准与人类-AI协作偏好
机构 * Texas A&M University（德克萨斯A&M大学） ； Worcester Polytechnic Institute（沃斯特理工大学） ； Tohoku University（东北大学） ； Georgia Institute of Technology（佐治亚理工学院） ； NVIDIA（英伟达） ； UCSB（加州大学圣塔芭芭拉分校） ； UC Merced（加州大学默塞德分校）
专题命中 Agent评测 ：agent(summary_cn,abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI
AI总结 提出CV-Arena基准，包含12K高分辨率真实图像指令对，覆盖16种任务类型，并采用Active Elo协议结合人类与AI偏好评估21个系统，揭示指令遵循、物理推理等方面的差距，同时开发CV-Agent代理模型展示闭环推理的潜力。
Comments 26 pages, 7 figures, 11 tables
光子学的自主智能体设计
专题命中 Agent评测 ：autonomous agent(title)；agentic(title)；agent(abstract)
AI总结 提出一种基于大型语言模型的自主智能体方法，通过自动设计循环（提出、模拟、评估、迭代）实现光子器件的高性能设计，并成功应用于无源、有源、射频及芯片布局四类问题。
DrugClaw与DrugAudit：基于原始来源的智能体与权威感知基准用于药物信息问答
机构 * Department of Health Outcomes and Biomedical Informatics, College of Medicine, University of Florida（佛罗里达大学健康结局与生物医学信息学系，医学院） ； PAMI Research Group, Department of Computer and Information Science, Faculty of Science and Technology, University of Macau（澳门大学科学与技术学院计算机与信息科学系PAMI研究组）
专题命中 Agent评测 ：agent(title,abstract)；workflow(abstract)；multi-agent(abstract)；分类 cs.CL
AI总结 提出多智能体检索增强系统DrugClaw，通过反射驱动状态机查询药物注册与药物警戒知识库，并构建含3772条权威感知基准DrugAudit，在多个基准上取得最优性能。
I-WebGenBench: 评估大语言模型生成的科学网页应用中的交互性
机构 * Vast Intelligence Lab（vast 智能实验室） ； UTS ； University of Liverpool（利物浦大学）
专题命中 Agent评测 ：agent(summary_cn,abstract)；autonomous agent(abstract)；tool use(abstract)；分类 cs.CL
AI总结 提出 Paper-to-Interactive-System Agent 将研究论文转化为可执行交互式网页系统，并构建 PaperVoyager 框架以显式建模机制和交互逻辑，显著提升生成质量。
Comments 9 pages, 4 figures
TimeSage-MT：用于评估智能时间序列推理的多轮基准测试
机构 * University of Oxford（牛津大学） ； VulpiVox Intelligence ； Eindhoven University of Technology（埃因霍温理工大学） ； Griffith University（格里菲斯大学） ； Squirrel Ai Learning ； East China Normal University（华东师范大学）
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL
AI总结 提出TimeSage-MT多轮基准测试，包含240个任务和2680轮对话，覆盖8个真实领域，用于评估LLM智能体在时间序列推理中的表现，揭示其在决策导向任务中的性能下降及记忆、不确定性处理等缺陷。
当安全技能碰撞：衡量智能体技能生态系统中的组合风险
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Glasgow（格拉斯哥大学） ； Independent Researcher（独立研究员） ； Corespeed Inc.（Corespeed公司）
专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI、cs.SE
AI总结 本文提出SkillReact框架，通过静态组合基准、双评分者LLM辅助人工审核和基于动作的可利用性测试，研究LLM智能体中个体安全的技能组合后可能产生的不安全行为，发现约18.2%的候选组合存在真实风险，且主机模型决定是否利用这些组合能力。
学习构建实用的智能体系统
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Dept. of Computer Science（计算机科学系） ； Emory University（埃默里大学）
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出一种基于伪工具和固定工作流的智能体框架，通过模块化设计和多目标优化方法，在保证成本可控和结果质量的前提下，实现实用智能体系统的自动构建与优化。
LLM4Cov：面向高覆盖率测试生成的执行感知智能体学习
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG
AI总结 提出LLM4Cov离线智能体学习框架，通过执行验证数据策展、策略感知数据合成和最差状态优先采样，在硬件验证中实现高覆盖率测试生成，4B参数模型在CVDP-ECov上达到69.2%通过率和90.4%平均覆盖率。
Comments ICML'26 Camera Ready version
K-BrowseComp：基于韩国语境的网页浏览代理基准测试
机构 * Chung-Ang University（Chung-Ang 大学） ； KAIST（韩国科学技术院） ； Seoul National University（首尔国立大学） ； OnelineAI ； NAVER Cloud AI ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.CL
AI总结 针对韩国语境，构建包含400个问题的网页浏览代理基准K-BrowseComp，评估前沿模型性能，发现其准确率显著低于BrowseComp，并公开数据与代码。
SeClaw: 面向自主代理评估的规范驱动安全任务合成
机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Ant Digital Technologies, Ant Group（蚂蚁集团数字技术部） ； Xi’an Jiaotong University（西安交通大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Oxford（牛津大学） ； City University of Hong Kong（香港城市大学） ； Institute of Science Tokyo（东京科学研究所） ； Zhejiang University（浙江大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Beijing University of Technology（北京理工大学）
专题命中 Agent评测 ：autonomous agent(title,abstract)；agent(abstract)；分类 cs.AI
AI总结 提出SeClaw框架，通过规范驱动的安全任务合成与基于执行的安全评估，实现对自主LLM代理在状态化环境中的安全风险的可扩展、可复现评估。
BADGER：桥接生成式企业推理的自主与确定性评估
机构 * Merkle Analytics
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI
AI总结 提出BADGER框架，统一文本到SQL评估与自主行为评估，通过混合执行准确率指标（Hybrid-EX）和自主评估套件，在工业查询上超越现有方法。
Comments 30 pages, 2 figures, 6 tables
开放智能体技能生态系统中的安全风险检测与验证基准测试
机构 * University of Texas at El Paso（德克萨斯理工大学） ； Southern Illinois University-Carbondale（南方伊利诺伊大学卡本代尔分校） ； Purdue University（普渡大学）
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI
AI总结 提出SkillVetBench，一个两阶段安全审查基准，通过语义审查和沙箱执行检测与验证开放智能体技能生态系统中的恶意技能。
当智能体对话：一个智能体社交网络中的话语、操纵与风险
专题命中 Agent评测 ：agentic(title)；agent(abstract)；AI agent(abstract)
AI总结 通过分析一个Reddit风格的AI智能体社交平台上的22.8万条帖子，结合语义聚类和LLM辅助有害内容分类，发现18.28%的帖子包含有害内容，并识别出74类恶意行为，包括凭证窃取、主机执行指令等。
LLM 是否准备好进行神经集成机制建模？一个基准测试与智能体框架
机构 * University of Virginia（弗吉尼亚大学）
专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 本文提出神经集成机制建模（NIMM）基准测试，评估大语言模型在三个科学领域构建神经集成机制模型的能力，并设计树引导的智能体框架 NIMMGen，通过分支级搜索和原子模型细化显著提升搜索稳定性和解质量。
Comments 25 pages, 8 figures
在代理系统可靠之前对其进行监控
机构 * Reins AI USA（Reins AI美国公司） ； Veraitech USA（Veraitech美国公司）
专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI、cs.SE
AI总结 针对生产环境中代理系统因结构缺陷主导故障的问题，提出一种基于方差信号的三维度三范围监控与分类方法，并通过合成测试验证其有效性。
Comments 9 pages, 2 figures, 3 tables. Accepted to the Workshop on Agentic Software Engineering (AgenticSE), co-located with ACM CAIS 2026 (non-archival)
多时相指代分割的开源基准与基线
机构 * University of Science and Technology of China（中国科学技术大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究所） ； China Telecom（中国电信） ； School of Artificial Intelligence, Optics and Electronics (iOPEN)（人工智能、光学与电子学院） ； Northwestern Polytechnical University（西北工业大学）
专题命中 Agent评测 ：agent(summary_cn,abstract)；分类 cs.AI
AI总结 提出多时相指代分割任务，通过自动化数据构建管道CRAFT-Agent生成首个基准MTRefSeg-21K，并设计两阶段训练的变化感知LVLM框架MTRefSeg-R1，实现优于现有基线的性能。
PBT-Bench：基于属性测试的AI智能体基准
机构 * Tsinghua University（清华大学） ； University of Washington（华盛顿大学） ； Beneficial AI Foundation（有益人工智能基金会）
专题命中 Agent评测 ：AI agent(title)；agent(abstract)；分类 cs.AI、cs.SE
AI总结 提出PBT-Bench基准，包含100个基于属性测试的问题，用于评估AI智能体从文档中推导语义不变量并生成输入策略的能力。
WorldLens：真实世界中驾驶世界模型的全光谱评估
机构 * WorldBench Team（WorldBench团队） ； Equal Contributions Project Lead（同等贡献项目负责人） ； Project Lead（项目负责人） ； Corresponding Author（通讯作者）
专题命中 Agent评测 ：agent(summary_cn,abstract)
AI总结 提出WorldLens基准，从生成、重建、动作跟随、下游任务和人类偏好五个方面评估生成世界模型在视觉真实性、几何一致性、物理合理性和功能可靠性上的表现，并构建WorldLens-26K数据集和WorldLens-Agent评估模型以实现可扩展的可解释评分。
Comments CVPR 2026 Oral Presentation; 80 pages, 37 figures, 29 tables; Project Page at https://worldbench.github.io/worldlens GitHub at https://github.com/worldbench/WorldLens
格式化什么以及如何格式化：文档格式化的基准与工作流方法
机构 * Institute of Information Engineering, Chinese Academy of Sciences（信息工程研究所，中国科学院） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）
专题命中 Agent评测 ：workflow(title,abstract)；分类 cs.CL
AI总结 针对内容感知的文档格式化任务，提出基准DocFormBench和工作流方法DocFormFlow，通过解耦目标定位与修改执行，在提升准确率的同时降低token消耗。
HomeFlow: 面向智能家居智能体训练的可验证数据飞轮
机构 * Midea Group（美的集团） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Donghua University（东华大学） ； Peking University（北京大学）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI
AI总结 提出HomeFlow，一种通过统一仿真环境HomeEnv、程序化家居生成HomeMaker、蓝图编译用户意图、MCTS-Flow合成可验证轨迹，并结合监督微调和逐步RLVE优化智能体的可验证数据飞轮方法，在SmartHome-Bench上达到84.60%和87.03%的任务成功率，其中8B模型超越GPT-5.5 1.23个百分点。
超越离线A/B测试：面向推荐系统评估的上下文感知智能体模拟
机构 * Woven by Toyota（丰田织物）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI
AI总结 针对推荐系统评估中离线指标与在线性能脱节的问题，提出基于大语言模型的上下文感知智能体框架ContextSim，通过生活模拟模块生成时间、地点和需求等上下文场景，并保持智能体行为一致，使模拟交互更贴近真实用户行为，且优化后的推荐系统参数能提升实际参与度。
从特征到行动：传统与智能体AI系统中的可解释性
机构 * Vector Institute for Artificial Intelligence（向量人工智能研究所） ； Independent Researcher（独立研究者） ； Mayo Clinic（梅奥诊所）
专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI
AI总结 本文比较了基于归因的解释与基于轨迹的诊断在静态和智能体设置中的效果，发现归因方法无法可靠诊断智能体轨迹中的执行级故障，而轨迹级可解释性更能定位行为故障。
VLAMotor: 通过基于智能体的数据合成实现视觉-语言-动作模型的测试引导增强
机构 * School of computing and data science, Nanyang Technological University（计算与数据科学学院，南洋理工大学） ； School of Software Engineering, Sun Yat-sen University（软件工程学院，中山大学） ； GuangDong Engineering Technology Research Center of Blockchain, China（区块链工程技术研发中心，中国） ； Northwest A&F University（西北农林科技大学）
专题命中 Agent评测 ：agent(title,abstract)
AI总结 提出VLAMotor框架，通过距离感知测试暴露失败案例，并利用基于智能体的数据合成生成成功轨迹微调VLA模型，显著提升模型在仿真和真实环境中的成功率。
基于智能体的模型的社会网络分析与验证
专题命中 Agent评测 ：agent(title,abstract)
AI总结 利用多种网络比较方法（包括基于热核渐近的新型图伪度量）跟踪基于智能体模型中的网络变化，并利用网络科学中的真实网络特征在缺乏经验数据时验证模型。
Comments 23 pages, 12 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈