AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
CoWeaver：用于混合人机科学协作的双向、可学习且可解释的匹配引擎
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL
AI总结 研究针对基于大语言模型的智能体在科学协作中存在的问题，提出CoWeaver算法，通过填补能力差距匹配人员，经两阶段排名筛选，结合探索与贪婪策略，在匹配质量和效率上优于基线，能促进人机科学协作。
写时复制评分：特定应用代理评估
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.SE
AI总结 研究如何在软件系统中可靠部署基于大语言模型的代理，提出写时复制（CoW）评分框架，利用PostgreSQL级机制在应用环境中直接评估代理操作，能低成本评估迭代，在开源平台上验证了该框架的有效性。
Comments 15 pages, 11 figures, accepted at ICML 2026 Second Workshop on Agents in the Wild: Safety, Security, and Beyond
MemoHarness：从经验中学习的智能体控制层
机构 * University of Notre Dame（圣母大学） ； LMU Munich（慕尼黑大学） ； University of Southern California（南加州大学）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL
AI总结 研究针对智能体控制层设计影响行为但改进方法窄且多重用单一全局控制层的问题，提出自适应框架MemoHarness，通过分解控制层、存储经验并检索应用，在多基准测试中优于固定控制层，证明执行经验可构建更具适应性的控制层。
MAG：用于多模态动作与引导生成的网络智能体基准测试与工具包
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Monash University（莫纳什大学） ； Pusan National University（釜山国立大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL
AI总结 介绍MAG这一网络智能体基准测试，统一任务执行与引导写作，有基于截图的定位方案和完整工具包。用其评估模型并详细分析，还设计GRPO训练方法，提升智能体成功率与引导质量，指出当前模型任务完成率低，为后续研究提供方向。
Comments 8 pages main text, 21 pages total including appendices; 11 figures, 7 tables, 2 algorithms. Benchmark, harness, and model checkpoints to be released
通过世界模型从人类偏好和理由中学习安全智能体行为
机构 * University of Southampton（南安普顿大学） ； King’s College London（伦敦国王学院）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG
AI总结 研究在环境未知且无合适奖励函数时安全训练与部署智能体策略的问题，提出DROPJ方法，先学习世界模型，由人类在其中生成模拟轨迹并给出偏好及理由，据此训练奖励模型用于部署，实验表明该方法可降低训练成本、提升部署性能及安全性。
Comments 42 pages, 18 figures. Extended version of a paper presented at ICAART 2026; submitted for consideration in the ICAART 2026 post-publication selected-papers volume in Lecture Notes in Artificial Intelligence
量子电路视觉：用于量子代码生成的视觉人工智能代理的成本感知评估
机构 * Amazon Web Services（亚马逊网络服务） ； Duke Kunshan University（杜克昆山大学）
专题命中 Agent评测 ：AI agent(title,abstract)；分类 cs.AI、cs.LG
AI总结 研究人工智能代理对量子电路图的理解及代码生成成本，提出量子电路视觉评估框架，构建基准并评估模型，发现中级模型在成本-准确性上平衡最佳，电路深度是失败主因，提出级联路由策略并开源数据集及代码。
作为承重证据的智能体安全评估：一种供应商中立的跨线束可重构性度量
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.SE
AI总结 研究智能体安全评估结果缺乏承重证据问题，引入属性级可重构性度量及跨线束适配器，通过特定协议和方法定义相关指标，在公共和捆绑轨迹上验证，为安全评估提供可重构性度量及相关验证方法。
Comments 36 pages, 3 tables. Reproducibility package (scorer, fixtures, Evidence Sufficiency Cards): https://doi.org/10.5281/zenodo.21055696
DeepTutor：迈向代理式个性化辅导
机构 * The University of Hong Kong（香港大学）
专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI、cs.CL
AI总结 DeepTutor通过结合引用基础问题辅导与难度校准的问题生成，提出一个统一的开放源码框架，利用静态知识和动态学习者记忆实现个性化适应，并在五个领域大学课程中评估个性化教学效果。
Comments Tech Report, work in progress. Code available at https://github.com/HKUDS/DeepTutor
Prompt Coach：软件开发中用于学习提示工程的智能导师的实证评估
机构 * Accenture Labs, India（Accenture实验室，印度） ； Accenture, India（Accenture，印度） ； Accenture, USA（Accenture，美国）
专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI、cs.SE
AI总结 研究针对软件开发人员难以掌握的提示工程技能，提出智能导师Prompt Coach，通过苏格拉底式指导助其学习编写高质量代码生成提示，经实证研究，15名专业开发者参与，单次课程后有显著改进，提升了提示编写技能。
Comments 7 pages. To be published in the proceedings of 41st International Conference on Automated Software Engineering (ASE '26), October 12-16, 2026, Munich, Germany (Industry Showcase Track)
CostNav：一个用于现实世界经济成本评估的物理AI代理导航基准
机构 * KAIST（韩国国立科学技术院） ； University of California, Irvine（加州大学 Irvine 分校） ； Seoul National University（首尔国立大学）
专题命中 Agent评测 ：AI agent(title,abstract)；分类 cs.AI、cs.LG
AI总结 CostNav引入了一个经济导航基准，通过结合物理模拟和行业数据，评估AI代理的经济可行性，发现高任务成功率并不保证经济性，CANVAS在非零SLA合规性下表现最佳。
技能并非孤岛：衡量智能体技能供应链中的依赖性与风险
机构 * Peking University（北京大学） ； Zhongguancun Laboratory（中关村实验室）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.SE
AI总结 提出智能体技能供应链（ASSC）概念，设计SkillDepAnalyzer工具从自然语言中提取依赖关系，在超143万技能上揭示四种结构模式和安全风险，建议类型化依赖清单和风险预警审计。
分解即指纹：面向智能体技能的组件级身份标识
机构 * Palo Alto Networks
专题命中 Agent评测 ：agent(title)；AI agent(abstract)；分类 cs.CL、cs.LG
AI总结 提出一种基于多组SimHash的局部敏感指纹，将技能分解为提示、代码和工具三元组，通过汉明距离比较实现技能家族识别与变更定位，AUC达0.974。
MemDelta：智能体记忆评估中的受控基线和隐藏混杂因素
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL、cs.LG
AI总结 提出MemDelta控制评估协议，通过逐一改变组件发现RAG与全上下文基线排名因模型而异，嵌入模型切换可翻转结论，智能体自记忆不如基本检索，建议固定嵌入模型并分层报告。
Comments 13 pages, 2 figures
面向可泛化与可证据的核磁共振分子结构解析：基于大语言模型智能体的方法
机构 * Information Hub, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）信息中心） ； State Key Laboratory of Precision and Intelligent Chemistry, University of Science and Technology of China（中国科学技术大学精密与智能化学国家重点实验室） ； State Key Laboratory of Physical Chemistry of Solid Surface, College of Chemistry and Chemical Engineering, Xiamen University（厦门大学化学系固态表面物理化学国家重点实验室） ； The University of Hong Kong（香港大学） ； Peking Union Medical College and Chinese Academy of Medical Sciences（北京协和医学院中国医学科学院） ； The Hong Kong University of Science and Technology（香港科技大学） ； Hunan University（湖南大学） ； AI for Science Center, Shanghai Artificial Intelligence Laboratory（上海人工智能实验室人工智能科学中心）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG
AI总结 提出NMRAgent智能体，结合大语言模型、光谱分析工具和化学知识图谱，通过证据推理实现高精度、可解释的分子结构解析，在新型骨架测试集上Top-1准确率提升46.5%。
SEATauBench：将工具-代理-用户评估适配到低资源东南亚语言
机构 * SEACrowd ； SCB DataX ； SCBX Group ； Chulalongkorn University（朱拉隆功大学） ； VISTEC ； Cohere
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL
AI总结 提出SEATauBench，首个针对东南亚语言的智能体评估框架，通过渐进式本地化设置评估模型，发现英文能力在对话语言变化时迁移良好，但任务上下文本地化后质量与鲁棒性显著下降。
Comments 23 pages
MacAgentBench: 在真实macOS桌面上基准测试AI代理
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Xi’an Jiaotong University（西安交通大学） ； Fudan University（复旦大学） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Tsinghua University（清华大学）
专题命中 Agent评测 ：AI agent(title)；agent(abstract)；分类 cs.AI、cs.CL
AI总结 提出MacAgentBench，包含676个跨25个应用的任务，采用规则评估和细粒度多检查点评分，实验表明最佳配置（OpenClaw上的Claude Opus 4.6）达到73.7% Pass@1，优势主要来自技能库而非框架设计。
BabelJudge: 跨语言和智能体轨迹中LLM作为评判者可靠性的测量
专题命中 Agent评测 ：agent(title)；agentic(abstract)；分类 cs.AI、cs.CL
AI总结 提出BabelJudge基准，通过受控扰动生成已知标签的成对样本，无监督地测量评判模型的位置偏差、冗长偏差、顺序不一致和跨语言退化，发现Swahili顺序一致性接近随机。
Comments 8 pages, 4 figures. Source code, benchmark toolkit, and reproduction scripts at https://github.com/Shreyaskc/BabelJudge
何时涌现共识是真实的？一种测量耦合增益与LLM智能体社会的有效性诊断
机构 * DeepLethe
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL
AI总结 针对LLM智能体社会中的涌现共识或极化现象，提出基于反事实扰动的耦合增益测量方法，并建立有效性诊断工具，区分真实社会动态与模型伪影。
Comments 13 pages (incl. appendix with proofs), 7 figures. Code and per-run logs released
从问答到任务完成：智能体系统与执行框架设计综述
机构 * City University of Hong Kong（香港城市大学） ； University of Sydney（悉尼大学） ； Peking University（北京大学） ； TokenRhythm Technologies（TokenRhythm 科技公司）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL
AI总结 本文从模型-执行框架视角综述LLM智能体，分析模型瓶颈与执行框架设计，提出六组件分解法，并探讨任务完成、效率与可靠性的影响因素。
驾驭智能体技能：技能中介LLM智能体的架构模式与参考架构
机构 * Responsible AI Research (RAIR) Centre（负责任人工智能研究中心） ； Adelaide University（阿德莱德大学） ； University of New South Wales（新南威尔士大学）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG
AI总结 本文提出十种经验性架构模式（五种核心、五种辅助）用于技能中介，并综合成包含供应链、中介、执行控制、证据与反馈四层的参考架构，通过跨实例化评估提供分析框架。
AGENTSERVESIM：面向多轮LLM智能体服务的硬件感知模拟器
机构 * University of Central Florida（中佛罗里达大学）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL
AI总结 提出AGENTSERVESIM模拟器，通过程序编排器、工具模拟器、会话感知路由器和KV驻留模型等模块，在程序粒度上评估多轮LLM智能体服务策略，在CPU上以6%误差复现真实系统行为。
Comments Preprint
扩展企业智能体路由：退化、诊断与恢复
机构 * Superhuman, Inc.（Superhuman公司）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL
AI总结 研究企业助手工具库扩展时路由准确率下降问题，通过嵌入预选恢复F1分数10-17个百分点。
Comments 10 pages (6 main + 4 appendix), 4 figures, 6 tables
智能体轨迹作为程序：编码智能体行为的指纹识别与编程
机构 * McGill University（麦吉尔大学） ； Taste Labs
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG、cs.SE
AI总结 提出通过程序性表示分析智能体行为模式，实现轨迹指纹识别（85.7%准确率），并开发ProcGrep库用于审计和评估智能体任务处理过程。
何时应条件化智能体信任？表征与攻击智能体群中的技能条件声誉
机构 * Shenzhen University（深圳大学）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG
AI总结 研究异构LLM智能体群中技能条件信任的适用条件，通过相图分析揭示其在高异质性、稀疏证据和技能相关场景下有效，但存在跨技能证据被攻击者利用的风险，提出条件信息值测试（CIVT）量化攻击影响。
Comments 18 pages, 8 figures, 2 tables
同意的代价：在代理金融应用中衡量LLM的谄媚行为
机构 * Writer, Inc.（Writer公司）
专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI、cs.LG
AI总结 研究评估LLM在金融代理任务中的谄媚行为，发现模型对用户反驳仅表现低至中等性能下降，但偏好信息导致多数模型失败，并测试了输入过滤等恢复方法。
Comments Accepted to ICLR 2026 FinAI Workshop
通过对抗性黑客-修复者循环强化智能体基准测试
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Fewshot Corp（Fewshot公司） ； Independent Researcher（独立研究员）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG
AI总结 提出黑客-修复者循环方法，通过LLM代理交替攻击和修补验证器，自动生成抗利用的验证器，将KernelBench攻击成功率从62%降至0%。
在线智能体作为裁判：面向交互式智能体的情境生成评估
机构 * KAIST（韩国科学技术院）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG
AI总结 提出在线智能体作为裁判框架，通过部署环境内评估智能体主动生成相关情境，以评估交互式社交智能体的能力，提高标准覆盖率和与人类标签的一致性。
Comments ICML 2026 Workshop on Trustworthy AI for Good
LLM 智能体应看到多少工具？一种机会校正的答案
机构 * II Meta Platforms（Meta平台）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG
AI总结 针对 LLM 智能体工具选择中候选列表长度优化问题，提出基于机会校正的 Bits-over-Random (BoR) 指标，并将其转化为强化学习奖励，实现每查询自适应深度选择，在保持覆盖率的同时显著减少展示工具数量并提升下游工具选择准确率。
Comments 13 pages, 2 figures
HighTide：一个由智能体策划的开源VLSI基准测试套件
机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.SE
AI总结 提出HighTide，一个由AI辅助策划的开源VLSI基准测试套件，通过12种智能体技能覆盖设计生命周期，并集成Bazel增量编译和远程缓存。
TadA-Bench：面向智能蛋白质工程的未来轮次发现的百万变异基准
机构 * Tsinghua University（清华大学）
专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI、cs.LG
AI总结 TadA-Bench 是一个基于31轮TadA定向进化的百万变异湿实验回放基准，通过定义固定数据回放任务来评估模型在未见过的未来轮次中排序变异的能力，并引入Seq2Graph统一标签，揭示进化覆盖度比局部数据密度更重要。
Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026). Data: https://huggingface.co/datasets/JinGao/TadABench-1M . Code: https://github.com/shiyegao/TadABench-1M
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈