AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
Autodata: 一种创建高质量合成数据的智能数据科学家方法
机构 * Meta
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 提出Autodata方法，让AI代理充当数据科学家，通过元优化学习创建更优的训练和评估数据，在计算机科学、法律推理和数学推理任务上优于传统方法。
ContextNest：自主AI智能体的可验证上下文治理
机构 * PromptOwl, LLC（PromptOwl公司） ； Goizueta Business School, Emory University（埃默里大学戈伊苏埃塔商学院） ； IBM Research（IBM研究院）
专题命中 Agent评测 ：agent(title,abstract)；AI agent(title,abstract)；分类 cs.AI
AI总结 提出ContextNest，一种在检索前提供上下文治理的开放规范，通过版本链、哈希校验和审计追踪确保知识可验证性，实验表明其在防过时攻击和检索确定性上优于传统方法。
Comments 35 pages, 11 tables, 4 figures
用于智能体控制的生物基序
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；autonomous agent(abstract)；multi-agent(abstract)
AI总结 研究大语言模型向自主智能体转变带来的可靠性等挑战，通过基因调控网络与智能体软件系统的类型化接口对应，映射生物基序到软件设计模式，给出智能体操作数等核心贡献并具实践可行性。
Comments 80 pages. Preprint; feedback welcome
智能服务计算
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；autonomous agent(abstract)；multi-agent(abstract)
AI总结 探讨服务计算范式转变带来的新问题，基于现有研究基础，引入智能服务计算，扩展服务计算范畴，为未来服务生态系统奠定以服务为中心的基础，实现对自治代理的系统管理。
领域特定智能体的符号护栏：在不牺牲效用的情况下提供更强的安全性和安全性保证
机构 * Carnegie Mellon University（卡内基梅隆大学）
专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract,abstract_cn)；分类 cs.AI、cs.SE
AI总结 本文研究了符号护栏在提高AI智能体安全性和安全性方面的有效性，通过系统回顾80个最新基准测试，发现74%的政策要求可通过符号护栏实现，从而在不牺牲效用的情况下提升安全性和安全性。
自主信息寻求：智能推荐系统路线图
机构 * National University of Singapore（新加坡国立大学） ； Polytechnic University of Bari（巴里理工大学） ； Renmin University of China（中国人民大学） ； University of Science and Technology of China（中国科学技术大学）
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；tool use(abstract)；分类 cs.CL
AI总结 综述基于大语言模型的智能体融入推荐系统带来的转变，介绍基于自主性水平的分类法及三种核心范式，分析各范式采用的架构和智能体对关键组件的增强，探讨评估方法及未解决问题，指出开放挑战。
ArchEval：将人工智能代理作为计算机架构师进行评估
专题命中 Agent评测 ：AI agent(title)；agent(abstract)；tool use(abstract)；workflow(abstract)
AI总结 介绍用于评估大语言模型代理在计算机架构设计与优化方面的ArchEval基准和平台，含20个挑战及8个模拟器，通过不同设置运行，报告性能并记录轨迹，揭示当前代理的优缺点及后续所需能力。
CAGE-1：企业智能代理人工智能的控制、保证和治理评估
机构 * Independent technical report（独立技术报告）
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.SE
AI总结 研究企业人工智能从实验转向运营工作流带来的评估问题，介绍CAGE-1评估框架，评估多方面内容，引入预绑定保证，用于判断企业代理是否可部署。
Comments 17 pages, 3 figures; independent technical report
PACE：智能体能力评估的代理框架
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Salesforce AI Research（Salesforce人工智能研究）
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL
AI总结 提出PACE框架，通过从非智能体评测中选取原子实例构建代理基准，以低成本高精度预测智能体基准性能，在14个模型上实现MAE<4%、Spearman>0.80。
EvoAgentBench：通过能力迁移评测智能体自进化的基准平台
机构 * Anhui University（安徽大学） ； EverMind, Shanda Group（盛趣游戏灵眸智能科技） ； Southeast University（东南大学）
专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI
AI总结 针对现有评测无法分离大语言模型智能体程序性经验迁移的问题，提出跨四领域的EvoAgentBench基准，可将自进化评测转为对经验编码、路由与吸收的细粒度诊断。
Comments 15 pages, 2 figures, 8 tables
双视图：防止个人人工智能代理中的间接提示注入
机构 * Seoul National University（首尔国立大学）
专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI
AI总结 研究个人人工智能代理面临的间接提示注入攻击问题，提出双视图方法，通过扩展不可信数据跟踪到用户环境，部署为插件，有效阻止攻击并保持实用性。
用于开源情报和网络调查的智能与生成式人工智能：分类法、评估、挑战及未来方向
机构 * School of Computer Science and Mathematics, Keele University（基尔大学计算机科学与数学学院） ； Cybersecurity Institute, University of Liverpool（利物浦大学网络安全研究所） ； Department of Applied Computing IICL, University of Wales Trinity Saint David（威尔士特里尼达大学应用计算系） ； Deakin Cyber Research and Innovation Hub, Deakin University（德金大学网络安全研究与创新中心） ； Department of Information Systems and Cyber Security, The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校信息系与网络安全系）
专题命中 Agent评测 ：agentic(title,abstract)；tool use(abstract)；分类 cs.AI
AI总结 研究指出公开数字信息增长使人工开源情报分析不足，大语言模型等成解决方案但评估框架滞后。通过综述74项研究，明确智能人工智能类别，找出幻觉验证差距，映射研究到情报生命周期并给出研究议程。
Comments 36 Pages
TRACE: 面向能力的代理训练
机构 * Stanford University（斯坦福大学）
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI
AI总结 TRACE通过对比成功与失败轨迹自动识别能力缺失，合成针对性训练环境并利用RL训练适配器，提升代理在不同环境中的表现。
Gavel: 智能体结合检查表评估LLM长上下文法律摘要
机构 * Georgia Institute of Technology（佐治亚理工学院）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL
AI总结 提出Gavel框架，通过参考评估和免参考智能体评估12个前沿LLM在多文档法律摘要中的表现，发现模型易遗漏关键信息而非幻觉，且性能随案件长度增加而下降。
Comments webpage at https://yao-dou.github.io/gavel/
PiSAs：多用户智能体系统中情境完整性的基准测试
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)
AI总结 研究多用户智能体系统新隐私风险，引入PiSAs基准，用双重情境完整性注释评估无意泄露，可跨组件和接口测量跨用户数据泄露，发现模型判断影响结果，强调隐私保护策略需求。
用于自动驾驶的智能体驱动长尾模拟
机构 * IIIS, Tsinghua University（清华大学交叉信息研究院） ； Bosch Research（博世研究院）
专题命中 Agent评测 ：agent(title,abstract)；planning(abstract)
AI总结 针对现有自动驾驶模拟器局限性，提出智能体驱动模拟框架，通过结构化动作接口由大语言模型控制道路参与者，还引入SemanticPlan基准测试，结果表明长尾场景仍具挑战性。
技能覆盖率：一种用于智能体技能的测试充分性度量
机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； University of Liverpool（利物浦大学）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG、cs.SE
AI总结 提出技能覆盖率度量，通过提取技能文档中的行为约束并评估智能体轨迹是否提供足够证据来测试技能，发现现有基准仅覆盖39.90%-43.98%的约束。
超越预测：预测市场代理中的信念到交易层
机构 * Hong Kong University of Science and Technology（香港科学与技术大学） ； The University of Hong Kong（香港大学） ； Massachusetts Institute of Technology（麻省理工学院）
专题命中 Agent评测 ：agent(summary_cn,abstract)；分类 cs.AI
AI总结 以预测未来事件为通用人工智能测试平台，提出Raven-Agent这一预测市场自主交易代理，在存档决策集的控制重放中表现出色。
Comments 10 pages, 4 figures
CostNav：一个用于现实世界经济成本评估的物理AI代理导航基准
机构 * KAIST（韩国国立科学技术院） ； University of California, Irvine（加州大学 Irvine 分校） ； Seoul National University（首尔国立大学）
专题命中 Agent评测 ：AI agent(title,abstract)；分类 cs.AI、cs.LG
AI总结 CostNav引入了一个经济导航基准，通过结合物理模拟和行业数据，评估AI代理的经济可行性，发现高任务成功率并不保证经济性，CANVAS在非零SLA合规性下表现最佳。
HAS-Bench：在可配置人类参与下评估基于大语言模型的人机系统
机构 * The University of Tokyo（东京大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； MBZUAI ； McGill University（麦吉尔大学） ； Zhejiang University（浙江大学）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI
AI总结 介绍基于图的HAS-Framework框架，在此基础上HAS-Bench在多方面可配置人类参与下评估人机系统，测量任务结果与协作行为，实验表明人类参与可提升任务完成等，但收益取决于参与方式等。
压缩、结构与执行能力：语言模型智能体技能优化的可控实际成本分解
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.SE
AI总结 研究通过对多种条件下的技能交付进行可控分解，分离出无技能执行、原始技能等因素，对比质量（任务级验证通过率）和成本（解决阶段令牌成本），发现执行能力是主导因素，无优化表示比原始技能更优。
Comments 18 pages, 3 figures, 5 tables. Data and reproduction script: https://doi.org/10.5281/zenodo.21148499
驯服I2V模型用于图像HOI编辑：认知基准与智能体自校正框架
机构 * Wangxuan Institute of Computer Technology, Peking University, Beijing, China（王轩计算机技术研究所，北京大学，北京，中国） ； National Institute of Health Data Science, Peking University, Beijing, China（国家健康数据科学研究院，北京大学，北京，中国）
专题命中 Agent评测 ：agentic(title,abstract)
AI总结 提出HOI-Edit基准和SCPE框架，利用I2V模型的时间生成能力进行动态人-物交互编辑，通过自校正提示迭代优化，实现与SOTA竞争的性能。
SovereignPA-Bench：在演化意图、平台中介与同意约束下评估用户自有个人智能体
机构 * Stanford University（斯坦福大学）
专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；tool-use(abstract)；分类 cs.AI
AI总结 针对现有基准未考量个人智能体用户主权保护的问题，提出可执行基准SovereignPA-Bench，从多维度评估智能体主权能力，验证全主权框架可显著降低隐私泄露等风险。
ResearchClawBench: 端到端自主科学研究基准
机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 提出ResearchClawBench基准，包含10个领域40个任务，通过多模态评分标准评估自主科研能力，最强智能体仅得21.5分，揭示当前系统在实验协议、证据匹配和科学核心方面的不足。
边界度作为基于智能体的级联模拟中流行病场景识别的节点级特征
机构 * Biocomplexity Institute（生物复杂性研究所）
专题命中 Agent评测 ：agent(title)；分类 cs.LG
AI总结 提出边界度作为节点级级联特征，通过消融实验证明其单独提升场景识别准确率19%，并理论证明无边界或边信息时某些场景不可区分。
Comments 28 pages, 10 figures, preliminary version; not final
凯恩斯先生与……复杂性！《通论》的一个建议模型
专题命中 Agent评测 ：agent(title)
AI总结 提出凯恩斯《就业、利息和货币通论》的数学模型，核心方法是依据原文，主要贡献是表明流动性偏好、资本边际效率和边际消费倾向决定既定利率下的总收益与就业水平。
迈向医疗保健领域值得信赖的大语言模型智能体
专题命中 Agent评测 ：agent(abstract)；function calling(abstract)；分类 cs.AI
AI总结 针对医疗预约调度瓶颈，提出CareConnect智能体，利用大语言模型函数调用等技术，协调工具支持预约操作，设安全护栏。经评估有高任务完成率、安全合规性及成本效益，能自动化复杂医疗工作流程。
APeB：大型语言模型智能体个性化能力基准测试
机构 * The Chinese University of Hong Kong（香港中文大学） ； ByteDance（字节跳动）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI
AI总结 研究大型语言模型智能体在处理原始、未明确查询时的个性化问题，通过引入个性化产品搜索测试平台构建基准测试，评估发现模型处理明确查询较好，但早期查询有困难，简单方法能提升性能。
Comments NA
用于人类与人工智能协作决策的以人类为中心的反思架构
机构 * University of Piraeus（比雷埃夫斯大学）
专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI
AI总结 研究人类与人工智能协作决策问题，将其建模为随机博弈，提出以人类为中心的反思架构，整合人类校准模型与强化学习智能体，提升决策有效性并给出高质量建议。
DramaDirector: 几何引导的短剧生成
机构 * South China University of Technology（华南理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI
AI总结 提出几何引导框架DramaDirector，通过检索真实短剧的深度-姿态参考，结合模式约束SFT和GRPO训练规划器，实现从情节到多镜头短剧的生成，在忠实度、一致性和可控性上优于基线。
Comments 20 pages, 17 figures, 6 tables. Code is available at https://github.com/iLearn-Lab/DramaDirector
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈