AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
JT-SAFE-V2：具有世界上下文数据的安全设计基础模型
机构 * JIUTIAN Research（九天研究院）
专题命中 记忆与上下文管理 ：agentic(abstract)；分类 cs.AI
AI总结 提出JT-Safe-V2大语言模型，通过世界知识预训练、高确定性训练和安全强化后训练实现通用智能与安全设计的联合优化，并引入Safe-MoMA框架降低推理成本，在通用智能和安全基准上达到最优性能。
SkillEvolBench：从情景经验到程序性技能的演化基准测试
机构 * The Ohio State University（俄亥俄州立大学） ； The University of Chicago（芝加哥大学） ； University College London（伦敦大学学院） ； University of Michigan（密歇根大学） ； The Chinese University of Hong Kong（香港中文大学） ； Case Western Reserve University（凯斯西储大学） ； Amazon（亚马逊）
专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.AI
AI总结 提出SkillEvolBench基准，通过六个真实环境中的180个任务，评估大语言模型代理能否将情景经验提炼为可复用的程序性技能，发现当前代理难以形成稳健的技能，且原始轨迹复用优于蒸馏技能。
多市场价值堆叠：结合不平衡参与和非均匀FCR投标的电池控制
机构 * Gent University - imec, IDLab（根特大学 - imec，IDLab）
专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.AI
AI总结 提出一种两阶段控制框架，通过非均匀FCR投标和深度强化学习实时交易，在保持FCR合规的同时实现7.56%的利润提升。
Comments 5 pages, 2 figures. Presented at ACM Sustainability Week 2026 (ACM Sustainability Week Companion 26), June 22-25, 2026, Banff, AB, Canada
道德风险问题中的实验比较
专题命中 记忆与上下文管理 ：agent(abstract)
AI总结 本文通过定义三种嵌套几何序（列空间、锥张成和带状多面体序）来比较道德风险问题中的信息结构，并证明这些序在可行状态依赖效用集、风险中性及有限责任下的成本、以及代理人具有一般货币偏好的成本等几类问题中具有等价刻画，从而为信息比较提供统一框架。
Agent World Model: 用于智能体强化学习的无限合成环境
机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
专题命中 Agent评测 ：agent(title,title_cn)；agentic(title)；autonomous agent(abstract)；tool-use(abstract)
AI总结 提出Agent World Model (AWM)全合成环境生成管道，通过代码驱动和数据库支持的环境进行大规模强化学习，使智能体在多样日常场景中泛化。
Comments Accepted to ICML 2026
CP-Agent: 一种用于反馈驱动竞赛编程的校准风险控制智能体
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
专题命中 Agent评测 ：agent(title,title_cn)；agentic(abstract)；分类 cs.CL
AI总结 提出CP-Agent，通过校准停止过程建模反馈驱动求解，结合双重粒度验证、测试增强和经验驱动自我进化机制，在不更新参数的情况下显著提升竞赛编程性能。
Comments Code: https://github.com/NineAbyss/CP-Agent
为每个行动投保：自主AI代理运行时精算控制的权威边界框架
机构 * Department of Risk Management and Insurance（风险管理与保险系）
专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；tool-use(abstract)；agentic(abstract)
AI总结 提出精算行动接口（AAI）和权威边界框架，通过确定性运行时合约对自主AI代理的副作用行动进行定价、门控和评估，实现跨领域的精算控制与基准测试。
Comments 35 pages, 4 figures, 11 tables. Companion paper on the mathematical foundations: SSRN 6761960
LiveMCP-101：对支持MCP的智能体进行压力测试与诊断
机构 * Duke University（杜克大学）
专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；autonomous agent(abstract)；tool use(abstract)
AI总结 针对MCP工具在动态多步任务中的评估空白，提出LiveMCP-101基准测试（101个真实查询），通过并行评估框架发现前沿LLM成功率低于60%，并识别出七种失败模式。
迭代直到检索到：面向可发现持续修正的事实性片段优化在智能体RAG中的应用
机构 * Mosaic AI ； The Hebrew University of Jerusalem（希伯来大学杰里科分校）
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.CL
AI总结 提出迭代片段优化（INO）方法，通过将反馈转化为事实性片段并利用生产环境智能体RAG系统迭代优化，提升事实性修正的可发现性和使用率。
实用量子CIM赋能：基于全自主核心智能体大模型
机构 * Department of Chemical Engineering, Tsinghua University（清华大学化学工程系）
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI
AI总结 本研究将飞秒激光泵浦的相干伊辛机与LLM驱动的智能体系统结合，实现QUBO/Ising模型校准、约束权重决策迭代和文献方案快速验证，并完全基于国产大模型和硬件完成，同时发现智能体辅助量子计算迭代可反向增强智能体问题解决能力的新范式。
Comments 21 pages 7 figures
ProofAgent Harness：用于AI智能体对抗性评估的开放基础设施
专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)
AI总结 提出ProofAgent Harness开放基础设施，通过对抗性多轮试验、轨迹捕获和多评委评分，实现可扩展、可审计的AI智能体对抗性评估。
Comments 48 pages, 3 figures
合同技能：面向企业AI代理的GovernSpec设计框架
机构 * SymbolicLight Research（SymbolicLight研究院）
专题命中 Agent评测 ：AI agent(title)；agent(abstract)；分类 cs.AI、cs.SE
AI总结 提出一种基于GovernSpec的合同技能设计框架，通过组织SKILL.md文件为可读任务合同，明确任务意图、边界和验收标准，实验表明该框架能提升生成质量并降低关键错误率。
Comments 15 pages, 5 figures, 4 tables. v2 adds a public-skill A/B study, updates experimental results, and adds a public replication package link: AGI/contractual-skill" target="_blank" rel="noopener">https://github.com/SymbolicLight-AGI/contractual-skill
ContextEcho: 长智能编码会话中角色漂移的基准测试
机构 * Center for Advanced AI（先进人工智能中心）
专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.CL、cs.SE
AI总结 提出ContextEcho基准测试，通过25探针身份套件和快照-探针协议，测量部署规模下长编码会话中语言模型角色漂移的普遍性、压缩影响及下游效应。
面向智能体的LLM工具注册表信息设计
机构 * Massachusetts Institute of Technology（麻省理工学院）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI
AI总结 本研究首次系统性地分析了LLM工具注册表中广告式描述对智能体选择的影响，发现法律上允许的夸大宣传（如主观最高级表述）完全主导优化效果，而虚假声明无额外影响，并提出了分离选择导向与营销导向描述及智能体注意力质量分数等注册表设计建议。
元模态智能体：面向缺失模态候选重排序的序列证据路由
专题命中 Agent评测 ：agent(title,abstract)
AI总结 提出元模态智能体（MMA），将缺失模态问题转化为序列证据路由任务，通过基于大语言模型的候选池重排序器，结合平衡缺失任务强化学习，在冷启动场景下显著提升推荐性能。
"感觉有点诡异"：与人工智能体协作写作中类人交互的探索
专题命中 Agent评测 ：agent(title,abstract)
AI总结 通过构建三种不同类人程度的AI辅助编辑器并开展用户研究，探讨协作的时间与视觉维度如何影响写作体验及人机社会连接。
Comments 29 pages, 3 figures
将LLM智能体安全重新定义为智能体-人类交互问题
专题命中 Agent评测 ：agent(title,abstract)
AI总结 本文通过系统分析59篇学术论文、21个生产智能体系统和26个安全插件，论证LLM智能体安全本质上是智能体-人类交互问题，而非纯算法问题，并提出了三方向研究议程。
当手册撒谎：评估LLM智能体MCP投毒攻击的现实基准
机构 * Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院）
专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI
AI总结 针对LLM智能体通过模型上下文协议（MCP）集成外部工具时面临的工具描述投毒（TDP）攻击，提出MCP-TDP安全基准，包含32个真实测试用例，评估8种主流LLM发现严重漏洞，并提出反应性自我纠正防御机制。
为什么你的深度研究智能体会失败？关于完整研究轨迹中的幻觉评估
机构 * Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学）
专题命中 Agent评测 ：agent(title)；分类 cs.AI
AI总结 针对深度研究智能体（DRA）在完整研究轨迹中累积的幻觉问题，提出从结果评估转向过程感知评估的PING分类法和细粒度评估框架，并构建DeepHalluBench基准，实验揭示系统性的可靠性差距。
TS-Skill: 用于评估时间序列问答中分析技能的基准
机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Samsung Research America（三星美国研究院） ； Carnegie Mellon University（卡内基梅隆大学） ； Microsoft（微软） ； Amazon（亚马逊）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL
AI总结 提出TS-Skill基准，通过三种可组合的分析技能（时间尺度选择、时间定位和跨区间整合）来诊断时间序列问答中模型的信号级能力，并开发SKEvol框架自动构建基准，实验揭示不同技能上的能力差距。
基准测试与学习真实世界客服对话
机构 * ByteDance, Beijing, China（字节跳动，北京，中国）
专题命中 Agent评测 ：workflow(abstract)；agentic(abstract)；分类 cs.CL
AI总结 针对工业智能客服与真实对话需求脱节的问题，提出OlaBench基准和OlaMind模型，通过蒸馏专家推理模式与分阶段强化学习，在OlaBench上超越GPT-5.2和Gemini 3 Pro，在线A/B测试中问题解决率提升23.67%，人工转接率降低6.6%。
AION：下一代时间序列任务与实用框架
机构 * Griffith University（格里菲斯大学） ； Shenzhen University（深圳大学） ； Zhejiang University（浙江大学）
专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；分类 cs.AI
AI总结 针对时间序列研究向结合预测、上下文推理、工具使用和结构化决策支持的现实任务转变，提出AION框架，通过时间锚定、知识推理和可靠性机制（如实验后分析和分层审查）实现更详细的过程追踪和审查步骤。
Comments Project page and code are available at https://github.com/ztxtech/aion
SaaS-Bench：计算机使用代理能否利用真实世界SaaS解决专业工作流程？
机构 * UniPat AI ； PKU（北京大学） ； HKU（香港大学） ； G Labs（0G实验室） ； Pipeline Lab（Pipeline实验室）
专题命中 Agent评测 ：agent(abstract)；planning(abstract)；分类 cs.AI
AI总结 提出SaaS-Bench基准，包含23个可部署SaaS系统和106个真实工作场景任务，评估计算机使用代理在长期规划、跨应用协调等能力上的表现，发现最强模型端到端任务完成率不足4%。
Comments 24 pages, 11 figures
模型遵循其宪法的程度如何？
机构 * Anthropic
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI
AI总结 提出多方法审计流程，评估前沿AI模型在对抗性多轮交互中遵循其书面行为规范（如Anthropic宪法和OpenAI模型规范）的程度，发现新一代模型违规率显著下降。
Comments 37 pages including appendix. Code, tenet lists, and full transcripts: https://github.com/ajobi-uhc/constitution-audits. Companion blog post on LessWrong/AI Alignment Forum: https://www.lesswrong.com/posts/Tk4SF8qFdMrzGJGGw/how-well-do-models-follow-their-constitutions
迈向评估工程：机器学习评估工具在野外的实证研究
机构 * Software Analysis and Intelligence Lab (SAIL), School of Computing, Queen's University（软件分析与智能实验室（SAIL），计算学院，女王大学） ； Concordia University（Concordia大学） ； Lahore University of Management Sciences (LUMS)（拉合尔管理科学大学（LUMS））
专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI、cs.LG、cs.SE
AI总结 通过对57个评估工具的实证研究，提出五阶段工具模型，并分类16560个问题，发现规范阶段问题最多（41.4%），主要根因是未实现功能（24.3%）、文档缺失（20.3%）和输入验证缺失（17.2%），为将评估工程作为独立软件工程关注点奠定实证基础。
Hodge 丛的简单性
专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)
AI总结 本文证明了亏格 $g \geq 2$ 的曲线模空间上的 Hodge 丛不包含任何非平凡子丛。
Comments The human had dropped the 4 in Lemma 2.7 during re-write -- now it's been fixed. See Human Comment 2.8
STREAM：一个以数据为中心的框架，用于从流媒体中挖掘高价值任务导向对话
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Byering Technology（伯英技术）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL
AI总结 提出STREAM框架，利用流媒体数据合成大规模多领域任务导向对话数据集StreamDial，通过角色构建和对话蓝图结合RAG生成高质量对话，解决数据稀缺问题。
通过详细的宪法定义和AI驱动的评估提高标注一致性
机构 * Cisco AI Defense（思科AI防御）
专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI、cs.CL
AI总结 提出一种AI驱动的工作流，通过为每个类别编写详细的宪法定义并由前沿LLM解释，以比人类更一致和准确地生成黄金标签，在三个内容审核类别上将跨模型不一致性降低高达57倍。
Comments Under review at ACL Rolling Review (ARR), May 2026 cycle. Also available at https://doi.org/10.5281/zenodo.20125267
DiscoverPhysics: 基准测试LLMs的即用型科学思维
机构 * Princeton University（普林斯顿大学） ； Boston University（波士顿大学） ； New York University（纽约大学） ； Flatiron Institute（Flatiron研究所） ； Institute for Advanced Studies（高级研究研究所）
专题命中 Agent评测 ：agent(abstract)；分类 cs.LG
AI总结 提出DiscoverPhysics交互式基准，通过让LLM代理探索物理定律偏离现实的模拟世界，评估其设计实验、修正假设和发现物理规律的能力。
因果方法在LLM开发与评估中的应用
机构 * Imperial College London（帝国理工学院伦敦分校） ； University of Toronto（多伦多大学）
专题命中 Agent评测 ：agentic(abstract)；分类 cs.LG
AI总结 本文提出因果方法可解决LLM开发与评估中的关键因果问题，并系统梳理其在预训练、对齐、路由等环节的应用机会。
Comments Published in KDD 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈