AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
基准测试并非验证：金融大语言模型应用的系统级视角
机构 * Prometeia S.p.A.（普罗米特亚公司）
专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；分类 cs.CL、cs.SE
AI总结 该研究指出金融大语言模型不能仅靠基准测试验证，提出需从系统全栈进行多层验证，还讨论了LLM-as-a-judge的应用与控制措施，强调要研究系统感知基准等相关方向。
KernelGenBench：面向基于大语言模型的内核生成的多源多芯片基准测试
机构 * Beijing Normal University（北京师范大学） ； Beijing Jiaotong University（北京交通大学） ； Institute of Automation, CAS（中国科学院自动化研究所） ； Peking University（北京大学） ； BAAI（北京智源人工智能研究院）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG
AI总结 该研究提出KernelGenBench基准，评估LLM与智能体生成的Triton内核，发现智能体方法优于纯LLM采样，cuBLAS算子最具挑战，跨平台性能退化严重，自主生成成本远高于简单采样。
Comments 10 pages, 4 figures. Code and data are publicly available at https://github.com/flagos-ai/KernelGenBench
基于验证器的基准协同进化的自修改精益证明智能体
机构 * University of Pittsburgh（匹兹堡大学）
专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.LG
AI总结 研究设计有效精益证明智能体的挑战，提出自进化精益证明智能体，其工作区可变，与基准协同进化，通过特定更新机制保持分数可比，经实验验证该方法能有效改善精益证明工作流程。
Comments 22 pages, 2 figures, 3 tables
EvoClawBench：智能体能否从自身运行中学习可复用技能？
机构 * Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； Hithink Research（同花顺研究院）
专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；分类 cs.LG、cs.SE
AI总结 研究智能体能否从自身运行学可复用技能，引入EvoClawBench基准测试，涵盖多任务多子问题并支持多运行时。实验对比不同方式，发现直接基线性能依赖运行时，自我创作技能效果各异，表明学习可复用技能有选择性且成本敏感。
YUKTI：从自然语言情境到稳健、可验证的决策——一种不确定性类型的命题IR、假设稳健帕累托前沿和遗憾证书
专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.LG
AI总结 研究从自然语言情境生成稳健决策，核心方法是用类型命题图表示，经多求解器及分布帕累托交接耦合，并引入ARPF等。主要贡献是证明rho与决策遗憾关系，增加可追溯性，合成数据基础，通过多种验证方式展示方法有效性。
Comments 19 Pages , 21 figures
SolarChain-Eval：去中心化能源市场中可信经济主体的物理约束基准测试
机构 * Duke Kunshan University（杜克昆山大学）
专题命中 Agent评测 ：autonomous agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG
AI总结 针对去中心化能源市场中智能代理评估需兼顾任务性能与可信度的问题，提出物理约束基准测试SolarChain-Eval，将市场治理建模为马尔可夫决策过程，从多维度评估策略，纳入大语言模型规划器/审计器层，实验揭示效用与安全权衡及相关问题。
LLMs 是否已准备好辅助医生？PhysAssistBench：交互式医患-电子病历辅助基准
机构 * Aalto University（阿尔托大学） ； Tencent（腾讯） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Hong Kong Polytechnic University（香港理工大学） ； Aarhus University（奥胡斯大学） ； Technical University of Munich（慕尼黑工业大学）
专题命中 Agent评测 ：tool use(abstract)；agentic(abstract)；分类 cs.AI、cs.CL
AI总结 提出PhysAssistBench基准，通过构建交互式患者代理评估LLM在医患-EHR交互中的协调能力，发现当前模型不可靠，瓶颈在于多维度协调而非单一能力。
Comments 34 pages with 8 figures
RLVP：惩罚路径，奖励结果
机构 * Pine AI（松果人工智能公司） ； University of Washington（华盛顿大学）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG
AI总结 研究在现实世界中智能体在线学习面临的挑战，提出“惩罚路径，奖励结果”方法，能在几乎零违规情况下实现高任务成功率，并给出有效惩罚的设计规则。
EvalLoop：一种用于商业人工智能系统评估驱动迭代改进的方法
机构 * Robert Half（罗伯特·哈夫公司）
专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.SE
AI总结 研究针对商业AI系统评估忽视迭代改进价值的问题，提出EvalLoop方法，通过维度指标分组、故障模式分类和结构化迭代工作流程，实现评估驱动的迭代改进，经案例研究验证有效，还能助力模型选择与部署权衡，且被打包为可重用工件。
基于多模态图的社交媒体流行度预测基准测试
机构 * University of Oregon（俄勒冈大学） ； University of Georgia（佐治亚大学） ； Adobe Research（Adobe研究）
专题命中 Agent评测 ：planning(abstract)；agentic(abstract)；分类 cs.AI、cs.LG
AI总结 提出统一的多模态图基准MMG-Pop和模型MMG-PopNet，联合建模文本、视觉、时间与社交交互信号，在Bluesky和Reddit数据集上验证了跨平台泛化与多模态贡献。
UltraQuant: 面向上下文密集型智能体的4位KV缓存
机构 * Advanced Micro Devices（超威半导体） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Purdue University（普渡大学）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG
AI总结 针对上下文密集型智能体场景，提出UltraQuant方法，通过4位KV缓存压缩、旋转量化和代码本量化，结合AMD GPU优化，在长上下文多轮任务中延迟降低3.47倍，吞吐量提升1.63倍。
Comments 11 pages, 9 figures
IHBench：评估语音代理在结构化工作流中的中断后恢复能力
机构 * Boson AI
专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.LG
AI总结 提出IHBench基准，评估语音代理在结构化工作流中处理中断后的恢复能力，涵盖任务完成和恢复质量两个维度，实验表明闭源模型比开源模型更鲁棒。
AIPatient Arena：基于电子健康记录的大语言模型在端到端临床咨询工作流中的评估
机构 * School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学） ； Key Laboratory of Machine Intelligence and System Control, Shandong University（机器智能与系统控制重点实验室，山东大学） ； Department of Medicine and Therapeutics, The Chinese University of Hong Kong（医学与治疗学系，香港中文大学） ； Department of Geriatric Medicine, Qilu Hospital of Shandong University（老年医学科，山东大学齐鲁医院） ； Department of Psychiatry, The Chinese University of Hong Kong（精神病学系，香港中文大学） ； Li Chiu Kong Family Sleep Assessment Unit, Department of Psychiatry, Faculty of Medicine, The Chinese University of Hong Kong（李秋虹家庭睡眠评估单元，精神病学系，医学院，香港中文大学） ； Li Ka Shing Institute of Health Sciences, Faculty of Medicine, The Chinese University of Hong Kong（李嘉诚健康科学研究院，医学院，香港中文大学） ； Gerald Choa Neuroscience Institute, Department of Medicine and Therapeutics, The Chinese University of Hong Kong（Gerald Choa 神经科学研究所，医学与治疗学系，香港中文大学）
专题命中 Agent评测 ：planning(abstract)；workflow(abstract)；分类 cs.AI、cs.CL
AI总结 提出AIPatient Arena框架，通过电子健康记录构建患者知识图谱，在多轮医患交互中评估大语言模型的八项临床能力，发现模型在信息覆盖、诊断推理等方面存在不足，强调过程评估的重要性。
Comments 49 pages, 12 figues, 11 tables
LatentGym: 具有可控潜在结构的跨任务经验学习测试平台
机构 * Columbia University（哥伦比亚大学） ； Oumi Blog | Code | Models（Oumi博客 | 代码 | 模型）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG
AI总结 提出LatentGym测试平台，通过可控潜在变量分离探索与利用，研究LLM代理在跨任务序列中的适应性学习机制。
Comments 61 pages
语言模型在开放式任务中的自动化创造力评估
机构 * Raffles Institution（莱佛士书院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Lee Kong Chian School of Medicine, Nanyang Technological University（南洋理工大学李光前医学院） ； Centre of AI in Medicine (C-AIM), Nanyang Technological University（南洋理工大学人工智能医学中心）
专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL
AI总结 提出一种领域无关的自动化框架，通过语义熵和检索式多智能体评估，量化LLM在开放式任务中的发散与收敛创造力，并在问题解决、研究构思和创意写作三个领域验证其有效性。
Comments Accepted to ACL 2026 (Main Conference). 35 pages, 16 figures. Code: https://github.com/tanminsen/creativity-eval
T1-Bench：真实世界领域中的多场景智能体基准测试
机构 * Capital One（第一资本）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL
AI总结 提出T1-Bench，一个高保真、全面的基准，用于评估多领域真实客户场景中的智能体系统，通过交织的多轮交互任务提升复杂性和评估严谨性。
Comments Preprint
主动检索生成式人工智能何时应进行检索？效用、校准和成本的预算感知评估
机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Glasgow（格拉斯哥大学） ； Georgia Institute of Technology（佐治亚理工学院）
专题命中 Agent评测 ：agentic(abstract,abstract_cn)；分类 cs.LG
AI总结 研究主动检索生成式人工智能何时检索，通过将其重述为效用估计进行预算感知评估，并分离出相关三个问题，利用多种方法实现，在多数据集和模型中验证，强调评估应报告多方面指标。
Comments Accepted at the ACM SIGKDD KDD 2026 Workshop on Evaluation and Trustworthiness of Agentic AI; 7 pages, 1 figure, and 4 tables
柏拉图生物：通过时间再发现和结构基准进行验证优先的生物新奇性筛选
机构 * Praxa Labs（普拉克斯实验室）
专题命中 Agent评测 ：agent(abstract,comments)；workflow(abstract)；分类 cs.AI
AI总结 研究开发柏拉图生物，扩展开放架构并结合多种功能，修复评估缺陷。通过Python套件等验证其有效性，评估两个用例，如历史再发现任务及蛋白质结构比较，提供可重复软件契约和筛选基准，为生物研究提供支持。
Comments 16 pages, 6 figures, 3 tables. Companion code and data: https://github.com/Eldergenix/Plato-Scientific-Research-Autonomous-Agent. This fork-specific validation study cites, but does not duplicate, arXiv:2510.26887
开源LLM代理能否取代静态应用安全测试工具？一项实证评估
机构 * College of Engineering and Science, Florida Institute of Technology（工程学院与科学学院，佛罗里达理工学院）
专题命中 Agent评测 ：agentic(abstract,comments)；agent(abstract)；分类 cs.AI
AI总结 评估基于开源LLM的代理在静态应用安全测试中的性能，与SAST工具Bandit对比，发现当前不适合实际应用。
Comments Keywords: Agentic AI, Cybersecurity, Large Language Models, Static Application Security Testing, Model performance evaluation
WirelessOpsAgent：无线网络行动保障的基准测试与智能体设计
专题命中 Agent评测 ：agent(title)
AI总结 针对现有无线网络运维LLM智能体基准未测试执行阶段支持检查的问题，本文提出WirelessOptBench基准与WirelessOpsAgent智能体，使后者在600片段评估中精确行动准确率达0.983，不安全执行率大幅下降。
Comments 10 pages, 7 figures
VideoArgus：基于智能体评分规则的视频生成与编辑统一评估框架
机构 * University of Rochester（罗切斯特大学）
专题命中 Agent评测 ：agentic(title)
AI总结 针对现有视频评估基准的局限，本文提出VideoArgus框架，构建含1026个实例的VideoArgus-Bench，其在与人类判断的相关性上优于基准特定评估器，且模型排名稳定。
Comments Preprint
PCTD：用于智能体工具检索的偏好引导反事实任务分解
专题命中 Agent评测 ：agent(title)
AI总结 研究针对任务分解中因直接用检索指标作奖励易致奖励作弊及削弱域外泛化能力的问题，提出偏好引导反事实任务分解框架PCTD，通过反事实和偏好奖励改进，构建基准MTDTool，实验证明其在多方面超越现有方法。
时变速度下主动资产保护的协同制导与控制
专题命中 Agent评测 ：agent(title)
AI总结 提出一种资产与防御者协同的制导控制策略，通过时变速度与航向协调，结合视线率归零、防御者保持在视线线上以及基于剩余时间引导的三种几何与时间目标，实现对机动威胁的拦截。
Diagram-MMU：面向科学图表的多模态基准测试
机构 * Nanjing University of Science and Technology（南京理工大学） ； Baidu Inc（百度公司） ； AIML, Adelaide University（阿德莱德大学AIML） ； SUTD（新加坡科技设计大学） ； Southeast University（东南大学） ； East China Normal University（华东师范大学） ； University of Oxford（牛津大学）
专题命中 Agent评测 ：agentic(abstract,abstract_cn)；分类 cs.AI
AI总结 本文构建了多模态基准测试Diagram-MMU，评估MLLMs的科学图表解析与理解能力，发现图表转代码任务更具挑战，Claude-4.6 Opus在智能体场景下表现最优。
InfraBench：评估跨层级、全生命周期与风险的基础设施智能体
机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Iowa State University（爱荷华州立大学）
专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI
AI总结 针对AI智能体应对真实基础设施复杂度能力不明的问题，提出跨全系统栈、全生命周期且支持细粒度风险评估的InfraBench基准套件，实验表明现有最强智能体仍存在多方面失败模式。
Comments 17 pages, 6 figures. Preprint
MedUP：唤醒医学视觉-语言模型中的统一理解与感知能力
机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学）
专题命中 Agent评测 ：agentic(abstract,abstract_cn)；分类 cs.AI
AI总结 该研究提出MedUP模型，通过UniMedTok分词器在共享token空间统一医学视觉-语言模型的感知与理解，构建相关训练语料库和评估基准，在多医学任务上性能优于现有模型。
Comments 10 pages, 6 figures
一个方案，多种适配：自演化在不同语言和模型中编码了什么
专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.SE
AI总结 该研究固定演化方案，在八种编程语言和三个基础模型上分析自演化适配工具，发现其为语言需求与模型差距共同塑造的补偿层，可提升编码智能体性能并能蒸馏为通用工具。
Comments 20 pages, 12 figures, 9 tables. Includes appendix
WorldSimProbe：面向具身操控的动作条件世界模型的模拟器保真度诊断
机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； EvoPhys AI（EvoPhys人工智能公司） ； Joy Future Academy, JD（京东探索研究院） ； The University of Sydney（悉尼大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Beijing Institute of Technology（北京理工大学）
专题命中 Agent评测 ：agent(abstract)；planning(abstract)；分类 cs.AI
AI总结 该研究提出WorldSimProbe框架，通过五套受控测试评估动作条件世界模型的模拟器保真度，发现其存在动作实现退化等问题，为具身操控模型提供标准化诊断方法。
Comments 20 pages, 18 figures, and 10 tables, including supplementary material. Code and data: https://evophys.com/WorldSimProbe/
EnergyBridge：家庭能源管理、用户参与度与电网灵活性基准测试
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI
AI总结 本研究提出EnergyBridge基准框架，结合特定区域EnergyPlus环境与LLM用户模拟器，在含584组人类角色扮演判断的实验中，实现了更高授权率、更低能耗与更可靠容量承诺，推动以人为本的电网灵活性研究。
商业竞技场：在现实市场中对大语言模型智能体进行基准测试
机构 * Alibaba Group（阿里巴巴集团） ； Yale University（耶鲁大学）
专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI
AI总结 研究人员推出Business Arena测试平台，评估15个前沿LLM智能体在跨境商店运营中的表现，发现其平均最终净资产差9倍，最优模型仍逊于人类策略，为商业智能体评估提供了现实测试基准。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈