AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
代理关系伤害：AI代理中关系操纵的基准测试与门控
专题命中 Agent评测 ：AI agent(title,abstract)；agentic(title,abstract)；agent(abstract)；workflow(abstract)
AI总结 针对AI代理可能造成的关系操纵风险，提出了一个110提示的基准测试、关系特定标注框架和轻量级后生成策略门控，以评估和缓解代理关系伤害。
Comments 13 pages, 3 figures
AI智能体时代需要新的科学范式以维持可信科学
专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；autonomous agent(abstract)；分类 cs.AI
AI总结 针对AI自主研究智能体带来的科学产出验证缺口扩大问题，该文提出需进化科学验证基础设施的标准，以应对无人能核查结果等风险，维持科学信任。
Comments Accepted at ICML 2026, Position Paper Track
REAP：从交互生产使用自动整理编码代理基准
机构 * Meta, USA（Meta公司）
专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI、cs.LG、cs.SE
AI总结 REAP通过自动化流程从真实开发者与代理交互中构建生产基准，解决评估信号不可靠问题，通过LLM分类和多轮稳定性检查确保基准可信。
Comments Accepted at ASE 2026 Industry Showcase
SecRespond：面向真实入侵后事件响应的AI智能体基准测试集
专题命中 Agent评测 ：AI agent(title)；agent(abstract)；workflow(abstract)；分类 cs.AI、cs.CL
AI总结 研究人员推出首个入侵后事件响应AI智能体基准测试集SecRespond，评估23种前沿LLM在10个靶场的表现，发现现有智能体难以及时发现隐蔽入侵并制定全面修复计划，存在根本瓶颈。
EvoPINN：面向物理信息神经网络可执行算法的智能体式发现框架
机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG
AI总结 EvoPINN是智能体式框架，将PINN开发转化为基于执行的算法发现，通过LLM智能体迭代优化，自主发明SLRC-PINN，可显著降低PDE求解的相对L₂误差，为科学计算提供新机制。
SARC-DQ：智能体AI的运行时数据质量门控：隐性证据缺陷、无能防护机制与仅下游修复
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.SE
AI总结 该研究针对智能体AI的元数据缺陷问题，提出SARC-DQ运行时数据质量门控机制，实验显示模型能力未提升怀疑能力，所提门控结合下游修复可恢复部分损失，无模型预言机能精准跟踪缺陷率。
Comments https://github.com/besanson/dqSarc
探索物理问题中的结构：AI智能体能否发现统计力学映射？
专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI
AI总结 本研究以StatMechBench-v0为基准，评估基于LLM的“提出-验证-修正”智能体发现统计力学映射的能力，揭示其推理局限并提出验证栈的设计方向。
Comments Accepted to the AID-Wild workshop at CAIS 2026
用户提问，平台竞争：代理推荐市场如何形成
机构 * Tsinghua University（清华大学） ； Tencent Inc.（腾讯公司）
专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI
AI总结 研究基于LLM的代理推荐市场，用户先提需求平台竞争注意力。实验发现新设置在获取与注意力间有紧张关系，竞争引发平台策略行为，关联反馈可增加购买机会，强调设计代理推荐需综合考虑多方面并作为联合机制设计问题。
以太坊上早期区块链注册的人工智能代理数据集
专题命中 Agent评测 ：AI agent(title)；agent(abstract)；agentic(abstract)
AI总结 本文构建了一个基于ERC-8004标准的区块链注册AI代理数据集，包含10000个代理的链上身份记录、铸造交易、转移事件、声誉摘要及反馈记录，支持对代理身份形成、声誉系统和去中心化AI生态的研究。
Comments revised version
SciFigQual-Bench：面向全文本上下文的科学图片质量评估基准
专题命中 Agent评测 ：agent(summary_cn,abstract)；分类 cs.AI
AI总结 本文针对现有科学图片质量评估方法的不足，构建了SciFigQual-Bench基准，设计SFQ-Agent框架实现自动化评估，实验显示其在eval1200子集上表现优于主流方案。
Comments † Equal contribution. Affiliations: 1: The University of Hong Kong 2: The University of Sydney 3: University of Electronic Science and Technology of China Corresponding authors: Zihan Deng (zhdeng@hku.hk), Chuanzhi Xu (chuanzhi.xu@sydney.edu.au) Project page: https://frankdengai.github.io/SciFigQual-Bench Source code & dataset: https://github.com/FrankDengAI/SciFigQual-Bench
库漂移：在自我演化的LLM技能库中诊断和修复一种无声的失败模式
机构 * AWS Generative AI Innovation Center（AWS生成式AI创新中心） ； HSBC Holdings Plc., HSBC Technology Center, China（汇丰控股有限公司，汇丰技术中心，中国）
专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.CL、cs.SE；agentic(comments)
AI总结 本文研究了自我演化的LLM技能库中的一种无声失败模式——库漂移，通过可重复触发实验、细粒度诊断和验证修复方法，揭示了技能积累无序导致检索退化、假阳性注入和性能停滞的问题，并提出了一种经过验证的修复方案，显著提升了技能库的性能。
Comments Accepted to the ICML 2026 Workshop on Failure Modes in Agentic AI (FAGEN@ICML 2026), Seoul, South Korea. https://github.com/amazon-science/Self-Evolving-Agents-Ratchet
面向AI安全评估的对抗语用学：指令冲突、嵌入命令与策略模糊性基准
机构 * Humber Polytechnic（汉博理工学院） ； University of Toronto（多伦多大学）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.SE
AI总结 提出对抗语用学基准和标注协议，通过语言学控制的分类法评估模型在指令冲突、嵌入命令等场景下的行为，为安全评估提供实证和方法论工具。
Comments 32-page main paper plus 13-page supplement; 6 figures and 17 tables total; code and data artifact available at the linked repository
心理世界建模
专题命中 Agent评测 ：agent(abstract)；planning(abstract)；分类 cs.CL
AI总结 该研究提出将心理变量作为核心组件的MWM框架，实例化为MENTIS基线，实验证明显式建模心理状态对预测人类决策至关重要，推动世界建模从物理场景模拟转向心智模拟。
Comments project website: https://mental-world.github.io/
StealthBench：衡量自主进攻性安全智能体的操作隐蔽性
专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI
AI总结 研究人员推出StealthBench基准，通过含三个LLM的评判小组评估自主进攻性安全智能体的OPSEC表现，发现无模型安全成功率超54%，证实OPSEC失败具系统性，该基准用于支持相关智能体开发与监控。
Comments 29 pages, 9 tables, 1 figure, 2 appendices. Code: https://github.com/GangGreenTemperTatum/stealthbench Dataset: https://huggingface.co/datasets/0xmoose/stealthbench Website: https://stealthbench.com
Position: 评估分数是易逝的知识主张
机构 * DeepThought Solutions（深度思考解决方案公司） ； Meta ； University of Florida（佛罗里达大学）
专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 该研究指出语言模型评估存在信任膨胀问题，提出将评估分数视为具有形式性、范围性和有效性窗口的认知主张，建议添加元数据并采用最弱链聚合，发现HELM排行榜上两种聚合方式的前五名模型完全不重合。
Comments 7 pages, 1 figure, 1 table. Published at the Fifth Workshop on Generation, Evaluation and Metrics (GEM), ACL 2026, San Diego
Journal ref Proceedings of the Fifth Workshop on Generation, Evaluation and Metrics (GEM), ACL 2026, pages 1029-1035
NISPO：开源IUPAC名称生成工具
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.SE
AI总结 针对化学领域IUPAC名称生成需求，该研究开发了基于RDKit、采用智能体自改进循环的开源Python工具NISPO，经SureChEMBL分子优化后，在1.03亿个PubChem分子上实现98.1%的往返准确率，可免费获取。
知晓的代价：一种超越静态排行榜的幻觉基准测试的资源感知协议
专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI
AI总结 研究前沿模型事实性与计算成本的权衡问题，提出资源感知评估协议MAS-HQ，通过包装事实性检测器、归一化成本并让系统竞争，能衡量事实性答案成本，使单代理基线更具资源效率，收益稳定。
SalesSim：多模态语言模型作为零售用户模拟器的基准测试与对齐
机构 * Salesforce Research（Salesforce研究院） ； University of California Los Angeles（加州大学洛杉矶分校）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL
AI总结 SalesSim通过多轮多模态对话评估多模态大语言模型在模拟真实用户行为中的能力，发现模型在词汇多样性及决策一致性方面存在不足，并提出UserGRPO方法提升对话流畅度与决策对齐度。
GPT-Red：基于大规模自博弈的自动化红队测试
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 本研究推出GPT-Red，一种基于大规模自博弈的自动化红队测试智能体，可发现新型提示注入攻击、攻破过往模型且泛化能力强，用于提升LLM鲁棒性并形成自我改进飞轮。
Comments 28 pages.13 main pages and 13 main figures
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG
Comments 21 pages, 7 figures, 7 tables
PowerAtlas：面向电力系统的电-计算协同调度
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； State Grid Liaoning Electric Power Co., Ltd.（国网辽宁省电力有限公司） ； Nanyang Technological University（南洋理工大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.LG
AI总结 PowerAtlas是用于电-计算协同调度的LLM智能体框架，整合多类约束生成可行方案，构建含2000个实例的ECBench基准，在11种LLM上验证了有效性。
Comments 17 pages, 9 figures, 5 tables. Code: https://github.com/JAVA-Jiang/PowerAtlas
多样性约束下的参数化公平资源分配
专题命中 Agent评测 ：agent(abstract)；分类 cs.LG
AI总结 本文提出PRA及自适应变体APRA框架，将多样性约束下的资源分配从硬性条件优化转为柔性参数调节，兼顾公平性与效率，在真实应用中性能优于现有基准。
\textsc{IH - 基准测试}：用于大语言模型应用中指令层次鲁棒性的以冲突为中心的基准测试
专题命中 Agent评测 ：tool-use(abstract)；分类 cs.SE
AI总结 研究大语言模型接收到不同优先级冲突指令时遵循哪个的问题，提出IH - 基准测试，基于人工分类法构建，用统一协议评估，涵盖多种设置。通过对37个模型评估发现指令层次鲁棒性非单一能力，需多方面评估。
FilmBench：用于电影视频生成的电影级基准测试
机构 * Alibaba Group（阿里巴巴集团） ； Moku Lab, Hujing Digital Media & Entertainment Group（魔氪实验室，虎鲸数字媒体与娱乐集团） ； Beijing Film Academy（北京电影学院）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
AI总结 FilmBench是基于电影学院传统专业电影语言开发的文本到视频和参考到视频基准测试。它从获奖影片反向设计提示，依电影分类法评估，开发自动评估代理并开源核心套件，能再现人类模型排名，指出当前模型在动态美学等方面不足。
SkillCAT: 面向LLM智能体的对比评估与拓扑感知技能自进化
机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computer Science, Fudan University（复旦大学计算机学院）
专题命中 Agent评测 ：agent(abstract)；分类 cs.CL
AI总结 提出SkillCAT框架，通过对比因果提取、评估增强进化和拓扑感知任务执行三阶段，实现无需训练的LLM智能体技能自进化，在多个基准上平均提升高达40.40%。
Comments 9 pages, 4 figures
VideoFDB: 评估对话代理中的全双工视觉-语音能力
机构 * NVIDIA ； David AI
专题命中 Agent评测 ：agent(abstract)；分类 cs.CL
AI总结 提出首个全双工视听到视听（AV2AV）对话基准VideoFDB，通过237个真实视频片段、感知与生成行为分类以及基于评分规则的LM评判框架，系统评估代理在非语言对话动态中的表现，发现现有系统存在字幕崩溃和视觉流忽视等缺陷。
Comments Project page: https://research.nvidia.com/labs/amri/projects/video-fdb/
TabPFN扩展在可解释地质建模中的应用
机构 * Department of Civil and Environmental Engineering, Tohoku University（东北大学土木环境工程系） ； Research Organization of Information and Systems, The Institute of Statistical Mathematics（信息与系统研究所统计数学研究所） ； Department of Statistical Science, The Graduate University for Advanced Studies（高级研究大学统计科学系）
专题命中 Agent评测 ：workflow(abstract)；分类 cs.LG
AI总结 本文评估了TabPFN及其扩展库在地质任务中的表现，通过土壤类型分类和参数迭代填补，展示了TabPFN在不确定性量化和可解释性方面的优势。
Journal ref Georisk: Assessment and Management of Risk for Engineered Systems and Geohazards (2026) 1-20
对齐目标问题：人类、人工智能系统及其设计者的道德判断分歧
机构 * The University of Hong Kong（香港大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
AI总结 研究探讨了人类、AI系统及其设计者在道德判断上的差异，通过实验发现人类设计的AI行为会引发更强烈的道德约束，揭示了价值对齐的挑战。
Comments ACM FAccT 2026
面向情感的提示方法用于共情LLM辅导
机构 * Neurosciences Graduate Program, University of California San Diego（加州大学圣地亚哥分校神经科学研究生项目） ； Department of Cognitive Science, University of California San Diego（加州大学圣地亚哥分校认知科学系） ； Department of Computer Science and Engineering, University of California San Diego（加州大学圣地亚哥分校计算机科学与工程系） ； Department of Electrical and Computer Engineering, University of California San Diego（加州大学圣地亚哥分校电气与计算机工程系） ； Department of Mathematics, University of California San Diego（加州大学圣地亚哥分校数学系） ； Face the FACS ； Halıcıoğlu Data Science Institute, University of California San Diego（Halıcıoğlu数据科学研究所）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
AI总结 本文研究了在LLM辅导中整合面部表情信号以提升共情响应的效果，通过四种不同方法对比发现，基于动作单元的条件化能提升对面部表情的共情响应，而引导峰值帧选择优于随机帧输入。
规范性人工智能：一种用于在不确定性下审计人类决策的正式范式
机构 * Institute of Computing, Universidade Federal Fluminense (UFF)（联邦弗鲁米嫩塞大学计算研究所）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
AI总结 本文提出规范性人工智能作为高风险环境下的人类-人工智能决策协作范式，通过四个公理证明了其与预测系统的核心区别，并展示了在决策模仿中系统性偏差的限制。
Comments Preprint; suitable for AI, decision sciences, and prescriptive analytics. Short versions published in Wharton Sports Analytics Journal Fall 2025 (AI Feature Spotlight) and accepted to AAAI Bridge on LM Reasoning 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈