大模型推理能力

Memory Beyond Recall: A Dual-Process Cognitive Memory System for Self-Evolving LLM Agents

超越回忆的记忆：用于自进化LLM代理的双过程认知记忆系统

Tianxiang Fei, Mingyang Song, Mao Zheng, Xiang Yu

机构 * Tencent（腾讯） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出DCPM系统，基于双过程理论将代理记忆组织为认知能力层次，通过同步日间写入器和异步夜间引擎分别处理信念修正和模式归纳，在隐式跨会话推理任务上提升显著。

PACT: Learning Diverse Diagnostic Strategies via Privileged Synthesis and Branch Consensus

PACT: 通过特权合成与分支共识学习多样化诊断策略

Gen Li, Yuanze Hu, Zhichao Yang, Qingchen Yu, Jianwei Lv, Yue Guo, Yujing Liu, Faguo Wu, Hongwei Zheng, Xiandong Li, Bo Yuan, Yifan Sun, Zhaoxin Fan

机构 * Beihang University（北京航空航天大学） ； Baidu（百度） ； ByteDance（字节跳动） ； Beijing Academy of Blockchain and Edge Computing（北京区块链与边缘计算研究院） ； Renmin University of China（中国人民大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出PACT框架，通过特权合成对话数据和多分支共识训练，使LLM同时学习多种诊断推理范式，在中文医疗诊断基准上取得最优性能。

Comments 16 pages, 5 figures, 5 tables

GlobeAudio: A Multilingual Multicultural Benchmark for Naturalistic Evaluation of Large Audio-Language Models

GlobeAudio：用于大型音频-语言模型自然主义评估的多语言多文化基准

Ryner Tan, Wenxuan Zhang

机构 * Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出GlobeAudio基准，包含5637道多语言多选题，评估大型音频-语言模型在自然音频条件下的听觉推理和文化理解能力，发现开源模型和低资源语言存在显著性能差距。

Robust-U1: Can MLLMs Self-Recover Corrupted Visual Content for Robust Understanding?

Robust-U1: MLLMs能否自我恢复受损视觉内容以实现鲁棒理解？

Jiaqi Tang, Jianmin Chen, Youyang Zhai, Wei Wei, Runtao Liu, Mengjie Zhao, Xiangyu Wu, Qingfa Xiao, Qifeng Chen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出Robust-U1框架，通过监督微调、强化学习和多模态推理，使多模态大模型具备显式视觉自恢复能力，在真实和对抗性损坏下达到最先进鲁棒性。

Comments Accepted by ICML 2026

Sci-Rho: A Multilingual Visually-Grounded Symbolic Benchmark for STEM Problems

Sci-Rho：面向STEM问题的多语言视觉基础符号基准

Muhammad Falensi Azmi, Ikhlasul Akmal Hanif, Vallerie Alexandra Putra, Adi Yeltay, Abdullah Mubarak, Fajri Koto

机构 * Independent Researcher（独立研究员） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Binus University（比努斯大学） ； Bandung Institute of Technology（万隆理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出Sci-Rho，一个多语言、视觉基础的STEM问题动态基准，包含4242个模板和42420个实例，评估17个VLM发现最差精度与平均精度存在差距，且小模型跨语言性能下降。

Comments 22 pages

Summarization is Not Dead Yet

摘要生成尚未消亡

Dongqi Liu, Chenxi Whitehouse, Zheng Zhao, Zhuchen Cao, Jian Li, Yabiao Wang

机构 * Saarland University（萨尔大学） ； Max Planck Institute for Informatics（马克斯·普朗克信息学研究所） ； University of Cambridge（剑桥大学） ； University of Edinburgh（爱丁堡大学） ； Zhejiang University（浙江大学） ； Tencent YouTu Lab（腾讯优图实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 通过多维度评估，发现人类参考摘要在信息量和忠实度上仍优于大语言模型，后者仅在表面连贯性和流畅性上占优，表明摘要生成研究仍有挑战。

Beyond English benchmarks: clinical llm evaluation in Brazilian Portuguese

超越英语基准：巴西葡萄牙语临床大语言模型评估

Giordano de Pinho Souza, Glaucia Melo, Josefino Cabral Melo Lima, Daniel Schneider

机构 * Federal University of Rio de Janeiro（里约热内卢联邦大学） ； Toronto Metropolitan University（多伦多都会大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI

AI总结 提出首个双语临床基准ClinicalBr，基于巴西病例报告构建，评估四个模型发现葡萄牙语-英语性能差距具有任务依赖性，诊断检索英语优势明显，其他任务差距消失。

MetaEvo: A Meta-Optimization Framework for Experience-Driven Agent Evolution

MetaEvo：一种基于经验驱动的智能体进化的元优化框架

Bowen Ren, Heyan Huang, Yinghao Li, Yang Gao

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Beijing Institute of Technology Southeast Academy of Information Technology（北京理工大学东南信息技术研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出MetaEvo两阶段框架，通过偏好优化增强模型从任务经验中抽象原则的能力，并在模块化架构中积累复用，持续提升推理性能。

Evaluating Hallucinations in Domain-Adapted Large Language Models

评估领域自适应大语言模型中的幻觉现象

Sanchita Porwal, Sai Prasath S, Xingjian Bi, Madelyn Scandlen

机构 * College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过微调Llama-2模型，测试其记忆、回忆和推理能力，发现领域自适应大语言模型在生成新领域特定信息时存在幻觉问题，表明仅靠微调难以有效缓解幻觉。

Comments 13 pages, 2 figures, 3 tables

OpenCompass: A Universal Evaluation Platform for Large Language Models

OpenCompass：大型语言模型的通用评估平台

Maosong Cao, Kai Chen, Haodong Duan, Yixiao Fang, Zhiwei Fei, Tong Gao, Ge Jiaye, Mo Li, Hongwei Liu, Junnan Liu, Yuan Liu, Chengqi Lyu, Han Lyu, Ningsheng Ma, Zerun Ma, Yu Sun, Zhiyong Wu, Linchen Xiao, Zhuozhi Xiong, Jun Xu, Haochen Ye, Zhaohui Yu, Yike Yuan, Songyang Zhang, Yufeng Zhao, Fengzhe Zhou, Peiheng Zhou, Dongsheng Zhu, Lin Zhu, Jingming Zhuo

机构 * OpenCompass Team（OpenCompass团队） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 提出OpenCompass，一个模块化、高兼容性、灵活且高并发的通用LLM评估平台，支持多种任务场景和主流基准数据集。

CodeTaste: Can LLMs Generate Human-Level Code Refactorings?

CodeTaste：LLM能否生成人类级别的代码重构？

Alex Thillen, Niels Mündler, Veselin Raychev, Martin Vechev

机构 * University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究LLM代理在代码重构中的能力，通过CodeTaste基准测试发现，代理在详细指定重构时表现良好，但难以自主发现人类选择的重构，提出“先提议后实现”分解可改善对齐。

RLVE: Scaling Up Reinforcement Learning for Language Models with Adaptive Verifiable Environments

RLVE: 利用自适应可验证环境扩展语言模型的强化学习

Zhiyuan Zeng, Hamish Ivison, Yiping Wang, Lifan Yuan, Shuyue Stella Li, Zhuorui Ye, Siting Li, Jacqueline He, Runlong Zhou, Tong Chen, Chenyang Zhao, Yulia Tsvetkov, Simon Shaolei Du, Natasha Jaques, Hao Peng, Pang Wei Koh, Hannaneh Hajishirzi

机构 * University of Washington（华盛顿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 提出RLVE方法，通过程序化生成问题并提供可验证奖励的可验证环境，自适应调整难度以扩展语言模型的强化学习，在400个环境中联合训练使六个推理基准平均提升3.37%。

Comments ICML 2026

Where Does the Answer Come From? Benchmarking View-Level Visual Evidence Identification in Multi-View MLLMs for Autonomous Driving

答案从何而来？面向自动驾驶的多视角MLLMs中视角级视觉证据识别基准

Yimu Wang, Yee Man Choi, Barry Zhang, Mozhgan Nasr Azadani, Sean Sedwards, Krzysztof Czarnecki

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对多视角自动驾驶场景，提出一个基准测试，评估多模态大模型在视觉问答中识别支持性相机视角的能力，包含122个冲突中心问题对，并区分视角选择与答案正确性。

Detecting Differences Is Not Understanding Structure: Large Language Models Fail at Graph Isomorphism

检测差异不等于理解结构：大型语言模型在图同构任务中失败

Kumar Thushalika, Sukumar Kishanthan, Asela Hevapathige

机构 * University of Ruhuna（鲁胡纳大学） ； University of Moratuwa（莫拉图瓦大学） ； University of Melbourne（墨尔本大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究通过图同构检测任务揭示LLM的“虚假成功”：虽然LLM在检测同构时准确率接近完美，但面对节点标签置换的相同图时却无法识别，表明其依赖模式而非抽象结构推理。

H2HMem: A Multimodal Memory Benchmark for Agents in Human-Human Interactions

H2HMem: 面向人际交互中智能体的多模态记忆基准

Shiping Zhu, Yibo Yang, Zhengyang Wang, Tiancheng Shen, Dandan Guo, Ming-Hsuan Yang

机构 * Jilin University（吉林大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of California at Merced（加州大学默塞德分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出H2HMem基准，通过双人和多人多模态对话评估智能体在记忆召回、推理和应用方面的能力，揭示现有模型在多模态、多参与者场景下的显著局限。

Comments 22 pages, 6 figures

LexRubric: A Rubric-Guided Diagnostic Benchmark for Open-Ended Legal Tasks

LexRubric：面向开放式法律任务的基于评分指南的诊断基准

Yifan Chen, Haitao Li, Yiran Hu, Kaisong Song, Jun Lin, Yueyue Wu, Qingyao Ai, Min Zhang, Yiqun Liu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； University of Waterloo（滑铁卢大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出LexRubric基准，包含649个中国法律咨询与司法考试实例及12,337条原子评分标准，通过六维框架评估LLM在开放式法律任务中的可靠性，发现当前模型仍面临挑战。

ChinaHeritaQA: A Culturally-Grounded Visual Question Answering Dataset for World Heritage Sites in China

ChinaHeritaQA：面向中国世界遗产地的文化基础视觉问答数据集

Yi Zhang, Bolei Ma, Yong Cao, Chengyan Wu, Daniel Hershcovich, Anna-Carolina Haensch

机构 * LMU Munich（慕尼黑大学） ； FAU Erlangen-Nuremberg（埃尔朗根-纽伦堡大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； University of Tübingen & Tübingen AI Center（图宾根大学与图宾根人工智能中心） ； Sun Yat-sen University（中山大学） ； University of Copenhagen（哥本哈根大学） ； University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出ChinaHeritaQA多模态基准数据集，包含2279张图像和14133个双语多项选择题，覆盖七个认知维度，评估视觉语言模型在中国世界遗产上的文化推理能力。

SurgiQ: A Large-Scale Multi-Domain Benchmark for Evaluating Surgical Understanding in Large Language Models

SurgiQ: 用于评估大语言模型手术理解的大规模多领域基准

Ayah Al-Naji, Edoardo Fazzari, Saif Alkindi, Hamdan Alhadhrami, Preslav Nakov, Cesare Stefanini

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出SurgiQ基准，包含13,055道多选题，覆盖六个外科领域和四种题型，用于评估LLM的手术推理能力。实验显示最佳模型准确率仅68.1%，通用模型优于多数生物医学模型，表明当前医学专业化未能充分覆盖手术知识。

Customer-Agent: Overcoming Context Limitations in Ultra-Long Shopping Trajectories via Tool-Augmented Agents and RLVR

客户代理：通过工具增强代理和RLVR克服超长购物轨迹中的上下文限制

Hongye Liu, Rongmei Lin, Anurag Kashyap, Hejie Cui, Ricardo Henao, Besnik Fetahu, Bing Yin

机构 * Amazon（亚马逊） ； Duke University（杜克大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出ShopTrajQA基准和客户代理框架，利用RLVR训练代理通过代码解释器自主检索解析外部轨迹文件，突破LLM上下文窗口限制，在超长购物轨迹推理中取得强性能。

VATS: Exploiting Implicit Authority in Error-Path Injection via Systematic Mutation

VATS: 通过系统性变异利用错误路径注入中的隐式权威

Harshil Patel, Kunal Pai

机构 * Harshil Patel ； Kunal Pai 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出VATS框架，通过七维变异生成对抗性负载，利用错误消息的隐式权威绕过安全机制，在四个前沿模型上实现高达100%的注入成功率。

Comments Published at Second Workshop on Agents in the Wild: Safety, Security, and Beyond (ICML 2026 AIWILD)

AVI-Bench: Toward Human-like Audio-Visual Intelligence of Omni-MLLMs

AVI-Bench：迈向全模态大语言模型的人类级视听智能

Yaoting Wang, Ziyi Zhang, Wenming Tu, Shaoxuan Xu, Wenjie Du, Cheng Liang, Weijun Wang, Yuanchao Li, Guangyao Li, Hao Fei, Yuanchun Li, Henghui Ding, Yunxin Liu

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出AVI-Bench基准，通过感知、理解、推理三阶段跨模态任务评估全模态大语言模型的视听智能，并引入AVI-Bench-PriSe测试原始视听感知，揭示当前模型局限，构建四级AVI分类体系。

Comments 31 pages, 8 figures, ICML 2026

Multimodal Large Language Models as Synthetic Participants in Video-Based Studies: An Evaluation

多模态大语言模型作为视频研究中的合成参与者：一项评估

Prabal Shrestha, Bohan Jiang, Haoning Xue, Huan Liu, Xinyi Zhou

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究评估多模态大语言模型在视频感知任务中模拟人类主观评分的表现，发现模型存在偏差且与人类一致性有限。

Comments Accepted to SocialLLM @ ICWSM 2026

CalBench: Evaluating Coordination-Privacy Trade-offs in Multi-Agent LLMs

CalBench: 评估多智能体大语言模型中的协调-隐私权衡

Chelsea Zou, Yiheng Yao, Selena She, Noah Goodman, Robert D. Hawkins

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 提出CalBench基准，用于在私有信息下评估多智能体日程协调中任务完成、成本、通信、公平性和隐私泄露的权衡。

Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

大模型真的在药物发现中胜出吗？AI驱动的分子性质和活性预测中模型规模的基准评估

Jinjiang Guo, Sheng Ding

机构 * Global Health Drug Discovery Institute（全球健康药物发现研究所） ； School of Pharmaceutical Sciences（药学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文通过26个ADME、毒性及生物活性端点评估，发现传统机器学习在多数任务中表现最佳，大模型在部分困难分割中竞争力有限，模型性能依赖于任务与验证场景的适配性，而非单纯规模。

Comments Improved benchmark design and reproducibility, replaced restricted datasets with public benchmarks in primary analyses, and added sensitivity analyses supporting the interpretation of model scaling and evaluation protocol effects in molecular prediction

CacheRAG: A Semantic Caching System for Retrieval-Augmented Generation in Knowledge Graph Question Answering

CacheRAG：面向知识图谱问答中检索增强生成的语义缓存系统

Yushi Sun, Lei Chen

机构 * HKUST Hong Kong China（香港理工大学（中国）） ； HKUST(GZ) / HKUST Guangzhou / Hong Kong China (2018)（香港理工大学（广州）/ 香港理工大学（广州）/ 香港中国（2018）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对LLM驱动的KGQA系统作为无状态规划器导致模式幻觉和检索覆盖有限的问题，提出CacheRAG，一种基于缓存的架构，通过模式无关接口、多样性优化缓存检索和有界启发式扩展，将无状态规划器转变为持续学习器，显著提升准确性和真实性。

SurveyLens: A Discipline-Aware Benchmark for Automatic Survey Generation

SurveyLens：一个学科感知的自动综述生成基准

Beichen Guo, Zhiyuan Wen, Jia Gu, Haochen Shi, Jian Wang, Senzhang Wang, Haoyang Li, Ruosong Yang, Shuaiqi Liu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Sichuan University（四川大学） ； Central South University（中南大学） ； Alibaba Cloud（阿里巴巴云） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL

AI总结 提出SurveyLens，首个学科感知的自动综述生成基准，包含跨10个学科的1000篇人工撰写综述数据集和双视角评估框架，发现深度研究智能体在跨学科鲁棒性上最优，而所有范式在参考文献质量上仍薄弱。

Comments 8 pages, 9 figures

MEnvAgent: Scalable Polyglot Environment Construction for Verifiable Software Engineering

MEnvAgent：可扩展的多语言环境构建用于可验证软件工程

Chuanzhe Guo, Jingjing Wu, Sijun He, Yang Chen, Zhaoqi Kuang, Shilong Fan, Bingjin Chen, Siqi Bao, Jing Liu, Hua Wu, Qingfu Zhu, Wanxiang Che, Haifeng Wang

机构 * Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 提出MEnvAgent框架，通过多智能体规划-执行-验证架构和环境复用机制，自动构建多语言可执行环境，生成可验证任务实例，在10种语言1000个任务上提升F2P率8.6%并降低时间成本43%。

Comments Accepted as a Spotlight Paper at ICML 2026

MedVision: Benchmarking Quantitative Medical Image Analysis

MedVision：定量医学图像分析的基准测试

Yongcheng Yao, Yongshuo Zong, Raman Dutt, Yongxin Yang, Sotirios A Tsaftaris, Timothy Hospedales

机构 * University of Edinburgh（爱丁堡大学） ； Queen Mary University of London（伦敦大学玛丽女王学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对当前医学视觉语言模型缺乏定量推理能力的问题，提出MedVision数据集和基准，涵盖22个公共数据集、3080万图像-标注对，通过监督和强化微调显著提升检测、肿瘤/病变大小估计和角度/距离测量性能。

Comments 22 pages, 13 figures, 14 tables

Human-Centred Risk Mitigation for AI-Mediated Information Manipulation: A SOCMINT Framework Based on Information Manipulation Sets

以人为中心的AI中介信息操纵风险缓解：基于信息操纵集的SOCMINT框架

Antonio Scala

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出基于信息操纵集（IMS）的SOCMINT框架，作为事件级分析与归因优先分析之间的中间操作单元，实现结构化推理与风险缓解。

Comments 15 pages; supplementary material available as ancillary file

InquiTree: Evaluating AI Agents in the Scientific Inquiry Loop with Paper-Derived Research Trees

InquiTree: 在论文衍生研究树中评估科学探究循环中的AI智能体

Shaoyang Cui

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出InquiTree诊断环境，将科学探究形式化为交互式研究树，揭示AI智能体在长周期交互中关键判断退化（认知隧道）及对训练数据外论文性能下降的局限性。

Comments 17 pages, 4 figures, 5 tables