大模型推理能力

PDE-Agents: An LLM-Orchestrated Multi-Agent Framework for Automated Finite Element Simulations with Knowledge Graph-Augmented Reasoning

PDE-Agents: 一种基于知识图谱增强推理的LLM编排多智能体框架，用于自动化有限元模拟

Sayan Adhikari, Gulshan Noorsumar, Øyvind Jensen

专题命中 推理评测 ：reasoning(title)

AI总结 提出PDE-Agents多智能体系统，通过LLM编排实现偏微分方程/有限元模拟全流程自动化，采用GraphRAG知识图谱增强，在50个任务消融实验中KG Smart模式达100%成功率，并验证了二阶空间收敛性。

Comments 19 pages, 9 figures, 10 tables, 1 algorithm. Code and evaluation artifacts: https://github.com/MatPro-IFE/pde-agents

OmnilingualGAIA2: Evaluating the Multilingual Gap in Frontier AI Agents

OmnilingualGAIA2：评估前沿AI智能体的多语言差距

Andrea Caciolai, Pere-Lluís Huguet Cabot, Chierh Cheng, Albert Ventayol-Boada, Gabriel Mejia Gonzalez, Christophe Ropers, Lucas Bandarkar, Sebastian Ruder, Darlene Sakakihara, Elliot Yun, Pierre Andrews, Grégoire Mialon, Romain Froger, Marta R. Costa-jussà

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL

AI总结 研究人员推出OmnilingualGAIA2基准，发现前沿AI智能体存在8.8-18.4分的跨语言差距，提出多语言评估应成为全球部署智能体的标准评估环节。

ActiveFly-Bench: Aligning Embodied Question Answering with Vision-Language-Action for Aerial Embodied Perception

ActiveFly-Bench：将具身问答与视觉-语言-动作对齐用于空中具身感知

Weichen Zhang, Shiquan Yu, Yinan Zhu, Peizhi Tang, Shilong Ji, Zhiyuan Deng, Tianyi Lyu, Haoyang Wang, Xin Zeng, Chen Gao, Yong Li, Xinlei Chen

机构 * Tsinghua University（清华大学） ； Manifold AI（流形人工智能） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 介绍用于无人机具身感知的ActiveFly-Bench基准测试，它分解主动感知为三个层次任务，收集数据集，开发集成视觉语言推理与细粒度控制的ActiveFly智能体，实验表明当前无人机智能体有困难，该基准成为具身空中智能新测试平台。

Med-CRAFT: An Information System for Explainable and Configurable Construction of Multimodal Medical QA Datasets

Med-CRAFT：通过知识图谱遍历自动构建可解释的多跳视频工作负载

Shenxi Liu, Kan Li, Mingyang Zhao, Yuhang Tian, Bin Li

机构 * Beijing Institute of Technology（北京理工大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；CoT(abstract_cn)；分类 cs.AI

AI总结 Med-CRAFT通过知识图谱遍历自动构建可解释的多跳视频工作负载，生成具有细粒度时间选择性和多跳逻辑复杂性的医疗视频推理基准。

Comments 23 pages, 4 figures, 10 tables

LMs as Task-Specific Knowledge Bases: An Interpretability Analysis

语言模型作为任务特定知识库：一种可解释性分析

Amit Elhelo, Amir Globerson, Mor Geva

机构 * Blavatnik School of Computer Science and AI, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学与人工智能学院） ； Google Research（谷歌研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 通过行为和机制分析，发现语言模型以任务特定方式编码知识，不同任务对同一事实的查询结果不一致，且参数定位实验揭示了不同任务涉及不同参数子集。

A Large-Scale Multi-Dimensional Empirical Study of LLMs for Conversation Summarization

面向对话摘要的大规模多维度LLM实证研究

Weixiao Zhou, Gengyao Li, Junnan Zhu, Xianfu Cheng, Feifei Zhai, Zhoujun Li

机构 * CCSE, Beihang University（北京航空航天大学CCSE） ； MAIS, CASIA（中国科学院自动化研究所MAIS） ； Fanyu AI Laboratory（帆禹AI实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL

AI总结 提出OmniCSEval基准，包含1800个跨六场景的对话，评估28个LLM在对话摘要中的完整性、简洁性和忠实性，揭示推理能力与模型规模的影响。

Comments 21 pages, 18 figures

When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models

当LLM停止遵循步骤：语言模型中程序执行的诊断研究

Sailesh Panda, Pritam Kadasi, Abhishek Upperwal, Mayank Singh

机构 * Indian Institute of Technology Gandhinagar（印度理工学院冈丁加尔） 纠错

专题命中 推理评测 ：reasoning(abstract)；self-correction(abstract)；分类 cs.CL

AI总结 本研究通过构建受控诊断基准，评估大型语言模型在程序执行任务中的忠实性，发现随着步骤增加准确率从63%降至20%，并揭示了缺失答案、过早答案、自我修正和执行不完整等失败模式。

Comments 24 pages, 19 figures, 4 Tables

Towards Unified Multimodal Misinformation Detection in Social Media: A Benchmark Dataset and Baseline

面向社交媒体中统一的多模态虚假信息检测：基准数据集与基线模型

Haiyang Li, Yaxiong Wang, Shengeng Tang, Yuchen Zhang, Lianwei Wu, Lechao Cheng, Liu Liu, Chaofeng Dong, Zhun Zhong

机构 * School of Computer Science and Information Engineering, Hefei University of Technology（计算机科学与信息工程学院，合肥工业大学） ； School of Computer Science and Technology, Northwestern Polytechnical University（计算机科学与技术学院，西北工业大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 该研究构建了含9.8万样本的OmniFake基准数据集，提出UMFDet框架，实现对人工与AI生成两类多模态虚假内容的统一检测，性能优于专用基线。

LAMUS: A Large-Scale Corpus for Legal Argument Mining from U.S. Caselaw using LLMs

LAMUS：利用LLMs构建大规模美国判例法法律论证语料库

Serene Wang, Lavanya Pobbathi, Haihua Chen

机构 * University of North Texas（北卡罗来纳大学达顿分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 LAMUS利用LLMs构建大规模美国判例法法律论证语料库，通过数据驱动方法提升法律NLP研究的可扩展性和实证支持。

Comments This article has been peer reviewed and formally published in the Journal of Computational Law and Legal Technology (JCLLT). The final Version of Record is available at: https://doi.org/10.47852/bonviewJCLLT62029649

Bridging the Last Mile of Circuit Design: PostEDA-Bench, a Hierarchical Benchmark for PPA Convergence and DRC Fixing

跨越电路设计的最后一英里：PostEDA-Bench，一个用于PPA收敛和DRC修复的分层基准

Pengju Liu, Nuo Xu, Jinwei Tang, Yu Cao, Caiwen Ding

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 推理评测 ：reasoning(abstract,abstract_cn)；分类 cs.AI

AI总结 提出PostEDA-Bench分层基准，包含145个任务，覆盖DRC修复和PPA优化，实验发现现有LLM代理在复杂DRC推理和多目标PPA优化上表现不佳，视觉增强可提升DRC性能，权衡推理是PPA多目标瓶颈。

JobHop v2: A Large-Scale Career Trajectory Dataset from Unstructured Resumes

JobHop v2：一个来自非结构化简历的大规模职业轨迹数据集

Iman Johary, Guillaume Bied, Alexandru C. Mara, Tijl De Bie

机构 * AIDA-IDLab, Department of Electronics and Information Systems, Ghent University, Ghent, Belgium（AIDA-ID实验室，电子与信息系统系，根特大学，根特，比利时） ； AIDA-IDLab, Department of Electronics（AIDA-ID实验室，电子系） ； Information Systems, Ghent University, Ghent, Belgium（信息系统，根特大学，根特，比利时） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.CL

AI总结 该研究提出JobHop v2数据集，通过端到端大语言模型从大量简历中提取职业轨迹。它扩大了覆盖范围与注释丰富度，引入新提取管道、模式及评估协议，最好提取器接近注释者间一致性上限，数据集和代码公开助力职业轨迹研究。

A Technical Survey of Reinforcement Learning Techniques for Large Language Models

大语言模型强化学习技术的技术综述

Saksham Sahai Srivastava, Vaneet Aggarwal

机构 * University of Georgia（佐治亚大学） ； Purdue University（普渡大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI

AI总结 综述强化学习与语言模型整合，介绍如近端策略优化等算法，分析其在各领域应用，对失败模式算法分析，给出分类法，评估趋势并探讨挑战与新兴方向，为研究提供路线图。

Comments Accepted to ACM Transactions on Intelligent Systems and Technology, June 2026

TERMS-Bench: Diagnosing LLM Negotiation Agents Beyond Deal Rate

TERMS-Bench: 在交易率之外评估大语言模型谈判代理

Erica Zhang, Fangzhao Zhang, Aneesh Pappu, Batu El, Jose Blanchet, Susan Athey, Jiashuo Liu, James Zou

机构 * Stanford School of Engineering（斯坦福大学工程学院） ； Stanford Department of Economics（斯坦福大学经济系） ； Stanford Graduate School of Business（斯坦福商学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI

AI总结 TERMS-Bench通过博弈论框架评估谈判代理，揭示其在交易率之外的性能差异，如盈余提取、线索使用和合规性。

Comments Project Site: https://terms-bench.github.io/

FineDialFact: A benchmark for Fine-grained Dialogue Fact Verification

FineDialFact：细粒度对话事实验证基准

Xiangyan Chen, Yufeng Li, Yujian Gan, Arkaitz Zubiaga, Matthew Purver

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 针对对话系统幻觉检测中事实标签粗粒度的问题，提出细粒度对话事实验证基准FineDialFact，基于公开数据集构建并评估多种基线方法，实验表明思维链推理可提升性能，但最佳F1仅0.74，任务仍具挑战性。

Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs

超越正确性：混合思维多模态大语言模型（MLLM）的响应行为基准测试与对齐

Xinming Wang, Weinong Wang, Hongming Yang, Yansong Lin, Zheng Ruan, Shangpin Peng, Qiming Peng, Nan Qiao, Fengyuan Lu, Guoqing Ma, Marito Li, Songyang Zhang, Saiyong Yang, Han Hu, Yonglong Tian, Xu-Yao Zhang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Large Language Model Department, Tencent（腾讯大语言模型部） ； University of Electronic Science and Technology of China（电子科技大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 该研究针对混合思维 MLLM 的思维与非思维模式响应错位问题，构建 PatternEval 基准并开发 PatternRL 方法，可减轻跨模式错位且任务性能损失极小。

Comments 8 tables and 6figures

MobileMem: Learning from a Year of Mobile Experiences

MobileMem：从一年的移动体验中学习

Xinle Deng, Yida Xue, Xiangyuan Ru, Yijun Chen, Buqiang Xu, Mingjun Mao, Xinjie Liu, Haoming Xu, Shuofei Qiao, Mengru Wang, Chen Jiang, Yuchen Eleanor Jiang, Lizhong Wang, Jason Wang, Li Zeng, Haofen Wang, Guilin Qi, Huajun Chen, Ningyu Zhang

机构 * OPPO ； OpenKG 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究推出MobileMem基准与框架，基于一年移动体验构建，用于设备端长期记忆研究，支持多类推理，推动智能体从信息检索向体验智能发展。

Comments Technical Report; Project Page: http://mobilemem.openkg.cn/

Doctorina MedBench: A Dialogue-Based Benchmark and Evaluation Framework for Agent-Based Medical AI

Doctorina MedBench：基于真实医患交互的医疗AI端到端评估框架

Anna Kozlova, Stanislau Salavei, Pavel Satalkin, Hanna Plotnitskaya, Sergey Parfenyuk, Andy Nkansah

机构 * A.I. Doctor Medical Assist LTD（A.I. Doctor Medical Assist有限公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Doctorina MedBench通过模拟真实医患对话评估医疗AI系统，包含诊断、观察、治疗和步骤计数四项指标，用于评估临床正确性和对话效率，同时支持多层级测试和质量监控。

SteeringSafety: Benchmarking Representation Steering in LLMs Across Safety Perspectives

SteeringSafety：针对大语言模型在多安全视角下的表征引导基准测试

Vincent Siu, Nicholas Crispino, David Park, Nathan W. Henry, Zhun Wang, Yang Liu, Dawn Song, Chenguang Wang

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Washington University in St. Louis（华盛顿大学圣路易斯分校） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究推出SteeringSafety基准，测试DIM等引导方法在3款大模型的9种安全视角表现，发现方法与模型、视角的匹配影响性能，且存在多视角纠缠问题，需多安全角度评估引导方法。

Comments Accepted at ICML 2026

DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation

DeltaPrompts: 逃离多模态蒸馏中的零delta陷阱

Jaehun Jung, Hyunwoo Kim, Brandon Cui, Ximing Lu, David Acuna, Prithviraj Ammanabrolu, Yejin Choi

机构 * NVIDIA Research（NVIDIA研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DeltaPrompts，通过量化教师与学生之间的答案分歧（Δ）来生成高分歧的推理问题，从而解决传统蒸馏中因零delta提示导致的学习信号不足问题，实验表明DeltaPrompts在多个场景下显著提升了模型性能。

MateInfoUB: A Real-World Benchmark for Testing LLMs in Competitive, Multilingual, and Multimodal Educational Tasks

MateInfoUB：用于测试大型语言模型（LLMs）在竞争性、多语言及多模态教育任务中表现的真实世界基准

Adrian Marius Dumitran, Theodor-Pierre Moroianu, Mihnea-Vicentiu Buca

机构 * University of Bucharest Faculty of Mathematics and Computer Science（布加勒斯特大学数学与计算机科学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究构建了双语多模态计算机科学竞赛题数据集，评估当前最先进LLMs在该数据集上的表现，揭示其优劣势及语言选择的影响，还发布了教育应用以支持罗马尼亚学生自我评估。

Comments 14 pages (9 paper, 2 references, 3 annexes). Accepted for BEA 2025!

Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

每瓦智能：衡量本地AI的智能效率

Jon Saad-Falcon, Avanika Narayan, Hakki Orhun Akengin, J. Wes Griffin, Herumb Shandilya, Adrian Gamarra Lafuente, Medhya Goel, Rebecca Joseph, Shlok Natarajan, Etash Kumar Guha, Shang Zhu, Ben Athiwaratkun, John Hennessy, Azalia Mirhoseini, Christopher Ré

机构 * Stanford University（斯坦福大学） ； Together AI 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了本地AI在能源效率和性能上的表现，提出了一种统一的衡量指标IPW，展示了本地推理在重新分配需求方面的能力，并揭示了本地加速器的优化潜力。

CP-MoE: Consistency-Preserving Mixture-of-Experts for Continual Learning

CP-MoE：一致性保留的混合专家用于持续学习

Yang Liu, Toan Nguyen, Flora D. Salim

机构 * School of Computer Science and Engineering University of New South Wales（计算机科学与工程学院 新南威尔士大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CP-MoE，一种基于瞬时专家的持续学习框架，通过一致性保留的路由偏置和瞬时专家引导的正则化机制，减少参数干扰和遗忘，同时保留跨任务知识转移。

Comments Accepted at CoLLAs 2026

Evaluation-Verification Reward for Consistent Multi-Reference Image Editing

用于一致多参考图像编辑的评估-验证奖励

Yingmao Miao, Pengfei Zhang, Xiaochen Lv, Meng Yu, Lei Sun, Xiangxiang Chu, Chao Shen, Chenhao Lin

机构 * Xi’an Jiaotong University（西安交通大学） ； Amap, Alibaba（高德，阿里巴巴） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)

AI总结 针对多参考图像编辑的视觉一致性与奖励模型缺失问题，提出多维度评估-验证奖励EVR，实现无需架构改动的现成编辑器RL微调，性能优于Qwen-Image-Edit并达到或超NanoBanana。

EgoIntent: A Pre-Outcome Micro-Step Benchmark for Understanding What, Why, and Next

EgoIntent: 一种用于理解‘是什么、为什么和下一步’的以自我为中心的步级基准

Ye Pan, Chi Kit Wong, Yuanhuiyi Lyu, Hanqian Li, Chenfei Liao, Jiahao Huo, Lutao Jiang, Zixin Zhang, Jiacheng Chen, Yuqian Fu, Xu Zheng

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 EgoIntent基准旨在通过步级意图理解解决以自我为中心视频中对‘是什么、为什么和下一步’的细粒度理解难题，包含15种日常生活场景，评估模型在三个维度上的表现。

Large Language Models for Fault Localization: An Empirical Study

用于故障定位的大语言模型：一项实证研究

Yingjian Xiao, Weiwei Gong, Jianjun Huang, Rongqun Hu, Hongwei Li, Anquan Jie, Boyang Yang

专题命中 推理评测 ：chain-of-thought(abstract,abstract_cn)

AI总结 本文通过在HumanEval-Java、Defects4J数据集上评估四款LLMs，对比非LLM基线，分析不同提示策略，明确其在语句级故障定位的优缺与实际权衡，为软件工程应用提供实证支持。

DFAH-Bench: Benchmarking Observable Agent Instability in Financial Decision-Making

DFAH-Bench：金融决策中可观测智能体不稳定性的基准测试

Raffi Khatchadourian

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究金融决策中智能体行为稳定性，引入DFAH-Bench基准，通过多渠道衡量。发现仅结果一致性不能完全反映稳定性，前沿模型存在决策与工具路径一致性差距，识别出三种行为模式，并开源相关代码和数据。

Comments 15 pages, 3 figures. Code, sanitized replay logs, one-command reproduction (make reproduce-paper), and an interactive results explorer: https://github.com/ibm-client-engineering/output-drift-financial-llms

ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samples

ARMOR：使用离策略锚样本稳定在线大语言模型强化学习

Kexin Huang, Junkang Wu, Jinda Lu, Shuo Yang, Chiyu Ma, Jiancan Wu, Xiang Wang, Xiangnan He, Guoyin Wang, Jingren Zhou

机构 * University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； Dartmouth College（达特茅斯学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大语言模型强化学习训练不稳定问题，提出ARMOR框架，通过锚展开利用离策略数据保留解决方案模式，混合优化重新制定策略目标实现可控探索，经实验验证可有效减轻验证崩溃，提升性能。

KD-Judge: A Knowledge-Driven Automated Judge Framework for Functional Fitness Movements on Edge Devices

KD-Judge：一种基于知识的自动化评判框架，用于边缘设备上的功能性健身动作

Shaibal Saha, Fan Li, Yunge Li, Arun Iyengar, Lucas Alves, Lanyu Xu

机构 * Department of Computer Science and Engineering, Oakland University, Rochester Hills, USA（计算机科学与工程系，奥克兰大学，罗切斯特希尔，美国） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 本文提出KD-Judge，一种基于知识的自动化评判框架，用于在边缘设备上对功能性健身动作进行重复标准的自动评判，通过规则结构化和确定性规则系统提高效率和准确性。

Comments Accepted at IEEE/ACM CHASE 2026

When Does Belief-Based Agent Memory Help? Reliability-Conditional Updating and Provenance-Capped Poisoning Defense

Nous：一种用于长期智能体记忆的预测世界模型

Pranav Singh

机构 * Indian Institute of Technology Ropar（印度理工学院罗巴尔分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Nous记忆架构，基于知识即预测而非存储的原则，通过贝叶斯更新维护概率分布，以信息论惊喜度评分并记录信念变化，在LoCoMo基准上取得优于对比方法的F1分数。

Comments Preprint. 10 pages, 1 figure, 6 tables

MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems

MemTrace：大型语言模型记忆系统中的错误追踪与归因

Xinle Deng, Ruobin Zhong, Hujin Peng, Xiaoben Lu, Yanzhe Wu, Guang Li, Buqiang Xu, Yunzhi Yao, Jizhan Fang, Haoliang Cao, Junjie Guo, Yuan Yuan, Ziqing Ma, Yuanqiang Yu, Rui Hu, Baohua Dong, Hangcheng Zhu, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MemTrace框架，通过构建可执行的记忆演化图实现细粒度错误追踪，并利用自动归因方法定位根因，进而优化提示词提升下游任务性能。

Comments Ongoing work