大模型推理能力

Quantifying Cross-Query Contradictions in Multi-Query LLM Reasoning

量化多查询LLM推理中的跨查询矛盾

Rohit Kumar Salla, Ramya Manasa Amancherla, Manoj Saravanan

机构 * Virginia Tech（弗吉尼亚理工大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI；logical reasoning(comments)

AI总结 本文研究多查询推理中的逻辑一致性，提出包含390个实例的基准测试，引入集级指标，通过提取承诺、验证全局可满足性及反例引导修复，减少跨查询矛盾并保持单查询准确性。

Comments Accepted at the ICLR 2026 Workshop on Logical Reasoning of Large Language Models. 9 pages, 6 tables, code and data at https://huggingface.co/datasets/rohitspider/cross_query_benchmark

METER: Evaluating Multi-Level Contextual Causal Reasoning in Large Language Models

METER：评估大型语言模型中的多级上下文因果推理

Pengfeng Li, Chen Huang, Chaoqun Hao, Hongyao Chen, Xiao-Yong Wei, Wenqiang Lei, See-Kiong Ng

机构 * College of Computer Science, Sichuan University（四川大学计算机学院） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所） ； Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China（中国教育部机器学习与产业智能工程研究中心） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出METER基准，系统评估大型语言模型在因果阶梯的三个层级上的表现，发现随着任务层级升高，模型能力显著下降，揭示了模型在因果推理中的两大失效模式。

Comments ACL 2026. Our code and dataset are available at https://github.com/SCUNLP/METER

Time-RA: Towards Time Series Reasoning for Anomaly Diagnosis with LLM Feedback

Time-RA：面向时间序列推理的异常诊断方法：基于LLM反馈

Yiyuan Yang, Zichuan Liu, Lei Song, Kai Ying, Zhiguang Wang, Tom Bamford, Svitlana Vyetrenko, Jiang Bian, Qingsong Wen

机构 * University of Oxford（牛津大学） ； Nanjing University（南京大学） ； MSRA（微软研究院） ； SJTU（上海交通大学） ； Abel AI ； Outsampler ； University of Strasbourg（斯特拉斯堡大学） ； Squirrel Ai Learning（Squirrel AI学习） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Time-RA，通过引入RATs40K多模态数据集，改进时间序列异常检测的生成式推理方法，提升诊断准确性和解释性，实现可解释的多模态时间序列分析。

Comments ACL 2026 Findings. 27 pages, 11 figures, 15 tables. Code and dataset are publicly available

Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems

在何时不回答：评估多模态推理系统中的退避

Nishanth Madhusudhan, Vikas Yadav, Alexandre Lacoste

机构 * ServiceNow Research（ServiceNow研究院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出MM-AQA基准，通过视觉模态依赖性和证据充分性变换生成不可回答实例，评估三种前沿VLM和两种MAS架构，发现VLM在标准提示下 rarely 退避，MAS提升退避但引入准确率-退避权衡，序列设计表现优异，表明退避意识训练比提示或更多代理更重要。

Comments 10 pages and 4 figures (excluding appendix)

Seeing Through Experts Eyes A Foundational Vision Language Model Trained on Radiologists Gaze and Reasoning

通过专家之眼：一个基于放射学家目光和推理训练的基础视觉语言模型

Kinhei Lee, Peiyuan Jing, Zhenxuan Zhang, Yue Yang, Tao Wang, Dominic C Marshall, Yingying Fang, Guang Yang

机构 * Bioengineering Department and Imperial-X（生物工程系和Imperial-X） ； Imperial College London（帝国理工学院伦敦分校） ； College of physics and information engineering, Fuzhou University（福州大学物理与信息工程学院） ； Department of Surgery and Cancer, Imperial College London（外科与癌症部门，帝国理工学院伦敦分校） ； National Heart and Lung Institute, Imperial College London（国家心脏和肺研究所，帝国理工学院伦敦分校） ； Cardiovascular Research Centre, Royal Brompton Hospital（心血管研究中心，皇家布里顿医院） ； School of Biomedical Engineering & Imaging Sciences, King’s College London（生物医学工程与成像科学学院，国王学院伦敦分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出GazeX模型，通过放射学家的眼动数据模拟专家推理过程，提升医学影像分析的准确性和可解释性。

ReasonScaffold: A Scaffolded Reasoning-based Annotation Protocol for Human-AI Co-Annotation

ReasonScaffold: 一种基于推理的标注协议用于人机协同标注

Smitha Muthya Sudheendra, Jaideep Srivastava

机构 * University of Minnesota, Twin Cities（明尼苏达大学，双城分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出ReasonScaffold协议，通过暴露LLM生成的推理过程来提升标注一致性，发现推理能增加标注者一致性和最小化修订，为人类与AI协同标注提供实用机制。

Seek-and-Solve: Benchmarking MLLMs for Visual Clue-Driven Reasoning in Daily Scenarios

寻找并解决：用于日常场景中视觉线索驱动推理的MLLMs基准测试

Xiaomin Li, Tala Wang, Zichen Zhong, Ying Zhang, Zirui Zheng, Takashi Isobe, Dezhuang Li, Huchuan Lu, You He, Xu Jia

机构 * Dalian University of Technology（大连理工大学） ； WeChat, Tencent Inc.（微信，腾讯公司） ； Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本文提出DailyClue基准测试，旨在评估MLLMs在日常场景中通过视觉线索进行推理的能力，强调真实日常活动和挑战性查询设计，推动模型深入理解与推理。

Comments Accepted by ACL Findings 2026. Project page: https://xiaominli1020.github.io/DailyClue/

Context Over Content: Exposing Evaluation Faking in Automated Judges

上下文而非内容：揭示自动化评判中的评估造假

Manan Gupta, Inderjeet Nair, Lu Wang, Dhruv Kumar

机构 * BITS Pilani（比特学院） ； University of Michigan（密歇根大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究揭示自动化评判中因后果信号导致的宽大偏见，指出评判模型在不知情情况下受后果影响而降低评判标准，核心贡献是提出控制实验框架以检测此类评估造假。

Comments Under Review

Beyond Literal Summarization: Redefining Hallucination for Medical SOAP Note Evaluation

超越字面总结：重新定义医疗SOAP笔记评估中的幻觉

Bhavik Vachhani, Kush Shrisvastava, Pranshu Nema, Sai Chiranthan

机构 * Augnito Research（Augnito研究） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出通过校准提示和基于医学本体的检索，重新定义医疗SOAP笔记评估中的幻觉，发现传统评估方法高估了幻觉率，影响模型评估。

Comments 12 pages, 2 figures,3 tables

Neuro-Oracle: A Trajectory-Aware Agentic RAG Framework for Interpretable Epilepsy Surgical Prognosis

Neuro-Oracle：一种具有轨迹意识的代理RAG框架用于可解释性癫痫手术预后

Aizierjiang Aiersilan, Mohamad Koubeissi

机构 * The George Washington University（乔治华盛顿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Neuro-Oracle框架，通过三维Siamese对比编码器提取术前术后MRI变化，检索历史相似手术轨迹，并利用量化Llama-3-8B推理代理生成自然语言预后，验证了轨迹意识检索架构的可行性。

MixAtlas: Uncertainty-aware Data Mixture Optimization for Multimodal LLM Midtraining

MixAtlas: 多模态大语言模型中训练过程中的数据混合优化方法

Bingbing Wen, Sirajul Salekin, Feiyang Kang, Bill Howe, Lucy Lu Wang, Javier Movellan, Manjot Bilkhu

机构 * Apple（苹果公司） ； University of Washington（华盛顿大学） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MixAtlas通过双轴分解训练语料，结合小代理模型与高斯过程代理，优化多模态大语言模型的训练混合策略，提升性能和泛化能力。

SpeechLLM-as-Judges: Towards General and Interpretable Speech Quality Evaluation

SpeechLLM-as-Judges: 向通用和可解释的语音质量评估迈进

Hui Wang, Jinghua Zhao, Yifan Yang, Shujie Liu, Junyang Chen, Yanzhe Zhang, Shiwan Zhao, Jinyu Li, Jiaming Zhou, Haoqin Sun, Yan Lu, Yong Qin

机构 * College of Computer Science, Nankai University（南开大学计算机科学学院） ； Microsoft Corporation（微软公司） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 本文提出SpeechLLM-as-Judges框架，利用大语言模型进行结构化语音质量评估，构建了包含多语言语音片段的SpeechEval数据集，并开发了SQ-LLM模型，在多种任务和语言上表现出色。

Comments ACL 2026

MM-WebAgent: A Hierarchical Multimodal Web Agent for Webpage Generation

MM-WebAgent：一种用于网页生成的分层多模态网络代理

Yan Li, Zezi Zeng, Yifan Yang, Yuqing Yang, Ning Liao, Weiwei Guo, Lili Qiu, Mingxi Cheng, Qi Dai, Zhendong Wang, Zhengyuan Yang, Xue Yang, Ji Li, Lijuan Wang, Chong Luo

机构 * Shanghai Jiao Tong University（上海交通大学） ； Xi'an Jiaotong University（西安交通大学） ； Tongji University（同济大学） ； Microsoft Corporation（微软公司） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MM-WebAgent，一种分层多模态网页生成框架，通过分层规划和迭代自反思协调AIGC元素生成，提升网页全局布局与视觉一致性。

LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning

LongAct：利用内在激活模式促进长上下文强化学习

Bowen Ping, Zijun Chen, Tingfeng Hui, Qize Yu, Chenxuan Li, Junchi Yan, Baobao Chang

机构 * Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出LongAct方法，通过利用长上下文推理中的稀疏结构，改进大语言模型的训练，提升长上下文处理能力与泛化性能。

PolyBench: Benchmarking LLM Forecasting and Trading Capabilities on Live Prediction Market Data

PolyBench：基于实时预测市场数据的LLM预测与交易能力基准测试

Pu Cheng, Juncheng Liu, Yunshen Long

机构 * College of Electrical Engineering, Sichuan University（四川大学电气工程学院） ； School of Economics, Sichuan University（四川大学经济学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PolyBench基准测试，通过实时预测市场数据评估七种先进LLM的预测与交易能力，发现仅两种模型在严格市场状态下实现正收益，揭示了语言流畅性与真实概率推理之间的差距。

Comments 16 pages, 4 figures, 6 tables

MemGround: Long-Term Memory Evaluation Kit for Large Language Models in Gamified Scenarios

MemGround：用于大型语言模型在游戏化场景中的长期记忆评估套件

Yihang Ding, Wanke Xia, Yiting Zhao, Jinbo Su, Jialiang Yang, Zhengbo Zhang, Ke Wang, Wenming Yang

机构 * Tsinghua University（清华大学） ； Renmin University of China（中国人民大学） ； CASIA 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 MemGround通过游戏化交互场景评估LLM的长期记忆能力，提出三级框架和多维指标，揭示先进模型在动态跟踪和复杂推理上的不足。

Fall into a Pit, Gain in a Wit: Cognitive-Guided Harmful Meme Detection via Misjudgment Risk Pattern Retrieval

跌入陷阱，获得智慧：通过误判风险模式检索的认知引导有害迷因检测

Wenshuo Wang, Ziyou Jiang, Junjie Wang, Mingyang Li, Jie Huang, Yuekai Huang, Zhiyuan Chang, Feiyan Duan, Qing Wang

机构 * State Key Laboratory of Complex System Modeling and Simulation Technology（复杂系统建模与仿真技术国家重点实验室） ； Science and Technology on Integrated Information System Laboratory（集成信息系统技术研究所） ； Institute of Software Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PatMD方法，通过学习并主动缓解潜在误判风险，识别有害迷因的深层误判风险模式，提升多模态大语言模型的检测能力，实验显示在5项有害检测任务中，F1-score和准确率均显著提升。

Comments 14 pages, 11 figures

SPaCe: Unlocking Sample-Efficient Large Language Models Training With Self-Pace Curriculum Learning

SPaCe：通过自适应课程学习解锁高效大语言模型训练

Dai Do, Manh Nguyen, Svetha Venkatesh, Hung Le

机构 * Deakin Applied AI Initiative, Deakin University, Australia（德金应用人工智能倡议，德金大学，澳大利亚） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 SPaCe通过自适应课程学习框架，优化数据选择与训练时机，提升大语言模型的训练效率，实验表明其在多个推理基准上性能优于现有方法，样本使用减少达100倍。

AI-Assisted Requirements Engineering: An Empirical Evaluation Relative to Expert Judgment

人工智能辅助的需求工程：与专家判断的实证评估

Oz Levy, Ilya Dikman, Natan Levy, Michael Winokur

机构 * Faculty of Industrial Engineering and Technology Management, Holon Institute of Technology (HIT)（工业工程与技术管理学院，霍隆理工学院（HIT）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文通过对比AI辅助与专家评估，探讨AI在需求质量评估中的作用，证明其在一致性与快速性上的优势，但强调专家判断在上下文解释中的必要性。

Comments 13 pages, 7 Figures

MADE: A Living Benchmark for Multi-Label Text Classification with Uncertainty Quantification of Medical Device Adverse Events

MADE：一个多标签文本分类的活体基准，用于具有不确定性量化的医疗设备不良事件

Raunak Agarwal, Markus Wenzel, Simon Baur, Jonas Zimmer, George Harvey, Jackie Ma

机构 * Department of Artificial Intelligence（人工智能系） ； Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫茨研究所） ； Berlin（柏林） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出MADE基准，用于多标签文本分类，通过持续更新医疗设备不良事件报告，避免训练数据污染，评估不同模型在不确定性量化中的表现。

Comments Accepted at ACL 2026 Mains

OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation

OccuBench：通过语言环境模拟评估AI代理在真实世界专业任务中的表现

Xiaomeng Hu, Yinger Zhang, Fei Huang, Jianhong Tu, Yang Su, Lianghao Deng, Yuxuan Liu, Yantao Liu, Dayiheng Liu, Tsung-Yi Ho

机构 * Qwen Team, Alibaba Group（通义实验室，阿里巴巴集团） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 OccuBench通过语言环境模拟评估AI代理在100个真实世界专业任务场景中的表现，涵盖10个行业类别和65个专业领域，发现大模型、新版本和高推理能力提升性能，但强代理不等于强环境模拟器。

Comments 23 pages, 8 figures, 2 tables. Project page: https://gregxmhu.github.io/OccuBench-website/

DySCO: Dynamic Attention-Scaling Decoding for Long-Context Language Models

DySCO：动态注意力缩放解码用于长上下文语言模型

Xi Ye, Wuwei Zhang, Fangcong Yin, Howard Yen, Danqi Chen

机构 * Princeton Language and Intelligence, Princeton University（普林斯顿语言与智能，普林斯顿大学） ； Department of Computer Science, New York University（纽约大学计算机科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 DySCO通过动态调整注意力机制提升长上下文推理能力，利用检索头识别关键token并增强其权重，在多个基准测试中取得25%的性能提升。

BarrierBench: Evaluating Large Language Models for Safety Verification in Dynamical Systems

BarrierBench: 评估大型语言模型在动态系统安全验证中的性能

Ali Taheri, Alireza Taban, Sadegh Soudjani, Ashutosh Trivedi

机构 * Isfahan University of Technology（伊斯法罕技术大学） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） ； University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出BarrierBench基准，评估大型语言模型在动态系统安全验证中的能力，通过100个动态系统案例测试语言模型在生成安全证书和协调策略中的有效性。

Comments 8th Annual Learning for Dynamics & Control Conference

Zero-Shot Retail Theft Detection via Orchestrated Vision Models: A Model-Agnostic, Cost-Effective Alternative to Trained Single-Model Systems

通过协调视觉模型实现零样本零售盗窃检测：一种无需训练单个模型的低成本替代方案

Haileab Yagersew

机构 * Paza AI 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出Paza框架，通过协调多个现有模型实现零样本零售盗窃检测，降低训练成本，利用多信号预过滤减少昂贵视觉语言模型调用次数，提升效率和准确性。

Comments 16 pages, 3 figures, Code to be released at https://github.com/xHaileab/Paza-AI

HWE-Bench: Benchmarking LLM Agents on Real-World Hardware Bug Repair Tasks

HWE-Bench：在真实世界硬件Bug修复任务上评估LLM代理的基准测试

Fan Cui, Hongyuan Hou, Zizhang Luo, Chenyun Yin, Yun Liang

机构 * Peking University（北京大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 HWE-Bench是首个大规模仓库级基准，用于评估LLM代理在真实世界硬件Bug修复任务中的表现，通过417个任务实例验证代理在不同项目中的性能差异。

DR$^{3}$-Eval: Towards Realistic and Reproducible Deep Research Evaluation

DR$^{3}$-Eval: 向真实和可重复的深度研究评估迈进

Qianqian Xie, Qingheng Xiong, He Zhu, Tiantian Xia, Xueming Han, Fanyu Meng, Jiakai Wang, Zhiqi Bai, Chengkang Jiang, Zhaohui Wang, Yubin Guo, Yuqing Wen, Jiayang Mao, Zijie Zhang, Shihao Li, Yanghai Wang, Yuxiang Ren, Junlan Feng, Jiaheng Liu

机构 * Nanjing University（南京大学） ； M-A-P ； Jiutian Research（九天研究） ； National University of Singapore（新加坡国立大学） ； Nanjing University of Science and Technology（南京理工大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本文提出DR$^{3}$-Eval基准，用于评估多模态多文件报告生成的深度研究代理，通过真实用户材料和静态研究沙盒语料结合，引入多维评估框架，验证其与人类判断的一致性。

PeerPrism: Peer Evaluation Expertise vs Review-writing AI

PeerPrism：同行评价专业性与审稿写作AI

Soroush Sadeghian, Alireza Daqiq, Radin Cheraghi, Sajad Ebrahimi, Negar Arabzadeh, Ebrahim Bagheri

机构 * University of Toronto, Reviewerly（多伦多大学，Reviewerly） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出PeerPrism基准测试，通过20690篇同行评审数据，区分思想来源与文本来源，揭示现有检测方法在混合场景下的不足，强调需多维度建模作者身份。

AIBuildAI: An AI Agent for Automatically Building AI Models

AIBuildAI: 一个用于自动构建AI模型的AI代理

Ruiyi Zhang, Peijia Qin, Qi Cao, Li Zhang, Pengtao Xie

机构 * Department of Electrical and Computer Engineering, University of California San Diego（加州大学圣地亚哥分校电气与计算机工程系） ； Department of Medicine, University of California San Diego（加州大学圣地亚哥分校医学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 AIBuildAI通过分层代理架构自动构建AI模型，超越传统AutoML，实现端到端自动化，展示出在Kaggle风格任务中63.1%的获奖率。

Adaptive Query Routing: A Tier-Based Framework for Hybrid Retrieval Across Financial, Legal, and Medical Documents

自适应查询路由：一种分层框架，用于金融、法律和医疗文档的混合检索

Afshan Hashmi

机构 * TRDC, Tuwaiq Academy（TRDC，图瓦伊克学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出了一种分层框架，通过比较三种检索架构在金融、法律和医疗领域的表现，揭示了不同检索方法在不同复杂度层级上的性能差异，强调了树状推理和混合检索在跨参考和多段查询中的优势。

MM-tau-p$^2$: Persona-Adaptive Prompting for Robust Multi-Modal Agent Evaluation in Dual-Control Settings

MM-tau-p$^2$: 人格自适应提示用于双控制设置中多模态代理的鲁棒性评估

Anupam Purwar, Aditya Choudhary

机构 * Sprinklr AI 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本文提出MM-tau-p$^2$基准，通过12个新指标评估多模态代理在双控制环境中的鲁棒性，结合用户输入解决查询，并展示即使使用前沿LLM，多模态鲁棒性等指标仍需考虑。

Comments A benchmark for evaluating multimodal both voice and text LLM agents in dualcontrol settings. We introduce persona adaptive prompting and 12 new metrics to assess robustness safety efficiency and recovery in customer support scenarios