大模型推理能力

GlobalDentBench: A Multinational Benchmark for Evaluating LLM Clinical Reasoning in Dentistry with Expert Calibration

GlobalDentBench：一个用于评估牙科领域大语言模型临床推理能力并包含专家校准的多国基准

Junjie Zhao, Jingyi Liang, Zhenyang Cai, Jiaming Zhang, Zhenwei Wen, Shuzhi Deng, Wenjing Yi, Chunfeng Luo, Hexian Zhang, Junying Chen, Tianrui Liu, Zhuhui Bai, Zixu Zhang, Pradeep Singh, Xiang Liu, Jianquan Li, Nhan L Tran, Falk Schwendicke, Zuolin Jin, Lijian Jin, Liangyi Chen, Wei-fa Yang, Benyou Wang, Junwen Wang, Shan Jiang

机构 * Division of Applied Oral Sciences and Community Dental Care, Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院应用口腔科学与社区牙科护理系） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院） ； Department of Periodontology, Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）牙周科） ； Beijing Institute of Collaborative Innovation（北京协同创新研究院） ； Department of Orthodontics, Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）正畸科） ； Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）） ； College of Future Technology, Peking University（北京大学未来技术学院） ； Freedom AI ； New Cornerstone Science Laboratory, National Biomedical Imaging Center, State Key Laboratory of Membrane Biology, Institute of Molecular Medicine, Peking-Tsinghua Center for Life Sciences, College of Future Technology, Peking University, Beijing 100871, China（新基石科学实验室、国家生物医学成像中心、膜生物学国家重点实验室、分子医学研究院、北京大学未来技术学院、生命科学中心，北京大学，北京100871，中国） ； IDG/McGovern Institute for Brain Research, Peking University, Beijing 100871, China（IDG/ McGovern脑科学研究院，北京大学，北京100871，中国） ； Division of Oral and Maxillofacial Surgery, Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院口腔颌面外科系） ； Shenzhen Loop Area Institute（深圳河套学院） ； Department of Cancer Biology, Mayo Clinic Arizona, 5777 E. Mayo Blvd., IERB-3-504A, Phoenix, Arizona, 85054, USA（梅奥诊所亚利桑那分部癌症生物学部门，5777 E. Mayo Blvd., IERB-3-504A, Phoenix, Arizona, 85054, USA） ； Department of Conservative Dentistry, Periodontology and Digital Dentistry, LMU University Hospital, LMU Munich, Munich, Germany（慕尼黑大学医院保守牙科、牙周病学和数字牙科部门，慕尼黑，德国，慕尼黑大学） ； Division of Periodontology & Implant Dentistry, Faculty of Dentistry, The University of Hong Kong, Hong Kong, SAR, China（香港大学牙科学院牙周病学与种植牙科系，香港，中国） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出首个跨国牙科基准GlobalDentBench，包含14个专科、88个国家的8978道专家验证题目，评估三种推理层次，揭示当前大语言模型在牙科临床推理中性能随复杂度下降且存在高风险。

Hide to See: Reasoning-prefix Masking for Visual-anchored Thinking in VLM Distillation

Hide to See: 面向VLM蒸馏中视觉锚定思维的推理前缀掩码

Seonghoon Yu, Dongjun Nam, Byung-Kwan Lee, Jeany Son

机构 * KAIST（韩国科学技术院） ； NVIDIA（英伟达） ； POSTECH（POSTECH大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出一种推理前缀掩码蒸馏框架，通过掩码学生模型的显著推理前缀，迫使其在推理过程中更依赖视觉证据，从而缓解长推理轨迹中的视觉遗忘问题，提升多模态推理性能。

Comments Pre-print

How Reliable are LLMs for Reasoning on the Re-ranking task?

LLMs在重排序任务上的推理有多可靠？

Nafis Tanveer Islam, Zhiming Zhao

机构 * Multiscale Networked Systems (MNS) Group, University of Amsterdam（多尺度网络系统（MNS）组，阿姆斯特丹大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究分析不同训练方法对LLMs在重排序任务中语义理解的影响，并探究模型能否生成更知情的文本推理以克服透明度和数据有限的挑战。

Comments This chapter has been published in Advancements in AI From Foundations to Cross-Disciplinary Applications, Springer, 2026

Learning to Adapt SFT Data for Better Reasoning Generalization

学习适应SFT数据以实现更好的推理泛化

Lisong Sun, Li Wang, Chen Zhang, Jinyang Wu, Kui Zhang, Tianhao Peng, Wenjun Wu

机构 * Beihang University（北京航空航天大学） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； Hangzhou International Innovation Institute（杭州国际创新研究院） ； Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高级创新中心） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 提出DART方法，通过强化学习训练映射器将分布不匹配的SFT数据转化为模型自适应的监督，提升推理泛化能力。

Which Changes Matter? Towards Trustworthy Legal AI via Relevance-Sensitive Evaluation and Solver-Grounded Reasoning

哪些变化重要？通过相关性敏感评估和求解器基础推理实现可信赖的法律AI

Chen Linze, Cai Yufan, Hou Zhe, Dong Jin Song

机构 * National University of Singapore（新加坡国立大学） ； Griffith University（格里菲斯大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出法律相关性敏感评估问题，引入统一评估套件，并设计基于形式推理的对抗多智能体框架LexGuard，以提高法律AI对法律相关变化的校准敏感性。

NeuroMambaLLM: Dynamic Graph Learning of fMRI Functional Connectivity in Autistic Brains Using Mamba and Language Model Reasoning

NeuroMambaLLM：使用Mamba和语言模型推理的自闭症大脑fMRI功能连接的动态图学习

Yasaman Torabi, Parsa Razmara, Hamed Ajorlou, Bardia Baraeinejad

机构 * Department of Electrical and Computer Engineering, McMaster University（麦基尔大学电气与计算机工程系） ； Department of Biomedical Engineering, University of Southern California（南加州大学生物医学工程系） ； Department of Electrical and Computer Engineering, University of Rochester（罗切斯特大学电气与计算机工程系） ； BIOSEN Group（BIOSEN集团） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出NeuroMambaLLM框架，结合动态潜在图学习、选择性状态空间时序建模与冻结的大语言模型，通过低秩适应实现fMRI动态功能连接的诊断分类与临床文本报告生成。

DIANOIA: Diagnostic Decomposition and Joint Optimization for Multi-Agent Reasoning

DIANOIA: 多智能体推理的诊断性分解与联合优化

Yiming Yang, Zhuoyuan Li, Fanxiang Zeng, Hao Fu, Yue Liu

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出DIANOIA框架，通过覆盖度、保真度和综合度三个可测量通道分解多智能体推理增益，并基于此设计诊断协议和对应系统，在多个基准上以更少token实现更优性能。

From Knowledge to Inference: Formalizing Specialized Public Health Reasoning on GlobalHealthAtlas

从知识到推理：形式化GlobalHealthAtlas上的专业公共卫生推理

Zhaokun Yan, Shan Xu, Wuzheng Dong, Zhaohan Liu, Lijie Feng, Chengxiao Dai, Chen Tianqi, Binfan Liu, Yunpu Ma, Wenting Wei, Yingting Li, Yi Zhang, Tongning Wu

机构 * China Academy of Information and Communications Technology（中国信息通信技术研究院） ； CRRC Industrial Academy Co., Ltd.（CRRC工业学院有限公司） ； The University of Sydney（悉尼大学） ； Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Shanghai Institute of Infectious Disease and Biosecurity（上海传染病与生物安全研究院） ； School of Public Health, Fudan University（复旦大学公共卫生学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 为解决公共卫生推理缺乏结构化监督信号和基准的问题，提出大规模多语言数据集GlobalHealthAtlas（280,210实例，15领域，17语言），并构建LLM辅助的构建与质量控制流水线及领域对齐评估器，支持安全关键型公共卫生推理的LLM训练与评估。

Journal ref ICML 2026 regular

Med-CoReasoner: Reducing Language Disparities in Medical Reasoning via Language-Informed Co-Reasoning

Med-CoReasoner: 通过语言感知的协同推理减少医学推理中的语言差异

Fan Gao, Sherry T. Tong, Jiwoong Sohn, Jiahao Huang, Junfeng Jiang, Ding Xia, Piyalitt Ittichaiwong, Kanyakorn Veerakanjana, Hyunjae Kim, Qingyu Chen, Edison Marrese Taylor, Kazuma Kobayashi, Akiko Aizawa, Irene Li

机构 * The University of Tokyo（东京大学） ； ETH Zürich（苏黎世联邦理工学院） ； National Institute of Informatics（日本信息处理学会） ； Siriraj Informatics and Data Innovation Center（Siriraj信息与数据创新中心） ； Yale University（耶鲁大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 提出Med-CoReasoner框架，通过并行英语和本地语言推理、结构化概念抽象及概念级对齐与检索，将本地临床知识整合到英语逻辑框架中，以缩小医学推理中的多语言差距，在MultiMed-X基准上平均提升5%的多语言推理性能。

VIDA: A dataset for Visually Dependent Ambiguity in Multimodal Machine Translation

VIDA: 多模态机器翻译中视觉依赖歧义的数据集

Jingheng Pan, Xintong Wang, Longyue Wang, Liang Ding, Weihua Luo, Chris Biemann

机构 * Department of Informatics, Universität Hamburg（汉堡大学信息学院） ； Alibaba Group（阿里巴巴集团） ； Alibaba Cloud（阿里云） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 提出VIDA数据集，包含2500个精心策划的实例，用于评估多模态机器翻译中需要视觉证据才能解决的歧义，并引入以歧义消解为中心的指标，实验表明链式思维微调能提升跨分布歧义消解能力。

Touch-R1: Reinforcing Touch Reasoning in MLLMs

Touch-R1：在多模态大语言模型中强化触觉推理

Yingxin Lai, Yafei Zhou, Fucai Zhu, Siyu Zhu, Weihao Yuan

机构 * Xiamen University（厦门大学） ； Great Bay University（大湾大学） ； Fudan University（复旦大学） ； Nanjing University（南京大学） ； Daimon Robotics（达摩机器人） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 针对触觉推理中物理属性序数性和跨传感器分布偏移的挑战，提出基于触觉接地GRPO目标训练的Touch-R1模型，在TouchReason-Bench上平均性能超过Octopi-13B和GPT-4o。

Comments Our code and data will be made public on the https://laiyingxin2.github.io/Projects

A Hybrid Vision-Language Architecture for Automated Defect Reasoning and Report Generation in Industrial Inspection

一种用于工业检测中自动缺陷推理与报告生成的混合视觉-语言架构

Malikussaid, Imad Gohar

机构 * School of Computing, Telkom University（Telkom大学计算机学院） ； Faculty of Engineering and Technology, School of Computing and Artificial Intelligence（工程与技术学院，计算与人工智能学院） 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种解耦的边缘可部署管道，结合YOLO26-x-obb检测器、确定性编码模块和QLoRA微调的Qwen-2.5-1.5B模型，实现风电叶片缺陷定位与结构化报告生成，在BLEU-4、幻觉率和专家评分上显著优于零样本VLM基线。

Comments 23 pages, 6 figures, 9 equations, and 6 tables

Structured Relational Reasoning for Group Activity Assessment

结构化关系推理用于群体活动评估

Thinesh Thiyakesan Ponbagavathi, Chengzheng Yang, Alina Roitberg

机构 * University of Stuttgart（斯图加特大学） ； University of Hildesheim（希尔德斯海姆大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 提出ProGraD框架，利用冻结视觉基础模型和轻量级GroupContext Transformer，通过结构化关系推理在单次前向传播中联合推断群体位置、成员关系和活动，仅用10M参数即在Cafe和Social-CAD基准上取得最优性能。

Comments Accepted to CVPR 2026 Workshop (SAUAFG)

EconCausal: A Context-Aware Economic Reasoning Benchmark for Large Language Models

EconCausal: 面向大语言模型的上下文感知经济推理基准

Donggyu Lee, Hyeok Yun, Meeyoung Cha, Sungwon Park, Sangyoon Park, Jihee Kim

机构 * Graduate School of Data Science, KAIST（韩国科学技术院数据科学研究生院） ； College of Business, KAIST（韩国科学技术院商学院） ； Data Science for Humanity Group, MPI-SP（马克斯·普朗克所际数据科学为人类集团） ； School of Computing, KAIST（韩国科学技术院计算学院） ； Division of Social Science, HKUST（香港科技大学社会科学系） 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.CL、cs.AI

AI总结 提出EconCausal基准，包含从顶级经济金融期刊提取的10,490个上下文标注因果三元组，评估大语言模型在指定上下文中推断因果方向及随上下文变化调整判断的能力。

Qiskit QuantumKatas: Adapting Microsoft's Quantum Computing exercises for LLM evaluation

Qiskit QuantumKatas: 为LLM评估改编微软的量子计算练习

Juan Cruz-Benito, Ismael Faro

机构 * IBM Research（IBM研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文将微软的QuantumKatas量子计算课程从Q#移植到Qiskit，并构建评估框架，用于系统评估大型语言模型在量子计算任务上的能力。

Drive-P2D: A Progressive Perception-to-Decision Benchmark for VLMs in Autonomous Driving

Drive-P2D：自动驾驶中视觉语言模型的渐进式感知到决策基准

Zecong Tang, Zixu Wang, Yifei Wang, Weitong Lian, Tianjian Gao, Haoran Li, Tengju Ru, Lingyi Meng, Zhejun Cui, Yichen Zhu, Qi Kang, Kaixuan Wang, Yu Zhang

机构 * Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.AI

AI总结 提出Drive-P2D基准，通过分离推理与答案的协议，在目标、场景和决策三个层级上评估视觉语言模型的感知到决策能力，并分析错误模式。

Seeing vs. Believing: Evaluating the Language Bias of Open-Source MLLMs in Counter-Intuitive Scenes

看见 vs. 相信：评估开源多模态大模型在反直觉场景中的语言偏见

Chen Ling, Tongwei Zhang, Hanqian Li, Nai Ding

机构 * Zhejiang University（浙江大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 为评估多模态大模型处理反直觉动作场景的能力，提出CAIT基准（400个高保真合成场景），发现开源模型因语言先验而忽视视觉证据，性能接近随机水平，而链式思维推理虽提升准确率但导致过度思考拒绝视觉内容，通过微调和结构化提示可缓解此偏见。

GraphDancer: Training LLMs to Explore and Reason over Graphs via Two-Stage Curriculum Post-Training

GraphDancer: 通过两阶段课程后训练训练LLMs在图上的探索与推理

Yuyang Bai, Zhuofeng Li, Ping Nie, Jianwen Xie, Yu Zhang

机构 * Texas A&M University（德克萨斯大学A&M分校） ； University of Waterloo（滑铁卢大学） ； Lambda（Lambda公司） ； University of Oregon（俄勒冈大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出GraphDancer两阶段后训练框架，通过图感知课程逐步增加任务难度，使LLMs学会在异构图上进行自然语言推理与函数调用交织的探索与推理，仅用3B骨干模型即在跨域基准上超越更强基线。

Comments 15 pages, Project website: https://yuyangbai.com/graphdancer/

It's Not the Capability: Harness Sensitivity Is Non-Monotone Across LLM Agent Tiers

不是能力问题：LLM 智能体层级间的驾驭敏感性非单调

Yong-eun Cho

机构 * KailosLab（凯罗斯实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 通过 432 次实验，发现 LLM 智能体的驾驭敏感性随模型层级非单调变化，且依赖模型类型（聊天 vs. 推理），推翻了“更高能力模型需要更少结构指导”的假设。

Comments 9 pages, 3 figures

When VLMs 'Fix' Students: Identifying and Penalizing Over-Correction in the Evaluation of Multi-line Handwritten Math OCR

当VLM“修正”学生：多行手写数学OCR评估中的过度修正识别与惩罚

Jin Seong, Wencke Liermann, Minho Kim, Jong-hun Shin, Soojong Lim

机构 * Electronics and Telecommunications Research Institute（电子通信研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对多行手写数学OCR评估中VLM过度修正问题，提出基于LLM的语义评估指标PINK，有效惩罚过度修正，在FERMAT数据集上优于BLEU。

Beyond Coefficients: Forecast-Necessity Testing for Interpretable Causal Discovery in Nonlinear Time-Series Models

超越系数：非线性时间序列模型中可解释因果发现的预测必要性检验

Valentina Kuskova, Dmitry Zaytsev, Michael Coppedge

机构 * Lucy Family Institute for Data & Society（数据与社会联合研究所） ； University of Notre Dame（诺特大学） ； Department of Political Science（政治学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对非线性时间序列模型中因果分数被误读为回归系数的问题，提出基于边消融和预测比较的预测必要性检验框架，以评估因果关系的实际必要性。

Fact4ac at the Financial Misinformation Detection Challenge Task: Reference-Free Financial Misinformation Detection via Fine-Tuning and Few-Shot Prompting of Large Language Models

Fact4ac在金融虚假信息检测挑战赛中的方法：通过微调和少样本提示的大语言模型实现无参考金融虚假信息检测

Cuong Hoang, Le-Minh Nguyen

机构 * KaiNKaiho 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种结合零样本/少样本提示和LoRA参数高效微调的大语言模型框架，用于无外部证据的金融虚假信息检测，在公开和私有测试集上分别达到95.4%和96.3%的准确率，获得竞赛第一名。

Journal ref Proceedings of the 2nd Workshop on Misinformation Detection in the Era of LLMs (MisD 2026), 20th International AAAI Conference on Web and Social Media

Sell Me This Stock: Unsafe Recommendation Drift in LLM Agents

卖给我这支股票：LLM智能体中的不安全推荐漂移

Zekun Wu, Adriano Koshiyama, Sahan Bulathwela, Maria Perez-Ortiz

机构 * Centre for Artificial Intelligence, University College London（人工智能研究中心，伦敦大学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究LLM智能体在多轮金融推荐中因工具输出被操纵而产生风险不匹配推荐的问题，通过实验揭示评估盲区并分析机制。

Position: The Hidden Costs and Measurement Gaps of Reinforcement Learning with Verifiable Rewards

立场：具有可验证奖励的强化学习的隐藏成本与测量缺口

Fang Wu, Aaron Tu, Weihao Xuan, Heli Qi, Xu Huang, Qingcheng Zeng, Shayan Talaei, Yijia Xiao, Peng Xia, Xiangru Tang, Yuchen Zhuang, Yinxi Li, Bing Hu, Hanqun Cao, Wenqi Shi, Rui Yang, Nan Liu, Huaxiu Yao, Ge Liu, Li Erran Li, Amin Saberi, Naoto Yokoya, Jure Leskovec, Yejin Choi

机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； The University of Tokyo（东京大学） ； RIKEN AIP（理化学研究所AIP） ； Waseda University（早稻田大学） ； Georgia Tech（佐治亚理工学院） ； Northwestern University（西北大学） ； UCLA（加州大学洛杉矶分校） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Yale University（耶鲁大学） ； University of Waterloo（滑铁卢大学） ； Independent Researcher（独立研究者） ； CUHK（香港中文大学） ； UT Southwestern Medical Center（西南医学中心） ； National University of Singapore（新加坡国立大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Amazon AWS AI（亚马逊AWS人工智能） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文指出，具有可验证奖励的强化学习（RLVR）在提升大语言模型性能时，常因预算不匹配、尝试膨胀和基准数据污染等混淆因素导致收益被高估，并提出了预算匹配饱和曲线、校准跟踪、法官鲁棒性测试和污染筛查等最低标准。

ENPMR-Bench: Benchmarking Proactive Memory Retrieval for Emotional Support Agents

ENPMR-Bench: 情感支持代理的主动记忆检索基准

Xing Fu, Yulin Hu, Mengtong Ji, Haozhen Li, Yixin Sun, Weixiang Zhao, Yanyan Zhao, Bing Qin

机构 * Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL

AI总结 提出ENPMR-Bench基准，基于马斯洛需求层次评估情感支持代理主动推断用户潜在情感需求并检索适当记忆的能力，实验表明当前检索范式存在显著缺陷。

LiveK12Bench: Have Large Multimodal Models Truly Conquered High School-level Examinations?

LiveK12Bench: 大型多模态模型真的征服了高中水平的考试吗？

Xiaohan Wang, Mingze Yin, Yilin Zhao, Gang Liu, Dian Li

机构 * Tencent PCG（腾讯PCG） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出动态多学科基准LiveK12Bench，通过自动化流水线和新颖的模拟考试评估方案，揭示大型多模态模型在真实考试场景下性能显著下降，尤其对复杂视觉布局敏感。

FAB-Bench: A Framework for Adaptive RAG Benchmarking in Semiconductor Manufacturing

FAB-Bench：半导体制造中自适应RAG基准测试框架

Jingbin Qian, Congwen Yi, Min Xia, Wen Wu, Jun Zhu, Jian Guan

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出FAB-Bench框架，通过六项诊断指标和三种合成策略，评估半导体制造领域RAG系统在不同上下文窗口下的性能，发现注意力稀释是极端上下文长度下性能下降的主要原因。

Memory Architectures for Multi-Turn Text-to-SQL: A Benchmark and Empirical Study

多轮文本到SQL的记忆架构：基准测试与实证研究

Ravi Kumar Tummalapenta, Suman Addanki

机构 * LLM Suite Engineering Team, JP Morgan Chase & Co.（JP摩根大通公司LLM套件工程团队） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对多轮Text-to-SQL任务，提出EnterpriseMem-Bench基准并评估五种前沿模型，发现无状态方法在第三轮后执行准确率归零，且记忆架构复杂度并不单调提升准确率。

Comments 18 pages, 4 figures, 14 tables; includes appendices with verbatim prompts, example session, and full ablation tables; prepared by the LLM Suite Engineering Team, JP Morgan Chase & Co

OmniToM: Benchmarking Theory of Mind in LLMs via Explicit Belief Modeling

OmniToM：通过显式信念建模评估大语言模型的心智理论

Adam Bawatneh, Sagar Sapkota, Amrit Singh Bedi, Santu Karmaker, Mubarak Shah

机构 * University of Central Florida（佛罗里达大学中央分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出OmniToM基准，通过显式信念结构（包括信念提取和标签化两阶段）评估LLM在叙事中追踪不同角色心智状态的能力，揭示其在知识获取和表征决策上的瓶颈。

Comments 30 pages, 8 figures, 19 tables; includes appendix

Anchor: Mitigating Artifact Drift in Agent Benchmark Generation

Anchor：缓解智能体基准生成中的工件漂移

Maksim Ivanov, Abhijay Rana

机构 * Agentic Labs 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI

AI总结 提出Anchor管道，通过约束优化程序联合生成指令、环境、真值解和验证器，解决基准生成中的工件漂移问题，并构建ERP-Bench基准评估前沿模型性能。

Comments Accepted to RLEval '26 (Workshop at ACM Conference on AI and Agentic Systems 2026)