大模型推理能力

DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models

阿拉伯方言MMLU：评估阿拉伯语和多语言模型在阿拉伯方言上的能力

Malik H. Altakrori, Nizar Habash, Abed Alhakim Freihat, Younes Samih, Kirill Chirkunov, Muhammed AbuOdeh, Radu Florian, Teresa Lynn, Preslav Nakov, Alham Fikri Aji

机构 * IBM Research AI（IBM人工智能研究院） ； New York University Abu Dhabi（纽约大学迪拜分校） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出阿拉伯方言MMLU基准，通过手动翻译和适应3000个多项选择题答案对至五个主要方言，评估大语言模型在阿拉伯方言上的推理和理解能力，揭示方言泛化中的持续差距。

Comments 9 pages, 10 tables, accepted to LREC 2026

CAF-Score: Calibrating CLAP with LALMs for Reference-free Audio Captioning Evaluation

CAF-Score: 通过LALMs校准CLAP用于无参考音频描述评估

Insung Lee, Taeyoung Jeong, Haejun Yoo, Du-Seong Chang, Myoung-Wan Koo

机构 * Department of Artificial Intelligence, Sogang University, South Korea（人工智能系，ソガン大学，韩国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CAF-Score，一种无参考音频描述评估指标，通过结合对比音频-文本嵌入与LALM推理，有效检测语法不一致和细微幻觉，实验表明其在BRACE基准上与人类判断相关性最高。

Comments A condensed version of this work has been submitted to Interspeech 2026. Section 10 is an extended analysis added in this version

URAG: A Benchmark for Uncertainty Quantification in Retrieval-Augmented Large Language Models

URAG：一种用于检索增强大型语言模型不确定性量化的基准

Vinh Nguyen, Cuong Dang, Jiahao Zhang, Hoa Tran, Minh Tran, Trinh Chau, Thai Le, Lu Cheng, Suhang Wang

机构 * Uppsala University（乌普萨拉大学） ； University of Science, VNU-HCM（VNU-HCM大学） ； Indiana University（印第安纳大学） ； FPT Software, AI Center（FPT软件人工智能中心） ； The Pennsylvania State University（宾夕法尼亚州立大学） ； VNU University of Engineering（VNU工程大学） ； University of Illinois at Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 URAG通过构建多选问答任务评估RAG系统在医疗、编程、科学、数学等领域的不确定性，揭示准确性与不确定性的关系及不同RAG方法的性能差异。

CURE: A Multimodal Benchmark for Clinical Understanding and Retrieval Evaluation

CURE：临床理解和检索评估的多模态基准

Yannian Gu, Zhongzhen Huang, Linjie Mu, Xizhuo Zhang, Shaoting Zhang, Xiaofan Zhang

机构 * Shanghai Jiao Tong University, Shanghai, China（上海交通大学） ； SenseTime Research, China（商汤研究院） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 CURE基准通过控制证据环境评估多模态模型的推理与检索能力，揭示模型在依赖权威文献时性能显著下降，强调整合临床证据与精确检索的挑战。

Full-Stack Domain Enhancement for Combustion LLMs: Construction and Optimization

面向燃烧科学的全栈领域增强：构建与优化

Quanjia Xiao, Weimin Ouyang, Zonglin Yang, Tianhao Wu, Qingguo Zhou, Runze Mao, Zhi X. Chen

机构 * Peking University（北京大学） ； AI for Science Institute, Beijing（AI for Science研究院，北京） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出首个针对燃烧科学的全栈领域增强LLM工作流程，整合自动领域语料构建、增量预训练、指令微调及可验证奖励强化学习，构建标准化评估基准FlameBench，显著提升燃烧科学推理性能。

Optimal Splitting of Language Models from Mixtures to Specialized Domains

从混合数据中语言模型的最优分割以专用于特定领域

Skyler Seto, Pierre Ablin, Anastasiia Filippova, Jiayuan Ye, Louis Bethune, Angelos Katharopoulos, David Grangier

机构 * Apple（苹果公司） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种方法，通过独立预训练多个模型并利用缩放定律确定预训练和继续预训练之间的最佳计算分配，从而提升不同模型大小和计算预算下的常识知识和推理基准性能。

Comments 26 pages, 11 tables, 17 figures

Automatic Configuration of LLM Post-Training Pipelines

大语言模型后训练流程的自动配置

Channe Chwa, Xinle Wu, Yao Lu

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AutoPipe框架，通过学习历史运行数据和贝叶斯优化，有效配置大语言模型后训练流程，减少计算成本并提升性能。

Do Large Language Models Possess a Theory of Mind? A Comparative Evaluation Using the Strange Stories Paradigm

大型语言模型具备心智理论吗？使用奇怪故事范式进行比较评估

Anna Babarczy, Andras Lukacs, Peter Vedres, Zeteny Bujka

机构 * ELTE Research Centre for Linguistics（ELTE语言学研究中心） ； Department of Cognitive Science, Faculty of Natural Sciences, Budapest University of Technology and Economics（布达佩斯技术与经济大学自然科学学院认知科学系） ； Institute of Mathematics, Eötvös Lóránd University（欧多布雷尼大学数学研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过奇怪故事范式评估了大型语言模型是否具备心智理论能力，发现GPT-4o在复杂条件下表现接近人类，而早期小型模型易受相关线索影响且易受无关信息干扰。

Comments 19 pages, 2 figures, 6 tables

From Detection to Diagnosis: Advancing Hallucination Analysis with Automated Data Synthesis

从检测到诊断：通过自动化数据合成推进幻觉分析

Yanyi Liu, Qingwen Yang, Tiezheng Guo, Feiyu Qu, Jun Liu, Yingyou Wen

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出从检测到诊断的新范式，通过自动化数据合成生成高质量训练样本，训练出HDM-4B-RL模型，在幻觉诊断任务中超越现有检测模型，实现更可靠的生成式AI系统。

Comments Accepted at The 40th Annual AAAI Conference on Artificial Intelligence

SO-Bench: A Structural Output Evaluation of Multimodal LLMs

SO-Bench：多模态大语言模型的结构输出评估

Di Feng, Kaixin Ma, Feng Nan, Haofeng Chen, Bohan Zhai, David Griffiths, Mingfei Gao, Zhe Gan, Eshan Verma, Yinfei Yang, Zhifeng Chen, Afshin Dehghan

机构 * Apple（苹果公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SO-Bench基准，评估多模态大语言模型在视觉输入下的结构化输出能力，揭示模型在准确性和符合数据模式方面的不足，并通过训练实验提升其结构化输出能力。

Comments v3 preprint. Added the link to the public benchmark

BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs

BenchPreS：面向持久内存LLM的上下文感知个性化偏好选择性基准

Sangyeon Yoon, Sunkyoung Kim, Hyesoo Hong, Wonje Jeung, Yongil Kim, Wooseok Seo, Heuiyeen Yeen, Albert No

机构 * Yonsei University（延世大学） ； LG AI Research（LG AI研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 BenchPreS评估持久内存LLM在不同通信场景中对用户偏好是否恰当应用，发现前沿模型在上下文敏感应用上存在不足，偏好遵循性强的模型易出现过度应用，推理能力和提示防御无法彻底解决此问题。

SWE-QA-Pro: A Representative Benchmark and Scalable Training Recipe for Repository-Level Code Understanding

SWE-QA-Pro：一个代表性的基准和可扩展的训练配方用于仓库级代码理解

Songcheng Cai, Zhiheng Lyu, Yuansheng Ni, Xiangchao Chen, Baichuan Zhou, Shenzhe Zhu, Yi Lu, Haozhe Wang, Chi Ruan, Benjamin Schneider, Weixu Zhang, Xiang Li, Andy Zheng, Yuyu Zhang, Ping Nie, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； University of Toronto（多伦多大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； McGill University & MILA（麦吉尔大学及MILA） ； Verdent AI, Inc.（Verdent AI公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SWE-QA-Pro基准，通过多样化的长尾仓库和可执行环境构建，验证了代理工作流在代码理解任务中的优势，并提出可扩展的合成数据管道和两阶段训练方法，使小型模型在复杂行为学习中取得优异表现。

AOI: Turning Failed Trajectories into Training Signals for Autonomous Cloud Diagnosis

AOI: 将失败轨迹转化为自主云诊断的训练信号

Pei Yang, Wanyi Chen, Asuka Yuxi Zheng, Xueqian Li, Xiang Li, Haoqin Tu, Jie Xiao, Yifan Pang, Dongdong Zhang, Fuqiang Li, Alfred Long, Lynn Ai, Eric Yang, Bill Shi

机构 * Gradient ； Soochow University（苏州大学） ； UC Santa Cruz ； Georgia Institute of Technology（佐治亚理工学院） ； University College London（伦敦大学学院） ； WeJoy ； ByteDance（字节跳动） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 AOI通过结构化轨迹学习框架，在安全约束下实现自动化操作，结合可训练诊断系统、读写分离执行架构和失败轨迹闭环演进器，提升云诊断性能。

ReGAIN: Retrieval-Grounded AI Framework for Network Traffic Analysis

ReGAIN：基于检索的网络流量分析人工智能框架

Shaghayegh Shajarian, Kennedy Marsh, James Benson, Sajad Khorsandroo, Mahmoud Abdelsalam

机构 * Computer Science（计算机科学） ； North Carolina A\&T State University（北卡罗来纳A&T州立大学） ； Institute for Cyber Security（网络安全研究所） ； University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 ReGAIN结合流量摘要、检索增强生成和大语言模型推理，实现透明准确的网络流量分析，通过多阶段框架提升安全性和性能，验证结果显示其在不同攻击类型中准确率高达95.95%-98.82%。

Comments Accepted to ICNC 2026. This is the accepted author manuscript

Zephyrus: An Agentic Framework for Weather Science

Zephyrus：一种用于气象科学的代理框架

Sumanth Varambally, Marshall Fisher, Jas Thakker, Yiwei Chen, Zhirui Xia, Yasaman Jafari, Ruijia Niu, Manas Jain, Veeramakali Vignesh Manivannan, Zachary Novack, Luyu Han, Srikar Eranky, Salva Rühling Cachay, Taylor Berg-Kirkpatrick, Duncan Watson-Parris, Yi-An Ma, Rose Yu

机构 * UC San Diego（加州大学圣地亚哥分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Zephyrus框架，结合大语言模型与天气数据交互，解决传统模型缺乏语言推理的问题，通过新基准测试展示其在天气任务中的优越性能。

Mechanistic Origin of Moral Indifference in Language Models

语言模型中道德冷漠的机制起源

Lingyu Li, Yan Teng, Yingchun Wang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示语言模型存在内在道德冷漠，通过构建道德向量并重构其拓扑关系，提升道德推理能力，实现75%的对抗性基准测试胜率。

Comments 24 pages, 11 figures, 5 tables

MALicious INTent Dataset and Inoculating LLMs for Enhanced Disinformation Detection

恶意意图数据集与增强虚假信息检测的LLM接种

Arkadiusz Modzelewski, Witold Sosnowski, Eleni Papadopulos, Elisa Sartori, Tiziano Labruna, Giovanni Da San Martino, Adam Wierzbicki

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MALINT数据集，通过专家事实核查员标注，用于评估12种语言模型在意图分类任务中的表现，并提出基于意图的接种方法，通过整合意图分析来缓解虚假信息的说服力。

Comments Paper accepted to EACL 2026 Main Conference

Semantic Invariance in Agentic AI

代理AI中的语义不变性

I. de Zarzà, J. de Curtò, Jordi Cabot, Pietro Manzoni, Carlos T. Calafate

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种元测试框架，评估大语言模型代理在语义等效输入变化下的推理稳定性，发现模型规模与鲁棒性无正相关，较小的Qwen3-30B-A3B表现出最高稳定性。

Comments Accepted for publication in 20th International Conference on Agents and Multi-Agent Systems: Technologies and Applications (AMSTA 2026), to appear in Springer Nature proceedings (KES Smart Innovation Systems and Technologies). The final authenticated version will be available online at Springer

MobileKernelBench: Can LLMs Write Efficient Kernels for Mobile Devices?

MobileKernelBench: LLMs能否为移动设备编写高效的内核？

Xingze Zou, Jing Wang, Yuhua Zheng, Xueyi Chen, Haolei Bai, Lingcheng Kong, Syed A. R. Abu-Bakar, Zhaode Wang, Chengfei Lv, Haoji Hu, Huan Wang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨LLMs能否为移动设备编写高效内核，提出MobileKernelBench框架，发现现有模型在移动框架中表现不佳，提出MoKA多智能体系统提升编译成功率和性能。

Comments Paper webpage: https://zeezou-isee.github.io/Mobilekernelbench/

Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness

基于概念引导的微调：引导ViT远离虚假相关性以提高鲁棒性

Yehonatan Elisha, Oren Barkan, Noam Koenigstein

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种引导模型推理至概念层面语义的微调框架，通过优化内部相关性映射对齐空间 grounded 的概念掩码，提升模型在分布偏移下的鲁棒性。

Comments CVPR 2026 ; Project page: https://yonisgit.github.io/concept-ft/

Do Mixed-Vendor Multi-Agent LLMs Improve Clinical Diagnosis?

多供应商多智能体大语言模型是否能改善临床诊断？

Grace Chang Yuan, Xiaoman Zhang, Sung Eun Kim, Pranav Rajpurkar

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了多供应商多智能体系统在临床诊断中的表现，发现混合供应商配置在召回率和准确性上优于单一供应商配置，揭示了供应商多样性对诊断系统鲁棒性的重要性。

Comments Accepted as Oral at the EACL 2026 Workshop on Healthcare and Language Learning (HeaLing)

A Comprehensive Evaluation of LLM Unlearning Robustness under Multi-Turn Interaction

大语言模型多轮交互下LLM去学习鲁棒性综合评估

Ruihao Pan, Suhang Wang

专题命中 推理评测 ：self-correction(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究多轮交互环境下LLM去学习的稳定性，发现静态评估可能高估实际效果，强调需确保交互场景下的稳定遗忘。

Pragma-VL: Towards a Pragmatic Arbitration of Safety and Helpfulness in MLLMs

Pragma-VL：迈向多模态大语言模型中安全与助人的务实仲裁

Ming Wen, Kun Yang, Xin Chen, Jingyu Zhang, Dingding Han, Shiwen Cui, Yuedong Xu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； UCLA（加州大学洛杉矶分校） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 Pragma-VL通过引入一种端到端的对齐算法，解决了多模态大语言模型在安全与助人之间的平衡问题，通过增强视觉风险感知和理论保证的奖励模型，在多数多模态安全基准上提升了性能。

Comments 31 pages, ICLR2026

Task-Specific Knowledge Distillation via Intermediate Probes

通过中间探针进行任务特定的知识蒸馏

Ryan Brown, Chris Russell

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种通过冻结教师模型隐藏状态训练轻量级探针的方法，利用探针预测而非输出logits作为监督信号，提升四个推理基准测试的性能，尤其在数据有限时效果更显著。

AutoClimDS: Climate Data Science Agentic AI -- A Knowledge Graph is All You Need

AutoClimDS：气候数据科学代理AI——一个知识图谱足矣

Ahmed Jaber, Wangshu Zhu, Ayon Roy, Karthick Jayavelu, Justin Downes, Sameer Mohamed, Candace Agonafir, Linnia Hawkins, Tian Zheng

机构 * NSF STC Learning the Earth with AI and Physics (LEAP), Columbia University（NSF STC 学习地球与人工智能和物理（LEAP），哥伦比亚大学） ； AWS Generative AI Innovation Center（AWS 生成式人工智能创新中心） ； Department of Statistics, Columbia University（哥伦比亚大学统计系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 AutoClimDS通过整合 curated 的气候知识图谱与代理AI工作流，解决数据碎片化、格式异质性和技术门槛高的问题，实现端到端的气候分析，展示知识图谱作为自主气候数据科学的基础结构。

Comments Accepted to IEEE CAI 2026

Aligning Large Language Model Agents with Rational and Moral Preferences: A Supervised Fine-Tuning Approach

对齐大型语言模型代理的理性与道德偏好：一种监督微调方法

Wei Lu, Amit Dhanda, Daniel L. Chen, Christian B. Hansen

机构 * Zicklin School of Business, CUNY Baruch College（纽约大学法学院） ； Amazon（亚马逊） ； Toulouse School of Economics（图卢兹经济学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过监督微调方法对齐LLM代理的理性与道德偏好，揭示了代理在经济游戏中的系统性偏差，并展示了不同偏好结构对均衡结果的影响。

Sparking Scientific Creativity via LLM-Driven Interdisciplinary Inspiration

通过LLM驱动的跨学科灵感激发科学创造力

Priyanka Kargupta, Shuhaib Mehri, Dilek Hakkani-Tur, Jiawei Han

机构 * Siebel School of Computing and Data Science（计算机与数据科学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 Idea-Catalyst通过系统识别跨学科见解，支持人类和大语言模型的创造性推理，提升科学发现的创新性和洞察力。

Comments Code and dataset provided at https://github.com/pkargupta/idea_catalyst

WideSeek-R1: Exploring Width Scaling for Broad Information Seeking via Multi-Agent Reinforcement Learning

WideSeek-R1: 探索通过多智能体强化学习进行广泛信息寻求的宽度扩展

Zelai Xu, Zhexuan Xu, Ruize Zhang, Chunyang Zhu, Shi Yu, Weilin Liu, Quanlu Zhang, Wenbo Ding, Chao Yu, Yu Wang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 WideSeek-R1通过多智能体强化学习框架，实现广泛信息寻求任务中的宽度扩展，提升多智能体系统的协同与并行执行能力，实验表明其性能优于单智能体模型。

Comments https://wideseek-r1.github.io/

Chem4DLLM: 4D Multimodal LLMs for Chemical Dynamics Understanding

Chem4DLLM: 4D 多模态大语言模型用于化学动态理解

Xinyu Li, Zhen Zhang, Qi Chen, Anton van den Hengel, Lina Yao, Javen Qinfeng Shi

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 Chem4DLLM通过整合等变图编码器和预训练大语言模型，旨在提升对4D分子动态轨迹的解释能力，推动化学动态理解和多模态科学推理的研究。

Comments 18 pages

Performance Evaluation of Open-Source Large Language Models for Assisting Pathology Report Writing in Japanese

开源大语言模型在协助日文病历报告写作中的性能评估

Masataka Kawai, Singo Sakashita, Shumpei Ishikawa, Shogo Watanabe, Anna Matsuoka, Mikio Sakurai, Yasuto Fujimoto, Yoshiyuki Takahara, Atsushi Ohara, Hirohiko Miyake, Genichiro Ishii

机构 * Department of Pathology, University of Yamanashi, Chuo, Japan（山梨大学病理科） ； Division of Pathology, Exploratory Oncology Research & Clinical Trial Center, National Cancer Center, Kashiwa, Japan（国立癌症中心探索肿瘤研究与临床试验中心病理科） ； Department of Preventive Medicine, Graduate School of Medicine, The University of Tokyo, Tokyo, Japan（东京大学医学部预防医学科） ； Department of Medical Oncology, National Cancer Center Hospital East, Kashiwa, Japan（国立癌症中心东医院医学肿瘤科） ； Department of Thoracic Surgery, National Cancer Center Hospital East, Kashiwa, Japan（国立癌症中心东医院胸外科） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文评估了开源大语言模型在协助日文病历报告写作中的性能，发现思维模型和医学专用模型在结构化报告和拼写纠正中表现优异，但解释性输出的偏好存在较大差异。

Comments 9 pages (including bibliography), 2 figures, 6 tables