大模型推理能力

DocVAL: Validated Chain-of-Thought Distillation for Grounded Document VQA

DocVAL：用于基于文档的视觉问答的验证链式思维蒸馏

Pinaki Prasad Guha Neogi, Ahmad Mohammadshirazi, Ser-Nam Lim, Rajiv Ramnath

机构 * Department of Computer Science（计算机科学系） ； Engineering, Ohio State University, Ohio, US（工程系，俄亥俄州立大学，俄亥俄，美国） ； Department of Computer Science, University of Central Florida, Florida, US（计算机科学系，中央佛罗里达大学，佛罗里达，美国） 纠错

专题命中 推理评测 ：CoT(summary_cn,abstract)；chain-of-thought(title,abstract)；reasoning(abstract)；分类 cs.AI

AI总结 提出DocVAL框架，通过验证链式思维蒸馏将大型教师模型的空间推理能力转移到紧凑学生模型，结合规则验证器和两阶段训练，在文档VQA任务上提升定位性能。

Positional Failures in Long-Context LLMs: A Blind Spot in Reasoning Benchmarks

长上下文LLM中的位置失败：推理基准测试中的盲点

Chuyifei Zhang, Hongyu Cui, Xiaowen Huang, Jitao Sang

机构 * Beijing Jiaotong University（北京交通大学） ； Central South University of Forestry and Technology（中央林业科技大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过提出上下文旋转评估（CRE）框架，系统控制任务位置、填充内容和上下文长度，揭示了长上下文推理基准测试中因任务位置变化导致的模型性能显著下降，并发现填充-答案干扰是主要错误模式。

Comments 20 pages, 1 figure, 23 tables

GENSTRAT: Toward a Science of Strategic Reasoning in Large Language Models

GENSTRAT：迈向大型语言模型中的战略推理科学

Vartan Shadarevian, Kia Ghods, Alex Kenich, Anany Kotawala

机构 * Princeton University（普林斯顿大学） ； Google（谷歌） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出GENSTRAT框架，通过程序化生成不完全信息博弈环境，结合能力剖面和锯齿度度量，系统评估大型语言模型的战略推理能力。

Comments 33 pages, 8 figures, 9 tables (4 figures, 2 tables in main paper)

Evaluating Counterfactual Strategic Reasoning in Large Language Models

评估大型语言模型中的反事实策略推理

Dimitrios Georgousis, Maria Lymperaiou, Angeliki Dimitriou, Giorgos Filandrianos, Giorgos Stamou

机构 * National Technical University of Athens（希腊雅典国家技术大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 通过引入反事实变体（改变收益结构和行动标签）的囚徒困境和石头剪刀布博弈，评估大型语言模型的策略表现是否基于真正的推理而非记忆模式，并揭示其在激励敏感性、结构泛化和反事实环境中的策略推理方面的局限性。

Comments Accepted at GEM@ACL 2026

PROGRESSLM: Towards Progress Reasoning in Vision-Language Models

PROGRESSLM: 迈向视觉-语言模型中的进度推理

Jianshu Zhang, Chengxuan Qian, Haosen Sun, Haoran Lu, Dingcheng Wang, Letian Xue, Han Liu

机构 * Northwestern University（西北大学） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出Progress-Bench基准和ProgressLM-3B模型，通过两阶段进度推理范式，评估并提升视觉-语言模型从部分观测中推断任务进度的能力。

Comments ACL 2026 Camera Ready Version

FireScope: Wildfire Risk Raster Prediction with a Chain-of-Thought Oracle

FireScope: 基于思维链预言机的野火风险栅格预测

Mario Markov, Stefan Maria Ailuro, Luc Van Gool, Konrad Schindler, Danda Pani Paudel

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 推理评测 ：chain-of-thought(title)；reasoning(abstract)；分类 cs.LG

AI总结 提出FireScope框架，利用视觉语言模型结合强化学习和视觉监督，通过推理轨迹生成野火风险栅格，在跨大陆泛化中取得显著性能提升。

Comments CVPR 2026, Project Page: https://firescope.ai/research

EvalVerse: Pipeline-Aware and Expert-Calibrated Benchmarking for Professional Cinematic Video Generation

EvalVerse：面向专业电影级视频生成的流水线感知与专家校准基准测试

Songlin Yang, Haobin Zhong, Ruilin Zhang, Xiaotong Zhao, Shuai Li, Kai Zheng, Xuyi Yang, Zhe Wang, Zhenchen Tang, Yang Li, Bohai Gu, Zhengwei Peng, Yidan Huang, Mengzhou Luo, Yihang Bo, Dalu Feng, Yujia Zhang, Juntao Ma, Ruiqi Wang, Lvmin Zhang, Yuwei Guo, Frank Guan, Maneesh Agrawala, Hongbo Fu, Alan Zhao, Anyi Rao

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Tencent（腾讯） ； Tsinghua University（清华大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing Film Academy（北京电影学院） ； Stanford University（斯坦福大学） ； The Chinese University of Hong Kong（香港中文大学） ； Singapore Institute of Technology（新加坡理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 提出EvalVerse框架，通过将电影制作专业知识系统化为评估分类法、构建专家标注数据集并微调视觉语言模型进行链式推理，解决了现有基准忽视电影质量、缺乏领域特异性指标的问题，实现了对生成视频“正确性”与“优良性”的全面评估。

DDX-TRACE: A Benchmark for Medical Diagnostic Trajectories in VLMs

DDX-TRACE: 视觉语言模型中医学诊断轨迹的基准

Jiazhen Pan, Weixiang Shen, Jun Li, Julian Canisius, Felix Bitzer, Paula Roßmüller, Jiancheng Yang, Virginie Kreutzinger, Daniel Rueckert, Benedikt Wiestler

机构 * Technical University of Munich（慕尼黑技术大学） ； TUM University Hospital（TUM大学医院） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； LMU Munich（慕尼黑大学） ； Aalto University（阿尔托大学） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 提出DDX-TRACE基准，通过隐藏证据的多轮诊断轨迹评估VLM在神经放射学中的工作流质量，揭示最终诊断分数无法反映的推理缺陷。

Comments 41 pages

A Proactive Multi-Agent Dialogue Framework for Assessing Social Language Disorder Traits in Autism

一种主动式多智能体对话框架用于评估自闭症中的社交语言障碍特征

Chuanbo Hu, Minglei Yin, Bin Liu, Wenqi Li, Lynn K. Paul, Shuo Wang, Xin Li

机构 * Department of Computer Science（计算机科学系） ； University at Albany（阿尔巴尼大学） ； Department of Management Information System（管理信息系统系） ； West Virginia University（西弗吉尼亚大学） ； Department of Radiology（放射学系） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Humanities and Social Sciences（人文学与社会科学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI

AI总结 提出TPA（思考、计划、询问）主动式多智能体对话框架，通过临床策略驱动的提问选择，在ADOS-2评估中实现82.1%的社交语言障碍特征覆盖率，比临床医生自动回放高16.6%。

GT-HarmBench: Benchmarking AI Safety Risks Through the Lens of Game Theory

GT-HarmBench：通过博弈论视角评估AI安全风险

Pepijn Cobben, Xuanqiang Angelo Huang, Thao Amelia Pham, Isabel Dahlgren, Terry Jingchen Zhang, Zhijing Jin

机构 * ETH Zürich（苏黎世联邦理工学院） ； Berea College（贝雷学院） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Max Planck Institute for Intelligent Systems, Tübingen, Germany（图宾根德国智能系统马克斯·普朗克研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出GT-HarmBench基准，包含1535个高风险场景，基于博弈论结构（如囚徒困境、猎鹿博弈、斗鸡博弈）评估前沿AI模型在多智能体环境中的安全风险，发现模型在38%的高风险案例中未能选择对社会有益的行为，并验证了博弈论干预可提升18%的社会有益结果。

Learnability-Informed Fine-Tuning of Diffusion Language Models

扩散语言模型的可学习性感知微调

Shubham Parashar, Atharv Chagi, Jacob Helwig, Lakshmi Jotsna, Sushil Vemuri, James Caverlee, Dileep Kalathil, Shuiwang Ji

机构 * Department of Computer Science and Engineering, Texas A\&M University, College Station, TX, USA（计算机科学与工程系，德克萨斯A&M大学，College Station, TX, USA） ； Department of Electrical and Computer Engineering, Texas A\&M University, College Station, TX, USA（电气与计算机工程系，德克萨斯A&M大学，College Station, TX, USA） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 针对扩散语言模型（DLM）推理能力提升问题，提出基于可学习性感知的微调算法LIFT，通过在不同扩散时间步对齐训练与信息可用性，在六个推理基准上超越现有SFT基线，在AIME'24和AIME'25上实现高达3倍的相对提升。

MedExpMem: Adapting Experience Memory for Differential Diagnosis

MedExpMem：适应经验记忆用于鉴别诊断

Qianhan Feng, Zhongzhen Huang, Yakun Zhu, Yannian Gu, Winnie Chiu Wing Chu, Xiaofan Zhang, Qi Dou

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出MedExpMem经验记忆框架，通过存储和利用诊断失败中的判别经验，增强医学视觉语言模型的鉴别诊断能力，在放射学基准上最高提升7.0%准确率。

Comments MICCAI 2026 Early Accept. Submission Version

Multilingual Knowledge Transfer under Data Constraints via Lexical Interventions

数据约束下的多语言知识迁移：通过词汇干预

Anastasiia Sedova, Natalie Schluter, Skyler Seto, Maartje ter Hoeve

机构 * Apple（苹果公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出LINK方法，利用双语词汇对预训练数据中的高资源语言部分进行词汇替换，无需额外模型训练或大量平行数据，即可有效提升低资源语言的知识迁移效果。

Benchmarking Gaslighting Attacks Against Speech Large Language Models

针对语音大语言模型的气灯攻击基准测试

Jinyang Wu, Bin Zhu, Xiandong Zou, Qiquan Zhang, Xu Fang, Pan Zhou

机构 * Singapore Management University（新加坡管理学院） ； Tongyi Speech Lab（通义语音实验室） ； Dalian University of Technology（大连理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出五种气灯攻击策略（愤怒、认知干扰、讽刺、隐晦、专业否定），在5个语音和多模态大语言模型上测试，发现平均准确率下降24.3%，揭示语音模型的行为脆弱性。

Comments 5 pages, 2 figures, 3 tables

Naturalistic measure of social norms alignment

社会规范一致性的自然主义度量

Yevhen Kostiuk, Kenneth Enevoldsen, Peter Bjerregaard Vahlstrup, Márton Kardos, Kristoffer Nielbo

机构 * Aarhus University（奥胡斯大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出通过解决方案匹配在自然主义自由形式设置中测量社会规范一致性的框架，并引入陈述一致性和显式一致性两个指标，基于丹麦语社会困境数据集评估LLM与人类的一致性。

What Training Data Teaches RL Memory Agents: An Empirical Study of Curriculum Effects in Memory-Augmented QA

训练数据教会RL记忆体代理什么：记忆增强问答中课程效应的实证研究

Xinjie He, Zhiyuan Lin, Su Liu, Jialun Wu, Qiyang Xie, Weikai Zhou, Shuai Xiao

机构 * Columbia University（哥伦比亚大学） ； Independent Researcher（独立研究者） ； Johns Hopkins University（约翰霍普金斯大学） ； Northeastern University（东北大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 通过控制实验，研究训练课程（领域内、混合、领域外）对强化学习记忆体代理在记忆增强问答中的技能获取和专业化影响，发现课程组成作为专业化的细粒度杠杆，混合课程在整体F1上最优，而窄领域外课程可转移特定技能（如时间推理），并报告了将GRPO适配到单GPU环境的实用经验。

Comments 14 pages, 2 figures, 11 tables. Code, checkpoints, and evaluation artifacts available at https://github.com/EvaxHe/rl-memory-curriculum

FINESSE-Bench: A Hierarchical Benchmark Suite for Financial Domain Knowledge and Technical Analysis in Large Language Models

FINESSE-Bench：面向大语言模型金融领域知识与技术分析的分层基准套件

Dmitry Stanishevskii, Nini Kamkia, Alexey Khoroshilov, Dmitry Zmitrovich, Denis Kokosinskii, Zhirayr Hayrapetyan, Andrei Kalmykov

机构 * Lime FinTech（Lime金融科技） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出FINESSE-Bench，包含8个专业基准和3993个问题，通过分层设计（如CFA级别、CMT级别等）系统评估大语言模型从基础到专家级的金融能力，并引入基于LLM评判的自动评分方案。

Comments 21 pages, 10 tables, 2 figures

BURMESE-SAN: Burmese NLP Benchmark for Evaluating Large Language Models

BURMESE-SAN: 评估大语言模型的缅甸语NLP基准

Thura Aung, Jann Railey Montalan, Jian Gang Ngui, Peerat Limkonchotiwat

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出首个全面评估大语言模型在缅甸语上理解、推理和生成能力的基准BURMESE-SAN，包含七个子任务，并通过母语者驱动构建确保语言自然性和文化真实性。

IyàwóBench: A Benchmark for Evaluating Large Language Model Clinical Triage Accuracy on Undifferentiated Febrile Illness in Nigerian Primary Health Settings

IyàwóBench: 评估大型语言模型在尼日利亚初级卫生机构中对未分化发热性疾病的临床分诊准确性的基准

Anthonio Oladimeji Gabriel, Dimeji Abdulsobur Olawuyi, Oloruntoba Ajayi, Temiloluwa Aderemi

专题命中 推理评测 ：reasoning(abstract)

AI总结 针对西非初级卫生机构中未分化发热性疾病，构建了基于真实患者数据的合成临床病例基准IyàwóBench，评估六种LLM的分诊准确性和安全性，发现所有模型安全性达100%但准确性差异大，嵌入WHO指南的临床工程系统表现最佳。

WildTableBench: Benchmarking Multimodal Foundation Models on Table Understanding In the Wild

WildTableBench：在真实场景中评估多模态基础模型的表格理解能力

Junzhe Huang, Xiaoxiao Sun, Yan Yang, Yuxuan Hou, Ruotian Zhang, Sirui Li, Hehe Fan, Serena Yeung-Levy, Xin Yu

机构 * The University of Queensland（昆士兰大学） ； Stanford University（斯坦福大学） ； The Australian National University（澳大利亚国立大学） ； Zhejiang University（浙江大学） ； Murdoch University（莫纳什大学） ； The University of Adelaide（阿德莱德大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出WildTableBench基准，包含402张真实场景表格图像和928个问答对，评估21个前沿多模态模型，仅一个模型准确率超50%，揭示模型在结构感知和推理方面的持续弱点。

ProOPF: Benchmarking and Improving LLMs for Professional-Grade Power Systems Optimization Modeling

ProOPF: 面向专业级电力系统优化建模的大语言模型基准测试与改进

Chao Shen, Zihan Guo, Xu Wan, Zhenghao Yang, Yifan Zhang, Wengi Huang, Jie Song, Zongyan Zhang, Mingyang Sun

专题命中 推理评测 ：reasoning(abstract)

AI总结 针对电力系统优化建模中自动化翻译自然语言需求为可执行优化模型的问题，本文提出专业级最优潮流数据集ProOPF-D和基准ProOPF-B，用于评估和改进大语言模型在专业级OPF建模中的表现。