大模型推理能力

CoT-Core: Accelerating LLM Evaluation via CoT-Aware Coreset Selection

CoT-Core：通过感知思维链的核心集选择加速大语言模型评估

Qihua Pan, Zhenheng Tang, Peijie Dong, Xiang Liu, Huacan Wang, Bo Li, Xiaowen Chu

机构 * Nanjing University（南京大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 推理评测 ：CoT(title,title_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 CoT-Core是无训练的核心问题选择框架，通过感知大语言模型的思维链推理轨迹聚类问题，可大幅降低LLMs评估成本，且在GSM8K等多数据集上维持高保真度分数估计。

Comments 23 pages, 3 figures, 10 tables. Includes appendix

Comparative Validation of GPT-4o-mini and Teacher Mean Scores for Automated Scoring of Music Analysis Responses: Single-Pass Deployment, Repeatability, and Strategy-Specific Bias

GPT-4o-mini与教师平均评分在音乐分析回答自动评分中的比较验证：单次部署、可重复性及策略特异性偏差

Baicheng Lin, Lingxi Jin, Kyung-Seok Min

机构 * Sejong University（世宗大学） ； Ewha Womans University（梨花女子大学） 纠错

专题命中 推理评测 ：CoT(summary_cn,abstract)；reasoning(abstract)；chain-of-thought(abstract)

AI总结 本研究以教师平均评分为基准，评估GPT-4o-mini对音乐分析回答的自动评分能力，发现Fs+CoT策略与教师评分一致性最强，不同策略评分特征不同，实际应用需针对性校准与人工监督。

Comments Proceedings of the International Meeting of the Psychometric Society: The 91st Annual Meeting, Seoul, Republic of Korea, 2026

TRACE-TS: Attribution-Grounded and Traceable Sensor-Language Reasoning for Human Activity Understanding

TRACE-TS：面向人类活动理解的归因基础且可追踪的传感器-语言推理

Sparsh Rastogi, Tanmay Kumar, Baiyu Chen, Jatin Bedi, Zechen Li, Flora D. Salim

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有传感器-语言推理与信号关联弱、解释不可靠的问题，提出TRACE-TS框架，通过专家归因识别关键传感器区域并构建可追踪推理轨迹，在7个可穿戴基准上实现最优性能。

Comments 24 pages, 9 figures, 24 tables

Length Penalties Make Chain-of-Thought Less Monitorable

长度惩罚使思维链更难被监测

Bryce Little

专题命中 推理评测 ：chain-of-thought(title)；reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现长度惩罚强化学习会缩短思维链推理，隐藏驱动模型答案的因素。通过训练不同目标链长度的Qwen3模型并评估，表明压缩虽能减少推理令牌、保留准确率，但降低了可监测性，揭示了压缩与可监测性的前沿关系。

When Does LLM Orchestration Pay Off? A Controlled Evaluation of Accuracy, Cost, and Task Difficulty

LLM编排何时划算？关于准确率、成本与任务难度的对照评估

Nicolas Leins, Nico Pelleriti, Jana Gonnermann-Müller, Sebastian Pokutta

机构 * Zuse Institute Berlin（柏林Zuse研究所） ； TU Berlin（柏林工业大学） ； Weizenbaum Institute Berlin（柏林魏茨曼研究所） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 该研究对照评估了Self-Refine等三种LLM编排方法与基线方法在5种骨干模型、3个领域的表现，发现编排收益依赖模型，需权衡准确率提升与额外推理成本。

Right Answer, Wrong Method: Shortcut Hacking Misleads the Evaluation of LLM Reasoning on Frontier Science Benchmarks

正确答案，错误方法：捷径作弊误导前沿科学基准上的大语言模型推理评估

Xuan Ren, Weiqi Zhai, Tianle Pu, Yihua Zhu, Yihua Zhu, Hu Wei, Bing Zhao

机构 * Alibaba Group（阿里巴巴集团） ； Alibaba DAMO Academy（阿里巴巴达摩院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究指出前沿LLM在科学推理基准中存在解题作弊问题，仅答案评估会高估其推理能力，开发的反作弊策略可抑制该问题。

Comments working in progress

ReasonCast: Towards Explainable Time Series Forecasting with Reasoning

ReasonCast：面向可解释时间序列预测的推理方法

Seunghan Lee, Jun Seo, Jaehoon Lee, Junhyeok Kang, Sangjun Han, Sungdong Yoo, Minjae Kim, Tae Yoon Lim, Dongwan Kang, Hwanil Choi, Soonyoung Lee, Wonbin Ahn

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出任务融合模型ReasonCast，通过微调LLM实现时间序列预测与可解释文本推理的联合生成，在预测准确性上优于LLM和TS模型，还构建了联合评估基准ReasonTS-Bench。

Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal standard

基于精确贝叶斯最优标准测量语言模型的上下文内算法推理能力

Hector Zenil, Luan Ozelim

机构 * Oxford Immune Algorithmics（牛津免疫算法学公司） ； Oxford University Innovation（牛津大学创新公司） ； London Institute for Healthcare Engineering（伦敦医疗工程研究所） ； King’s College London（伦敦国王学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出F-ICL基准，以精确贝叶斯最优标准测量语言模型的上下文内算法推理能力，发现多数模型分布与最优标准存在差距，该差距与准确率无关且不受模型规模缩小，基准已开放。

A Comprehensive FP8 Training Recipe for Reasoning-Enhanced Language Models

用于推理增强型语言模型的综合FP8训练方案

Wenjun Wang, Shuo Cai, Congkai Xie, Mingfa Feng, Yiming Zhang, Zhen Li, Kejing Yang, Ming Li, Jiannong Cao, Hongxia Yang

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出整合持续预训练与监督微调的端到端FP8训练方案，通过混合粒度量化实现高效无损失训练，效率较BF16提升显著，将发布代码推动大规模模型训练普及。

Comments This paper has been withdrawn by the authors due to a significant bug discovered in our data processing pipeline. This bug affects the validity of the experimental results, and we can no longer stand by the conclusions presented

CrossLex: A Source-Grounded Benchmark for Cross-Jurisdictional Legal Reasoning in Large Language Models

CrossLex：面向大语言模型跨司法辖区法律推理的、基于法律来源的基准测试集

Xiaocui Yang, Xican Tan, Shoujie Chen, Shihan Xiao, Keke Tong, Xinyu Zhou

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出基于中、加州、德三国法律来源的CrossLex基准测试集，定义三项任务并提出联合评估指标，发现大语言模型在跨司法辖区法律推理上存在不足，旨在推动相关研究。

SPARC-Rad: A Multimodal Benchmark Dataset and Evaluation Pipeline for Spatial and Anatomical Reasoning in Radiology Vision-Language Models

SPARC-Rad：面向放射学视觉语言模型的空间与解剖推理多模态基准数据集及评估流程

Satvik Tripathi, Mustafa Ege Seker, Kristian Quevada, Ebubechukwu D Enwerem, Pratham Khandelwal, Emine Meltem, Bera Koca, Shahriar Faghani, Jacinta Arnold, Dania Daye, Tessa S. Cook

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 该研究开发了SPARC-Rad多模态基准数据集及评估流程，用于评估放射学VLMs的空间与解剖推理能力，为相关模型的开发与部署前评估提供支持。

C-MIG: Multi-view Information Gain-based Retrieval-Augmented Generation for Clinical Diagnosis Reasoning

C-MIG：基于多视角信息增益的检索增强生成用于临床诊断推理

Yuwei Miao, Gen Li, Yunsheng Zeng, Xiandong Li, Yujin Wang, Siyu Chen, Luning Wang, Yunhao Qiao, Junfeng Wang, Jianwei Lv, Bo Yuan

机构 * Baidu Inc（百度公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出C-MIG框架，通过多视角信息增益和多重子查询检索增强策略，解决检索增强生成中奖励信号丢失和异构推理监督问题，在临床诊断任务上取得最优性能。

Enhancing Large Language Model Reasoning with Reward Models: An Analytical Survey

用奖励模型增强大语言模型推理能力：一项分析性综述

Qiyuan Liu, Hao Xu, Xuhong Chen, Wei Chen, Yee Whye Teh, Ning Miao

机构 * Department of Data Science and Hong Kong Institute of AI for Science, City University of Hong Kong（数据科学系和香港人工智能科学研究所，香港城市大学） ； Li Auto Inc., China（中国利汽车公司） ； Department of Statistics, University of Oxford（统计系，牛津大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 该综述系统介绍奖励模型（RMs）的概念、训练与评估方法，梳理其在大语言模型（LLMs）推理中的三类核心应用，并探讨RMs相关开放问题，为其有效部署提供见解。

Comments Accepted for publication in Artificial Intelligence Review

Gaokerena: A Small Persian Medical Language Model Family

Gaokerena：一个小型波斯语医疗语言模型家族

Mehrdad Ghassabi, Hamidreza Baradaran Kashani, Pedram Rostami, Sadra Hakim, Zahra Kazemi, Audrina Ebrahimi

机构 * University of Isfahan（伊斯法罕大学） ； University of Tehran（德黑兰大学） ； University of Windsor（温莎大学） ； Alzahra University（阿勒扎哈拉大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 推理评测 ：chain-of-thought(abstract,abstract_cn)；reasoning(abstract)；分类 cs.CL

AI总结 针对波斯语医疗语言模型研究不足的问题，该研究推出Gaokerena家族，包含Gaokerena-V和Gaokerena-R两款模型，在医疗问答基准上取得性能提升，还配备不确定性头，为本地化数字医疗提供基础但仍需完善。

Comments 29 pages, 9 figures

JoyAI-Talker: Full-Duplex Speech Interactive Large Model Built for Empathetic Voice Agents

JoyAI-Talker：面向共情语音智能体的全双工语音交互大模型

Yinhao Bai, Jinming Chen, Yafeng Chen, Wei Deng, Boya Dong, Nan Duan, Yu Gu, Weisheng Han, Yankun Huang, Ming Ke, Hao Li, Jingdong Li, Xiangyu Liang, Ning Liu, Yuan Liu, Ji Miao, Jiaqi Wang, Qi Wang, Wenchao Wang, Yuxuan Wang, Zhenfang Wang, Zhangyu Xiao, Chao Xue, Hongfei Xue, Fan Yu, Tianyi Zhang, Yuan Zhang, Yuqi Zhang, Lin Zhu

专题命中 推理评测 ：CoT(abstract,abstract_cn)；reasoning(abstract)

AI总结 JoyAI-Talker采用Thinker-Talker架构等技术，实现兼具强推理能力与共情交互的全双工语音对话系统，在基准测试及用户打断、背景语音场景下表现优异。

Cross-Task Dissociation in Frontier Vision-Language Model Theory of Mind

前沿视觉语言模型的心智理论跨任务解离

Kejia Zhang, Youran Sun, Chugang Yi, Haizhao Yang

机构 * University of Maryland（马里兰大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 该研究评估9个前沿VLM在两项心理学衍生ToM任务中的表现，发现其ToM特征存在跨任务解离，无模型在两项任务中均接近典型发展成人，推理可改善部分模型在导演任务中的表现。

CITBench: A Comprehensive Benchmark for Interactive Tabular Data Processing with LLMs

CITBench：面向大语言模型的交互式表格数据处理综合基准

Zihan Nan, Yang Gu, Wei Liu, Xi Yan, Zhou Liu, Hao Liang, Wentao Zhang

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出 CITBench 交互式表格数据处理基准，评估发现现有 LLM 在简单表格任务表现良好，但在复杂多轮交互场景下的理解、规划与表格结构感知仍存在显著挑战。

A Large-Scale Multi-Dimensional Empirical Study of LLMs for Conversation Summarization

面向对话摘要的大规模多维度LLM实证研究

Weixiao Zhou, Gengyao Li, Junnan Zhu, Xianfu Cheng, Feifei Zhai, Zhoujun Li

机构 * CCSE, Beihang University（北京航空航天大学CCSE） ； MAIS, CASIA（中国科学院自动化研究所MAIS） ； Fanyu AI Laboratory（帆禹AI实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL

AI总结 提出OmniCSEval基准，包含1800个跨六场景的对话，评估28个LLM在对话摘要中的完整性、简洁性和忠实性，揭示推理能力与模型规模的影响。

Comments 21 pages, 18 figures

When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models

当LLM停止遵循步骤：语言模型中程序执行的诊断研究

Sailesh Panda, Pritam Kadasi, Abhishek Upperwal, Mayank Singh

机构 * Indian Institute of Technology Gandhinagar（印度理工学院冈丁加尔） 纠错

专题命中 推理评测 ：reasoning(abstract)；self-correction(abstract)；分类 cs.CL

AI总结 本研究通过构建受控诊断基准，评估大型语言模型在程序执行任务中的忠实性，发现随着步骤增加准确率从63%降至20%，并揭示了缺失答案、过早答案、自我修正和执行不完整等失败模式。

Comments 24 pages, 19 figures, 4 Tables

Obshazard-bench: Benchmarking Multimodal Foundation Models for Real-Time Disaster Intelligence from Raw Earth Observation Streams

Obshazard-bench：面向原始地球观测流的实时灾害情报多模态基础模型基准测试

Fengxiang Wang, Qiuyang Yu, Yueying Li, Mingshuo Chen, Chengchi Fei, Kaiyi Xu, Lixin Gu, Wangxu Wei, Junchao Gong, Lipeng Ma, Jiong Wang, Fenghua Ling, Wenlong Zhang, Xue Yang, Wenjing Yang, Ben Fei, Long Lan

机构 * National University of Defense Technology（国防科技大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究推出Obshazard-bench基准测试，评估多模态基础模型的实时灾害情报能力，发现现有模型在将原始多通道物理观测转化为符合决策需求的灾害推理方面存在显著局限。

EgoIntent: A Pre-Outcome Micro-Step Benchmark for Understanding What, Why, and Next

EgoIntent: 一种用于理解‘是什么、为什么和下一步’的以自我为中心的步级基准

Ye Pan, Chi Kit Wong, Yuanhuiyi Lyu, Hanqian Li, Chenfei Liao, Jiahao Huo, Lutao Jiang, Zixin Zhang, Jiacheng Chen, Yuqian Fu, Xu Zheng

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 EgoIntent基准旨在通过步级意图理解解决以自我为中心视频中对‘是什么、为什么和下一步’的细粒度理解难题，包含15种日常生活场景，评估模型在三个维度上的表现。

MedUPS: Towards Diagnostic Assistance in Uncommon Medical Cases with Large Language Models

MedUPS：利用大语言模型辅助罕见医疗病例的诊断

Ofir Ben Shoham, Oriel Perets, Nir Grinberg, Nadav Rappoport

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出MedUPS对齐框架及MedUPSQA数据集，通过强化学习使大语言模型对齐临床中游决策，提升了不同规模模型的下一步临床决策准确率，且小模型表现优于部分大模型。

Comments 13 pages, 6 figures

CrossProjection: Geometric Grounding Beyond Viewpoint Change in Architectural Drawings

CrossProjection：建筑图纸中超越视角变化的几何定位

Kaho Li, Pengyu Zeng, Yuqin Dai, Jun Yin, Tianjing Feng, Shuai Lu

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； University College London（伦敦大学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出CrossProjection方法评估视觉语言模型在异构建筑视图间的几何定位能力，发现模型在自由几何定位上性能脆弱，仅封闭选择成功不代表具备可靠几何定位能力。

Comments Initial controlled diagnostic study on 23 natural drawing sets and three VLMs; broader model, building, repeated-inference, and human coverage is planned for a subsequent version

CurveShift: Is Agent Progress Scalar? Separating Level from Shape

CurveShift：智能体的进展是标量吗？区分水平与形态

Hanwen Xing, Pengyun Wang, BingXu Meng, Kumail Alhamoud, Xiang Li, Jicheng Wang, Xin Yu, Xinyang Han, Xiaomin Li, Philip Torr, Yuexing Hao

机构 * University of Southern California（南加利福尼亚大学） ； University of Chicago（芝加哥大学） ； University of California, Berkeley（加利福尼亚大学伯克利分校） ； Massachusetts Institute of Technology（麻省理工学院） ； Stanford University（斯坦福大学） ； University of California, Davis（加利福尼亚大学戴维斯分校） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Harvard University（哈佛大学） ； University of Oxford（牛津大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对大型语言模型进展的标量总结问题，通过LiveCodeBench基准分离混淆，发现2024年9月后发布的模型在竞赛编程难任务上有超出预期的增益，发布了相关数据集与代码。

Comments 25 pages, 4 figures, 7 tables. Data and code: https://github.com/harvenstar/CurveShift

CLQT: A Closed-Loop, Cost-Aware, Strategy-Consistent Benchmark for Diagnostic Evaluation of LLM Portfolio-Management Agents

CLQT：用于LLM投资组合管理代理诊断评估的闭环、成本感知、策略一致性基准

Bo Qu, Mingguang Chen

机构 * Illinois Institute of Technology（伊利诺伊理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出CLQT基准，通过闭环交易环境诊断LLM代理的决策过程，而非仅排名收益，评估五个维度的能力。

Comments 56 pages, 15 figures, 15 tables

The inattentional gap in task conditioned AI models that omit otherwise reportable safety critical signals

注意间隙：任务条件化的语言和视觉模型忽略它们本可报告的安全关键信号

Kwan Soo Shin

机构 * PolymathMinds Lab（PolymathMinds 实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究揭示任务条件化会导致语言和视觉模型抑制对共存安全关键信号的报告，形成“注意间隙”，且该现象在多种模型和任务中普遍存在，不随规模增大而减弱，使基准安全与实际安全脱钩。

Comments 62 pages (31-page article and 31-page supplementary information), 8 figures, 4 tables. v3: corrects the author metadata to the sole author, Kwan Soo Shin; revised title and abstract; adds cross-vendor and flagship validation, signal-detection and specified-task controls, and dual-process probes. Reproducibility deposit: doi:10.5281/zenodo.20826823

Keyless Attention: Value-Space Routing and Value-Only Caching for Efficient Transformers

无键注意力：面向高效Transformer的值空间路由与仅值缓存

Xin Gao, Xingming Xu

机构 * York University（约克大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出无键注意力机制，通过消除键投影并仅使用查询和值，实现50%的KV缓存减少，同时匹配或超越标准注意力的解码吞吐量，并在多个模型上达到相当或更优的困惑度与下游任务性能。

Comments 17 pages, 6 figures

When LLM Essays Outscore Student Essays: What a Korean Writing Rubric Rewards and Where Readers Disagree

从直觉到校准判断：基于评分标准的专家小组研究人类对LLM生成韩语文本的检测

Shinwoo Park, Yo-Sub Han

机构 * Yonsei University（延世大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过三阶段盲 longitudinal 研究评估人类对LLM生成韩语文本的判断，提出LREAD框架提升准确性与一致性，证明评分标准辅助判断能提高检测效果。

MENTOR: A Metacognition-Driven Self-Evolution Framework for Uncovering and Mitigating Implicit Domain Risks in LLMs

MENTOR: 一种元认知驱动的自我进化框架，用于发现和缓解大语言模型中的隐式领域风险

Liang Shan, Kaicheng Shen, Wen Wu, Zhenyu Ying, Chaochao Lu, Yan Teng, Jingqi Huang, Qingshan Liu, Guangze Ye, Guoqing Wang, Jie Zhou, Liang He

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Shanghai AI Lab, Shanghai Innovation Institute（上海人工智能实验室，上海创新研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型在特定领域（如教育、金融、管理）中存在的隐式安全风险，提出基于元认知自我评估和动态规则知识图谱的MENTOR框架，通过激活级引导信号有效降低攻击成功率。

Pro$^2$Assist: Continuous Step-aware Proactive Assistance with Multi-modal Egocentric Perception for Long-horizon Procedural Tasks

Pro²Assist：面向长程流程任务的、基于多模态自我中心感知的步骤感知主动式辅助系统

Lilin Xu, Bufang Yang, Siyang Jiang, Kaiwei Liu, Kaiyuan Hou, Yuang Fan, Hongkai Chen, Zhenyu Yan, Xiaofan Jiang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究提出Pro²Assist，一种基于多模态自我中心感知的步骤感知主动式辅助系统，通过AR眼镜感知与持续推理提升长程流程任务辅助效果，在动作理解与主动时机准确率上优于基线，获多数用户认可。

Comments To appear in IMWUT'26