大模型推理能力

Why Does Reasoning Length Converge? Unveiling the Underfitting-Overfitting Trade-off in Chain-of-Thought

CoT-Space: 一种通过强化学习实现内部慢思考的理论框架

Zeyu Gan, Hao Yi, Yong Liu

机构 * Zeyu Gan, Yi Hao, Yong Liu（GAN 赵毅、LIU 刘永） 纠错

专题命中 复杂问题求解 ：CoT(title_cn,summary_cn)；reasoning(title,abstract)；chain-of-thought(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CoT-Space理论框架，通过强化学习将推理过程从离散的token预测任务转化为连续的推理层面语义空间中的优化过程，揭示了测试时扩展中最优CoT长度的收敛是欠拟合与过拟合基本权衡的自然结果。

Comments Preprint Edition

CAP-CoT: Cycle Adversarial Prompt for Improving Chain of Thoughts in LLM Reasoning

CAP-CoT：用于提升大语言模型推理中思维链的循环对抗提示

Shuxu Chen, Yitian Zhou, Jiaquan Zhang, Haoyu Bian, Wenrui Hu, Aming Wu, Sungyoung Lee, Chaoning Zhang, Hyundong Shin

机构 * Department of Electronic Engineering, Kyung Hee University（韩国庆熙大学电子工程系） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（中国电子科技大学计算机科学与工程学院） ； Henan Polytechnic University（河南理工大学） ； School of Computing, Kyung Hee University（韩国庆熙大学计算机学院） 纠错

专题命中 复杂问题求解 ：CoT(title,title_cn)；reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 CAP-CoT通过循环对抗提示框架提升LLM推理的准确性和稳定性，通过生成候选推理链、构造有缺陷的链并对比反馈，优化推理过程。

Self-Correction Bench: Uncovering and Addressing the Self-Correction Blind Spot in Large Language Models

Self-Correction Bench：揭示并解决大语言模型中的自校正盲点

Ken Tsui

机构 * Independent Researcher（独立研究者） 纠错

专题命中 复杂问题求解 ：self-correction(title,title_cn)；reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出Self-Correction Bench框架，发现大语言模型存在64.5%的自校正盲点，经微调或添加“Wait”可显著降低该盲点，揭示了自校正能力未激活的机制。

Comments Accepted to COLM 2026

Hierarchical Chain-of-Thought: Enhancing LLM Reasoning Performance and Efficiency

层次化思维链提示：提升大语言模型推理性能与效率

Xingshuai Huang, Derek Li, Bahareh Nikpour, Parsa Omidi

机构 * Huawei Technologies Canada, Canada（华为技术加拿大公司，加拿大） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；planning(abstract)

AI总结 本文提出层次化思维链提示方法，通过分层步骤规划与执行提升复杂多步推理的准确率和效率，实验显示在多种模型和任务中平均准确率提升6.2%。

LLMs as ASP Programmers: Self-Correction Enables Task-Agnostic Nonmonotonic Reasoning

LLMs 作为 ASP 程序员：自我纠正实现任务无关的非单调推理

Adam Ishay, Joohyung Lee

机构 * Arizona State University（亚利桑那州立大学） ； Samsung Research（三星研究院） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；self-correction(title,abstract)；分类 cs.AI

AI总结 提出 LLM+ASP 框架，通过自我纠正循环将自然语言转化为回答集程序，实现无需任务特定工程的非单调推理，在多个基准上优于 SMT 方法。

Comments 30 pages

Step-Level Sparse Autoencoder for Reasoning Process Interpretation

步骤级稀疏自编码器用于推理过程解释

Xuan Yang, Jiayu Liu, Yuhang Lai, Hao Xu, Zhenya Huang, Ning Miao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)；分类 cs.LG

AI总结 提出步骤级稀疏自编码器（SSAE），通过条件稀疏化形成信息瓶颈，将推理步骤中的增量信息与背景信息分离为稀疏特征，用于解释大语言模型的推理过程。

LASAR: Latent Adaptive Semantic Aligned Reasoning for Generative Recommendation

LASAR：潜在自适应语义对齐推理用于生成推荐

Yiwen Chen, Fuwei Zhang, Zehao Chen, Hehan Li, Peizhi Xu, Hanmeng Liu, Shuanglong Li, Xin Pei, Fuzhen Zhuang, Zhao Zhang

专题命中 复杂问题求解 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)

AI总结 LASAR通过自适应语义对齐推理提升生成推荐性能，解决潜在推理与语义对齐的挑战，实现更高效的推荐质量与速度。

HyLaR: Hybrid Latent Reasoning with Decoupled Policy Optimization

混合潜在推理与解耦策略优化

Tao Cheng, Shi-Zhe Chen, Hao Zhang, Yixin Qin, Jinwen Luo, Zheng Wei

机构 * Tencent PCG（腾讯PCG） ； Tencent CSIG（腾讯CSIG） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)

AI总结 本文提出HyLaR框架，通过结合离散文本生成与连续视觉潜在表示，提升多模态大语言模型在细粒度感知和通用多模态理解中的性能。

Comments Accepted to ECCV 2026

Journal ref ECCV 2026

REFACT: Adaptive Fact Restatement for Compact and Faithful Chain-of-Thought Reasoning

REFACT：用于紧凑且忠实的思维链推理的自适应事实重述

Zhensheng Jin, Xin Dai, Zhenghao Liu, Chaojun Xiao, Huiyuan Xie, Yu Gu, Ge Yu, Maosong Sun

机构 * Northeastern University（东北大学） ； Tsinghua University（清华大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(title)；分类 cs.CL

AI总结 研究复杂任务中语言模型推理轨迹易偏离上下文的问题，提出REFACT自适应事实重述框架，经两阶段优化，实验证明其能提升长上下文问答等能力，减少令牌消耗，保留更多证据使推理轨迹更优。

RankGuide: Tensor-Rank-Guided Routing and Steering for Efficient Reasoning

RankGuide: 张量秩引导的路由与引导以实现高效的推理

Jiayi Tian, Yupeng Su, Ryan Solgi, Souvik Kundu, Zheng Zhang

机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； Intel Labs（英特尔实验室） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.AI

AI总结 RankGuide通过张量秩引导的路由与引导提升小推理模型与大推理模型的协作效率，减少推理延迟并提高准确性。

Grounding Multi-Hop Reasoning in Structural Causal Models via Group Relative Policy Optimization

通过群体相对策略优化在结构因果模型中 grounding 多跳推理

Yunhan Bu, Quan Zhang, Huaping Zhang, Guotong Geng, Chunxiao Gao, Askar Hamdulla, Juan Wang, Qiuchi Li, Baohua Zhang, Shuai Lei, Yunbo Cao, Zhunchen Luo

机构 * School of Computer Science and Technology, Xinjiang University, Urumqi, China（新疆大学计算机科学与技术学院，乌鲁木齐，中国） ； Beijing Institute of Technology, Beijing, China（北京理工大学，北京，中国） ； Military Science Information Research Center, Academy of Military Science, Beijing, China（军事科学院军事科学信息研究中心，北京，中国） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract_cn)；分类 cs.AI

AI总结 本文提出基于结构因果模型的多跳事实验证框架，通过群体相对策略优化解决推理链长度与准确率的平衡问题，实验表明其在HoVer和EX-FEVER数据集上优于现有方法。

MatSciBench: Benchmarking the Reasoning Ability of Large Language Models in Materials Science

MatSciBench: 基准测试大型语言模型在材料科学中的推理能力

Junkai Zhang, Jingru Gan, Xiaoxuan Wang, Zian Jia, Changquan Gu, Jianpeng Chen, Yanqiao Zhu, Mingyu Derek Ma, Dawei Zhou, Ling Li, Wei Wang

机构 * University of California, Los Angeles Computer Science Department（加州大学洛杉矶分校计算机科学系） ； University of Pennsylvania Department of Materials Science and Engineering（宾夕法尼亚大学材料科学与工程系） ； Virginia Tech Department of Computer Science（弗吉尼亚理工大学计算机科学系） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；self-correction(abstract)；分类 cs.AI

AI总结 提出MatSciBench基准，包含1340道大学级材料科学问题，覆盖6个主领域和31个子领域，评估LLM推理能力，发现当前模型在领域知识、计算和图表理解方面存在局限。

Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution

通过分步置信度归因诊断黑盒大语言模型的多步推理失败

Xiaoou Liu, Tiejin Chen, Dengjia Zhang, Yaqing Wang, Lu Cheng, Hua Wei

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；self-correction(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种基于分步置信度归因（SCA）的方法，用于诊断黑盒大语言模型在多步推理中的失败，通过信息瓶颈原理对生成的推理轨迹进行置信度评估，并通过实验验证该方法在数学推理和多跳问答任务中的有效性。

Comments Accepted by ICML 2026

ChartAgent: A Multimodal Agent for Visually Grounded Reasoning in Complex Chart Question Answering

ChartAgent: 一种用于复杂图表问答中视觉基础推理的多模态智能体

Rachneet Kaur, Nishan Srishankar, Zhen Zeng, Sumitra Ganesh, Manuela Veloso

机构 * J.P. Morgan AI Research（摩根大通人工智能研究） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 提出ChartAgent框架，通过迭代分解查询为视觉子任务并利用图表专用视觉工具（如绘制注释、裁剪区域）进行空间域推理，在ChartBench和ChartX上取得最先进性能，尤其对无标注图表提升显著。

Comments Accepted at ACL 2026 (Main Conference). Also presented as an oral paper at the NeurIPS 2025 Multimodal Algorithmic Reasoning Workshop (https://marworkshop.github.io/neurips25/)

The Self-Correction Illusion: Role Relabeling Gates Explicit Error Flagging in Large Language Models

自我修正错觉：LLM 纠正他人但不纠正自己

Kuan-Yen Chen, Fang-Yi Su, Shih-Yen Lin, Bao Li, Jung-Hsien Chiang

机构 * National Taiwan University（国立台湾大学） 纠错

专题命中 复杂问题求解 ：self-correction(title,abstract)；reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过保持错误声明字节一致仅改变角色标签，发现 LLM 无法自我修正并非能力缺陷，而是聊天模板角色标签的人为产物，并提出无需训练或模型修改的提示结构干预方法。

Comments 15 pages, 3 figures, 15 tables

Generalized Discrete Diffusion with Self-Correction

广义离散扩散与自校正

Linxuan Wang, Ziyi Wang, Yikun Bai, Wei Deng, Guang Lin, Qifan Song

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 复杂问题求解 ：self-correction(title,abstract)；reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出自校正离散扩散模型（SCDD），通过显式状态转移和离散时间学习，简化训练噪声调度，消除冗余重掩码步骤，在GPT-2规模上实现高效并行解码并保持生成质量。

Comments 40 pages, 3 figures, 6 tables

The Model Says Walk: How Surface Heuristics Override Implicit Constraints in LLM Reasoning

模型说走：表面启发式如何覆盖LLM推理中的隐式约束

Yubo Li, Lu Zhang, Tianchong Jiang, Ramayya Krishnan, Rema Padman

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Independent Researcher（独立研究者） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 研究LLM在表面线索与隐式约束冲突时的失败，提出启发式覆盖基准（HOB），通过因果行为分析揭示距离线索影响远大于目标，并验证目标分解提示可部分恢复性能。

Explain Before You Answer: A Survey on Compositional Visual Reasoning

回答之前先解释：组合视觉推理综述

Fucai Ke, Joy Hsu, Zhixi Cai, Zixian Ma, Xin Zheng, Xindi Wu, Sukai Huang, Weiqing Wang, Pari Delir Haghighi, Gholamreza Haffari, Ranjay Krishna, Jiajun Wu, Hamid Rezatofighi

机构 * Monash University（墨尔本大学） ； Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； Griffith University（格里菲斯大学） ； Princeton University（普林斯顿大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 综述2023年至2025年组合视觉推理文献，形式化核心定义，追溯范式转变，编目基准指标，提炼见解、识别挑战并概述方向，为该领域提供统一分类、历史路线图和批判性展望。

Comments Project Page: https://github.com/pokerme7777/Compositional-Visual-Reasoning-Survey

Collaborative Multi-Agent Scripts Generation for Enhancing Imperfect-Information Reasoning in Murder Mystery Games

协作多智能体脚本生成以增强谋杀谜游戏中的不完全信息推理

Keyang Zhong, Junlin Xie, Hefeng Wu, Haofeng Li, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文提出协作多智能体框架，通过生成丰富多模态上下文提升VLMs在叙事推理和欺骗鲁棒性中的表现，解决多玩家游戏中不完全信息下的复杂推理问题。

Comments 9 pages, 5 figures, Findings of ACL 2026

NarrativeTrack: Evaluating Entity-Centric Reasoning for Narrative Understanding

NarrativeTrack: 评估实体中心推理在叙事理解中的表现

Hyeonjeong Ha, Jinjin Ge, Bo Feng, Kaixin Ma, Gargi Chakraborty

机构 * Apple（苹果公司） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.LG

AI总结 NarrativeTrack通过细粒度实体中心推理评估多模态大语言模型的叙事理解能力，揭示了感知接地与时间推理之间的根本权衡。

Comments Project Page: https://github.com/apple/ml-NarrativeTrack

When to Re-Plan: Subgoal Persistence in Hierarchical Latent Reasoning

何时重新规划：分层潜在推理中的子目标持久性

Ayushi Chadha

机构 * Independent Researcher（独立研究者） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；planning(abstract)；分类 cs.AI

AI总结 研究分层潜在推理中稳定性与适应性的权衡，通过封建式管理-工人接口控制子目标持久周期，发现中等周期（3-6步）最优，内在对齐权重存在窄最优值（约0.05）。

Comments Accepted at the Workshop on Compositional Learning: Safety, Interpretability, and Agents (CompLearn), ICML 2026. 10 pages, 2 figures

LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints

基于DeCRIM的大语言模型自校正：分解、批判与优化，提升多约束指令遵循能力

Thomas Palmeira Ferraz, Kartik Mehta, Yu-Hsiang Lin, Haw-Shiuan Chang, Shereen Oraby, Sijia Liu, Vivek Subramanian, Tagyoung Chung, Mohit Bansal, Nanyun Peng

专题命中 复杂问题求解 ：self-correction(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对LLM处理多约束指令的不足，研究推出RealInstruct基准，提出DeCRIM自校正流程，可提升开源模型性能，结合强反馈时其表现能超越GPT-4。

Comments EMNLP 2024, see https://aclanthology.org/2024.findings-emnlp.458/

Lightweight Language Models are Prone to Reasoning Errors for Complex Computational Phenotyping Tasks

轻量语言模型在复杂计算表型任务中易出现推理错误

Sarah Pungitore, Shashank Yadav, David Maughan, Vignesh Subbian

专题命中 复杂问题求解 ：reasoning(title,abstract)；CoT(abstract)

AI总结 研究探讨了轻量语言模型在复杂计算表型任务中的推理错误问题，通过扩展PHEONA框架评估了不同模型的推理准确性，并发现轻量推理模型在提示修改后表现显著提升。

From Reasoning Depth to Reasoning Breadth: Evaluating Multi-Point Associative Reasoning in Large Language Models

从推理深度到推理广度：评估大型语言模型中的多点关联推理

Si'an Xie, Jiaxun Liu, Biao Yang, Wei Yuan, Fan Yang, Tingting Gao, Ming Wu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Peking University（北京大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究构建了中英双语多点关联推理基准MPAR-Bench，发现大型语言模型的推理深度未自动带来稳健的推理广度，当前基准未充分覆盖推理广度。

SAKE: Structured Agentic Knowledge Extrapolation for Complex LLM Reasoning via Reinforcement Learning

SAKE：通过强化学习进行复杂LLM推理的结构代理知识外推

Jiashu He, Jinxuan Fan, Bowen Jiang, Ignacio Houine, Dan Roth, Alejandro Ribeiro

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 SAKE通过强化学习训练LLM自主检索和外推结构化知识，提升生物医学和常识领域推理性能，同时减少90%以上token使用。

Streaming Communication in Multi-Agent Reasoning

多智能体推理中的流式通信

Zhen Yang, Xiaogang Xu, Wen Wang, Cong Chen, Xander Xu, Ying-Cong Chen

机构 * HKUST(GZ)（香港科技大学（广州）） ； Alibaba Group（阿里巴巴集团） ； ZJU（浙江大学） ； HKUST（香港科技大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出流式多智能体推理系统StreamMA，通过将推理步骤实时流式传输给下游智能体来降低延迟，并意外地提升了效果，同时首次给出流式、串行和单协议三种模式的闭式联合分析。

Comments project page: https://zhenyangcs.github.io/StreamMA-website/

Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning

少复制，多扎根：通过证据感知强化学习克服长上下文推理中的重复复制

Lizhe Fang, Weizhou Shen, Tianyi Tang, Yisen Wang

机构 * Peking University（北京大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究长上下文推理中语言模型的重复复制问题，提出GEAR奖励塑造方法，通过区分关键证据和干扰上下文来增强奖励信号，经实验验证该方法能提升模型性能，减少重复复制，凸显准确扎根证据对长上下文推理的重要性。

Controllable LLM Reasoning via Sparse Autoencoder-Based Steering

通过稀疏自编码器基于的转向实现可控的大语言模型推理

Yi Fang, Wenjie Wang, Mingfeng Xue, Boyi Deng, Fengli Xu, Dayiheng Liu, Fuli Feng

机构 * University of Science and Technology of China（中国科学技术大学） ； Zhongguancun Academy（中关村学院） ； Alibaba Group（阿里巴巴集团） ； Tsinghua University（清华大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SAE-Steering方法，通过稀疏自编码器分解隐藏状态，实现对大语言模型推理策略的高效控制，提升推理准确率和灵活性。

Comments Accepted to the ACL 2026 Main

Show Me How You Reason and I'll Tell You Who You Are: Reasoning Graphs for Robust LLM Authorship Attribution

告诉我你如何推理，我就能说出你是谁：用于可靠大语言模型作者归属的推理图

Zlata Kikteva, Artur Romazanov, Annette Hautli-Janisz, Ramon Ruiz-Dolz

机构 * University of Passau（帕绍大学） ； University of Dundee（邓迪大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM生成文本检测和作者归属问题，此前方法易受改写等影响。本文提出利用论证挖掘管道提取推理图的图神经网络方法，在混淆攻击及新模型版本文本评估中，相比传统基线展现更强鲁棒性和泛化能力，提升了检测准确率。

MedicalAgentsBench for Complex Medical Reasoning: Comparing Internalized Reasoning Models versus Externalized Agent-based Frameworks

MedicalAgentsBench：复杂医学推理基准——比较内化推理模型与外化智能体框架

Yanjun Shao, Xiangru Tang, Jiwoong Sohn, Jiapeng Chen, Yuxuan Liao, Jiayi Zhang, Jinyu Xiang, Fang Wu, Yilun Zhao, Chenglin Wu, Wenqi Shi, Arman Cohan, Mark Gerstein

机构 * Program in Computational Biology & Biomedical Informatics, Yale University（计算生物学与生物医学信息学项目，耶鲁大学） ； Department of Biomedical Informatics & Data Science, Yale University（生物医学信息学与数据科学系，耶鲁大学） ； Department of Computer Science, Yale University（计算机科学系，耶鲁大学） ； Department of Biosystems Science and Engineering, ETH Zurich（生物系统科学与工程系，苏黎世联邦理工学院） ； Department of Computer Science, Stanford University（计算机科学系，斯坦福大学） ； Department of Bioinformatics, UT Southwestern Medical Center（生物信息学系，德克萨斯西南医学中心） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出MedicalAgentsBench基准（862个复杂临床问题），比较内化推理模型与外化智能体框架在医学推理中的表现，发现两者效果可叠加，最优组合为o3-mini+MDAgents（准确率35.1%）。

Comments https://github.com/gersteinlab/MedicalAgentsBench