大模型推理能力

LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning

LISA：用于高效长上下文推理的线性索引稀疏注意力

Yu Zhao, Zekun Zhang, Fan Jiang, Bo Zeng, Linlong Xu, Shimin Shan, Yu Liu, Longyue Wang, Weihua Luo

机构 * Alibaba International Digital Commerce（阿里巴巴国际数字商业集团） ； School of Software Technology, Dalian University of Technology（大连理工大学软件学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

AI总结 研究针对长思维链推理模型中标准自注意力计算复杂度高的问题，提出LISA模块，它集成线性注意力模块和闪电索引器，经两阶段训练，能降低推理复杂度，在特定模型上实现推理加速并提升性能。

Comments 20 pages, 10 figures

EvoThink: Evolving Thinking in Large Reasoning Models via Self-Pruning and Aha-Moment Preference Optimization

EvoThink：通过自剪枝和顿悟时刻偏好优化在大型推理模型中进化思维

Xinbang Dai, Zheyu Xin, Huikang Hu, Lin Ren, Rihui Jin, Guohui Xiao, Guilin Qi, Kuicai Dong, Zhaocheng Du, Yuyang Zhang

机构 * Southeast University（东南大学） ； Noah’s Ark Lab（诺亚方舟实验室） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 研究针对大型推理模型过度思考问题，提出EvoThink框架，含自剪枝训练和顿悟时刻偏好优化两个关键组件，能减少冗余验证、探索新推理路径，经评估可提高推理效率与能力。

Comments 9 pages, 7 figures, accepted by IJCAI 2026

Experience Augmented Policy Optimization for LLM Reasoning

经验增强策略优化用于大语言模型推理

Jinda Lu, Kexin Huang, Junkang Wu, Shuo Yang, Jinghan Li, Chiyu Ma, Shaohang Wei, Xiang Wang, Guoyin Wang, Jingren Zhou

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出经验增强策略优化（EAPO），通过将先验RL优化策略作为动作级经验先验并在关键决策点选择性注入，配合自适应重要性采样，解决RLVR中采样成本高和经验利用不足问题，在多个基准上提升推理性能。

Notes to Self: Can LLMs Benefit from Experiential Abstractions?

给自己的笔记：大语言模型能从经验抽象中受益吗？

Chang Liu, Xinyu Li, Artur Dubrawski

机构 * Auton Lab, Carnegie Mellon University（卡内基梅隆大学自动实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL

AI总结 研究大语言模型能否从经验抽象中受益，通过从其在MATH训练集的痕迹提取抽象存入可检索库，探索推理时检索和强化学习两种使用模式，发现能提高模型在数学和逻辑推理基准上的性能，且框架可转移。

Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution

词汇丢弃：LLM共同进化中的课程多样性

Jacob Dineen, Aswin RRV, Zhikun Xu, Ben Zhou

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM共同进化中问题多样性崩溃的问题，提出词汇丢弃机制，通过在策略训练和课程生成时随机掩码输出logits维持多样性，在数学推理任务上提升求解器性能平均+4.4点。

Comments Accepted to COLM 2026

PyroDash: Cost-Efficient Token-Level Small-Large Language Model Collaborative Inference

PyroDash：具有成本效益的令牌级小语言模型与大语言模型协作推理

Niqi Lyu, Pengtao Shi, Wei Qiu, Jianlin Zhong, Sicong Xia, Jianyao Ma, Yicheng Ding

机构 * Pyromind Dynamics Inc.（Pyromind动力学公司） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 研究针对大语言模型推理成本高、小语言模型可靠性低的问题，提出PyroDash框架，通过令牌级协作推理，分三阶段训练小语言模型，在数学推理基准测试中能支持不同操作点，可减少大语言模型使用并保持推理性能。

Comments 19 pages, 3 figures