大模型推理能力

Architecture-Aware Reinforcement Learning Makes Sliding-Window Attention Competitive in Math Reasoning

架构感知强化学习使滑动窗口注意力在数学推理中具有竞争力

Kai Liu, Peijie Dong, Xinchen Xie, Jianfei Gao, Qipeng Guo, Xiaowen Chu, Shaoting Zhang, Kai Chen

机构 * Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（上海智能自主系统研究院，同济大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(title,abstract)；分类 cs.AI

AI总结 提出SWARR方法，通过监督微调将预训练自注意力模型高效转换为滑动窗口注意力，并利用强化学习策略适应，缩小了与自注意力的性能差距，同时保持线性复杂度的高效性。

Auditing CoT Answer-Hijack Patches: Source-Control Certificates with Type-I Guarantees

链式思维答案劫持的选择感知诊断

Jianwei Tai

专题命中 数学推理 ：CoT(title,abstract)；reasoning(abstract)；chain-of-thought(abstract)

AI总结 针对链式思维答案劫持攻击，提出选择感知诊断方法，通过激活修补定位脆弱区域，并验证恢复依赖于同问题干净源。

On the Optimal Reasoning Length for RL-Trained Language Models

关于RL训练的语言模型的最优推理长度

Daisuke Nohara, Taishi Nakamura, Rio Yokota

机构 * University of Tokyo（东京大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究强化学习训练的语言模型中推理长度与准确率的非单调关系，发现存在最优中间长度，并通过模式准确率分析揭示其成因。

Comments 18 pages, 12 figures

Geometry of Reason: Spectral Signatures of Valid Mathematical Reasoning

推理的几何：有效数学推理的谱特征

Valentin Noël

机构 * Valentin Noël（瓦伦丁·诺埃尔） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过将注意力矩阵视为加权词图，提取四个无需学习的谱诊断指标（Fiedler值、高频能量比、谱熵和平滑度），有效区分有效推理与模式匹配，在多个模型上达到85-96%的分类准确率。

Comments 30 pages, 13 figures, Accepted at ICML 2026 (main track)

Toward Preference-aligned Large Language Models via Residual-based Model Steering

基于残差模型引导的偏好对齐大型语言模型

Lucio La Cava, Andrea Tagarelli

机构 * DIMES Dept., University of Calabria, Italy（卡利博大学DIMES系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PaLRS方法，利用残差流中的偏好信号提取轻量级引导向量，无需训练即可在推理时对齐模型偏好，在数学推理和代码生成任务上取得一致提升，同时节省大量时间。

Comments Accepted at IJCAI 2026

Beyond Fully Random Masking: Attention-Guided Denoising and Optimization for Diffusion Language Models

超越完全随机掩码：扩散语言模型的注意力引导去噪与优化

Jia Deng, Junyi Li, Wayne Xin Zhao, Jinpeng Wang, Hongyu Lu, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Department of Data Science, City University of Hong Kong（香港城市大学数据科学系） ； Meituan（美团） ； WeChat, Tencent（腾讯微信） ； Beijing Key Laboratory of Research on Large Models and Intelligent Governance（大型模型与智能治理北京市重点实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出AGDO框架，利用注意力结构指导去噪顺序并强化关键令牌，在数学和编码基准上提升扩散语言模型的推理性能。

Comments 13 pages. Accepted to ACL 2026 Main Conference

SAGE: Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment

SAGE: 面向言语不确定性对齐的答案条件不确定性目标

Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出SAGE目标，通过答案条件不确定性几何从模型采样响应中构建群组级不确定性目标，结合GUPO训练框架优化言语不确定性表达，在多项推理任务中提升不确定性排序、降低校准误差和过度自信。

Identifying Topological Invariants of Non-Hermitian Systems via Domain-Adaptive Multimodal Model for Mathematics

通过数学多模态模型识别非厄密系统拓扑不变量

Jiuchun Meng, Lichao Sun, Xiumei Wang, Dandan Zhu, Xingping Zhou

专题命中 数学推理 ：reasoning(abstract)

AI总结 本文提出利用多模态模型识别非厄密系统拓扑不变量，通过输入哈密顿量的本征值和本征向量，结合数学大语言模型进行复杂计算和推理，有效提取拓扑信息。