大模型推理能力

From Noise to Diversity: Random Embedding Injection in LLM Reasoning

从噪声到多样性：在LLM推理中的随机嵌入注入

Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

机构 * Gwangju Institute of Science and Technology（光州科学技术学院） ； Seoul National University（首尔国立大学） ； Microsoft Research（微软研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.AI

AI总结 本文研究了随机软提示（RSPs），通过在输入中添加随机嵌入向量提升推理性能，揭示了注入过程对生成多样性的影响，并在推理和训练中均取得显著效果。

Comments Under review, ICML 2026 Mechanistic Interpretability Workshop (Spotlight)

Simple Policy Gradients for Reasoning with Diffusion Language Models

为扩散语言模型进行推理的简单策略梯度

Anthony Zhan

机构 * Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出 AGRPO 算法，通过优化 dLLM 的去噪步骤提升推理性能，实现多个任务上的显著增益。

Comments 19 pages. ICML 2026

Domyn-Small: A European 10B Reasoning Language Model

Domyn-Small：一个欧洲的100亿参数推理语言模型

Simone Angarano, Francesco Bertolotti, Federico D'Ambrosio, Michele Resta, Alessandro Rognoni, Nicolò Ruggeri, Dario Salvati, Andrea Valenti, Alberto Veneri, Martin Cimmino

机构 * CINECA（意大利国家计算应用研究所） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 介绍了基于9万亿令牌多语言数据预训练的100亿参数推理语言模型Domyn-Small，经持续预训练、监督微调、强化学习等训练后管道，实现双模式推理，在与对等模型对比中平衡了准确性与效率，还发布了相关权重及开源框架。

Comments 27 pages, 5 figure

Representation Robustness Under Executable Reasoning Constraints in Large Language Models for Mathematical Problem Solving

数学问题解决中大型语言模型在可执行推理约束下的表示鲁棒性

Sagnik Nath, Edith Aurora Graf, Liang Zhang, Diego Zapata-Rivera

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 研究大型语言模型在数学问题解决中表示鲁棒性，通过改变问题表面表示评估五个模型，发现其对表示敏感，代码增强未统一提升鲁棒性，揭示了正确性等方面新权衡，强调表示应作为接口设计变量。

Comments presented at the 28th International Conference on Human-Computer Interaction (2026), Montreal, Canada

Moir: Let the Model Direct Its Own Story for Robust Cross-Domain Knowledge Editing

莫尔：让模型为稳健的跨域知识编辑指引自身方向

Jea Kwon, Jiwon Kim, Dong-kyum Kim, Meeyoung Cha

机构 * Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对语言模型训练后知识编辑核心能力退化问题，提出莫尔方法，通过从模型自身解码分布采样估计保留协方差，无需外部数据，可作插入组件。实验表明该方法能在多模型上扩展保留能力，提升准确率，凸显分布对齐对无损编辑的关键作用。

Profiling Lightweight Large Language Models

轻量级大语言模型剖析

Tomohiro Harada, Enrique Alba, Gabriel Luque

机构 * Graduate School of Science and Engineering, Saitama University（埼玉大学理工学研究科） ； ITIS, University of Malaga（马拉加大学信息技术与系统研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 研究轻量级大语言模型在资源受限环境中的情况，提出基于PTME的实验框架，通过硬件级测量联合测量精度、时间、内存和能耗，对一组模型进行测试，发现代理描述符不足，揭示非主导配置，为不同资源下选模型提供指导。

ArbiGraph: Arbitrarily Scalable Verifiable Task Graphs for Evaluating Context Management

ArbiGraph：用于评估上下文管理的任意可扩展可验证任务图

Pavel Golikov, Evgenii Opryshko, Gennady Pekhimenko, Mark C. Jeffrey

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 ArbiGraph作为基准生成器，将任务表示为带Python求解器的自然语言问题，通过类型化中间状态组合任务。用多种任务类别实例化并评估智能体，发现其在孤立任务和复杂相关任务上表现不同，揭示了单任务评估无法发现的问题。

Concept Concentration for Faithful Representation Intervention

用于忠实表示干预的概念集中化

Hongzheng Yang, Yongqiang Chen, Zeyu Qin, Tongliang Liu, Chaowei Xiao, Kun Zhang, Bo Han

机构 * SAIC Centre, USYD（SAIC中心） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 研究大语言模型表示干预中定位忠实概念的问题，提出概念集中化（COCA）方法，通过重构训练数据简化决策边界，有效降低分布内和分布外越狱成功率，且在常规任务上保持性能。

Comments ICML'26; Hongzheng and Yongqiang contributed equally; project page: https://causalcoat.github.io/coca