大模型推理能力

Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens

大语言模型的链式推理是否是一种幻象？一种数据分布视角

Chengshuai Zhao, Zhen Tan, Pingchuan Ma, Dawei Li, Bohan Jiang, Yancheng Wang, Yingzhen Yang, Huan Liu

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过数据分布视角探讨了大语言模型链式推理的有效性，揭示其在分布差异下的脆弱性，提出DataAlchemy环境验证了推理能力受训练分布影响的结论。

Comments Accepted by the Association for Computational Linguistics (ACL) 2026 and Foundations of Reasoning in Language Models (FoRLM) at NeurIPS 2025

Internalizing Safety Understanding in Large Reasoning Models via Verification

通过验证内部化安全理解以提升大推理模型

Yi Zhang, Yuxin Chen, Leheng Sheng, Dongcheng Zhang, Chaochao Lu, Xiang Wang, An Zhang

机构 * National University of Singapore（国立新加坡大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文提出Safety Internal框架，通过训练模型在安全验证任务中自我批判生成答案，提升模型对自身输出安全性的判断能力，增强对抗性突破的鲁棒性。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Training Reasoning Models on Saturated Problems via Failure-Prefix Conditioning

通过失败前缀条件训练饱和问题的推理模型

Minwu Kim, Safal Shrestha, Anubhav Shrestha, Keith Ross

机构 * New York University Abu Dhabi（纽约大学阿布扎赫分校） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出失败前缀条件方法，通过引导探索失败易发的推理状态，解锁饱和问题中的学习信号，提升模型恢复能力，实现性能提升并增强鲁棒性。

Comments 20 pages

An Insight into Security Code Review with LLMs: Capabilities, Obstacles, and Influential Factors

通过大语言模型进行安全代码审查的洞察：能力、障碍及影响因素

Jiaxin Yu, Peng Liang, Yujia Fu, Amjed Tahir, Mojtaba Shahin, Chong Wang, Yangxiao Cai

机构 * School of Computer Science, Wuhan University, China（武汉大学计算机科学学院） ； School of Mathematical and Computational Sciences, Massey University（梅西大学数学与计算科学学院） ； School of Computing Technologies, RMIT University, Australia（皇家墨尔本理工学院计算技术学院） 纠错

专题命中 其他推理 ：CoT(abstract,abstract_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文通过实证研究探讨大语言模型在安全代码审查中的潜力，比较了七种LLM与静态分析工具的性能，发现LLM在检测安全缺陷方面表现优异，且特定提示策略对性能有显著影响。

Comments 30 pages, 13 images, 10 tables, Manuscript revision submitted to a journal (2026)

Rebellious Student: Reversing Teacher Signals for Reasoning Exploration with Self-Distilled RLVR

反叛学生：通过自蒸馏RLVR反转教师信号进行推理探索

Jeonghye Kim, Jiwon Jeon, Dongsheng Li, Yuqing Yang

机构 * Microsoft Research（微软研究院） ； KAIST（韩国科学技术院） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出RLRT，通过反转自蒸馏信号增强正确路径上的推理，提升RLVR性能，建立信息不对称作为新设计轴。

Relational reasoning and inductive bias in transformers and large language models

变换器中的关系推理与归纳偏置

Jesse Geerts, Andrew Liu, Stephanie Chan, Claudia Clopath, Kimberly Stachenfeld

机构 * Imperial College London（帝国理工学院伦敦分校） ； Google（谷歌） ； DeepMind（深度Mind） ； Columbia University（哥伦比亚大学） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 本文研究了变换器和大语言模型在关系推理中的表现，比较了基于权重学习和上下文学习的机制，发现基于权重学习的模型能进行传递推理，而基于上下文学习的模型则依赖训练数据进行传递推理，预训练可使上下文学习模型更接近权重学习模型。

Comments 15 pages, 10 figures

The First Drop of Ink: Nonlinear Impact of Misleading Information in Long-Context Reasoning

第一滴墨水：误导信息在长上下文推理中的非线性影响

Muhan Gao, Zih-Ching Chen, Kuan-Hao Huang

机构 * Department of Computer Science ； Engineering, Texas A\&M University, College Station, TX, USA ； NVIDIA AI Technology Center, NVIDIA Corporation, Santa Clara, CA, USA 纠错

专题命中 其他推理 ：reasoning(title)；分类 cs.AI

AI总结 研究探讨了误导信息在长上下文推理中的非线性影响，发现误导信息比例增加时，性能在初期急剧下降，后续变化较小。通过理论和实证分析，揭示了误导信息对注意力的 disproportionate 影响，并指出过滤收益主要来自减少上下文长度而非去除误导信息。

Can You Keep a Secret? Involuntary Information Leakage in Language Model Writing

你能保密吗？语言模型写作中的非自愿信息泄露

Ari Holtzman, Peter West

机构 * University of Chicago（芝加哥大学） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 研究测试语言模型能否隐瞒提示信息，发现五种前沿模型通过主题选择、意象和设定等主题泄露秘密词，泄露率高达79%，且模型主动隐藏时仍可被检测到。

Selective Deficits in LLM Mental Self-Modeling in a Behavior-Based Test of Theory of Mind

对LLM心理自我建模能力的有选择性缺陷的测试：基于行为的理论自我认知测试

Christopher Ackerman

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过行为测试探讨LLM在理论自我认知任务中的能力，发现较早的LLM无法完成任务，而较新的LLM在他人认知建模上表现接近人类，但自我建模仍存在缺陷，除非使用推理轨迹辅助。

Comments 22 pages, 13 figures, 1 table

Dynamic Cross-Modal Prompt Generation for Multimodal Continual Instruction Tuning

动态跨模态提示生成用于多模态持续指令微调

Tao Hu, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DRAPE框架，通过生成连续实例特定的软提示提升多模态持续指令微调性能，采用跨模态注意力和投影梯度投影减少遗忘，实验显示优于现有基线方法。

DeepRefine: Agent-Compiled Knowledge Refinement via Reinforcement Learning

DeepRefine: 通过强化学习进行代理编译知识的精炼

Haoyu Huang, Jiaxin Bai, Shujie Liu, Yang Wei, Hong Ting Tsang, Yisen Gao, Zhongwei Xie, Yufei Li, Yangqiu Song

机构 * HKUST（香港科技大学） ； HKBU（香港大学） ； Microsoft Research Asia Hong Kong（微软亚洲研究院（香港）） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 DeepRefine是一种基于LLM的推理模型，通过用户查询提升预构建知识库的质量，以适应下游任务。该模型通过多轮交互和归纳诊断定位缺陷并进行针对性精炼，采用Gain-Beyond-Draft奖励机制进行强化学习训练。

To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification

应标注还是不应标注？一种局部LLM方法用于审议过程特权分类

Maik Larooij, David Graus

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 其他推理 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种局部LLM方法，用于自动分类FOIA豁免5项审议过程特权的敏感性，通过结合链式思维提示和基于错误的少样本提示，提升召回率和F2分数，接近商用模型性能。

Comments Accepted to The First Workshop on Artificial Intelligence & Open Government at the 21st International Conference on Artificial Intelligence and Law (ICAIL), June 8, 2026, Singapore

Towards Effective Theory of LLMs: A Representation Learning Approach

面向大语言模型的有效理论：一种表征学习方法

Muhammed Ustaomeroglu, Guannan Qu

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RET框架，通过学习宏观状态而非微观细节描述大语言模型计算，验证其在可解释性中的实用性。

Comments Project webpage: https://ustaomeroglu.github.io/RET/

Beyond Continuity: Challenges of Context Switching in Multi-Turn Dialogue with LLMs

超越连续性：在LLMs多轮对话中上下文切换的挑战

Aditya Sinha, Harald Steck, Vito Ostuni, Matteo Rinaldi

机构 * Netflix Inc.（Netflix公司） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了LLMs在多轮对话中处理上下文切换的挑战，通过构建合成基准测试，评估了十种LLMs在检测用户话题切换和筛选相关上下文方面的性能，发现只有部分具备推理能力的LLMs能准确检测话题切换。

Comments Accepted to the ICBINB Workshop @ ICLR 2026

Memory Inception: Latent-Space KV Cache Manipulation for Steering LLMs

记忆 inception：用于引导 LLMs 的潜在空间 KV 缓存操作

Andy Zeyi Liu, Michael Zhang, Ilana Greenberg, Adam Alnasser, Lucas Baker, John Sous

机构 * Yale University（耶鲁大学） ； Princeton University（普林斯顿大学） ； Jump Trading 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出 memory inception 方法，通过在选定层插入文本衍生的键值对（KV）银行，在潜在注意力空间中引导 LLMs，实现更高效的控制与更少的存储消耗。

Preventing Rank Collapse in Federated Low-Rank Adaptation with Client Heterogeneity

防止联邦低秩适应中的秩坍缩与客户端异质性

Fei Wu, Jia Hu, Geyong Min, Shiqiang Wang

机构 * Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对联邦低秩适应中因客户端异质性导致的秩坍缩问题，提出raFLoRA方法，通过分解本地更新并加权聚合提升模型性能和鲁棒性。

RL Fine-Tuning Heals OOD Forgetting in SFT

强化学习修复SFT中的分布外遗忘

Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

机构 * Mila - Quebec AI Institute（魁北克人工智能研究所） ； Polytechnique Montréal（蒙特利尔理工学院） ； Université de Montréal（蒙特利尔大学） ； McGill University（麦吉尔大学） ； CIFAR AI Chair（CIFAR人工智能主席） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过分析SFT和RL对ID和OOD推理的影响，发现RL能修复后期SFT导致的OOD能力下降，且与奇异向量旋转相关。

Comments 31 pages, 22 figures

Priming: Hybrid State Space Models From Pre-trained Transformers

预训练：从预训练变换器中获得的混合状态空间模型

Aditya Chattopadhyay, Elvis Nunez, Prannay Kaul, Benjamin Bowman, Evan Becker, Luca Zancato, David Thomas, Wei Xia, Stefano Soatto

机构 * AWS Agentic AI（AWS 代理AI） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 预训练通过从预训练变换器初始化混合模型，利用短对齐和微调阶段，在少于源模型预训练token预算的情况下恢复下游性能，实现了大规模混合架构设计的可控比较。

DARE: Diffusion Language Model Activation Reuse for Efficient Inference

DARE：扩散语言模型激活重用以提高推理效率

Natalia Frumkin, Bokun Wang, Hung-Yueh Chiang, Chi-Chih Chang, Mohamed S. Abdelfattah, Diana Marculescu

机构 * Chandra Family Department of Electrical and Computer Engineering（查德拉家族电子与计算机工程系） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Cornell University（康奈尔大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 DARE通过利用扩散语言模型中token级冗余性，提高推理效率，减少计算量，同时保持生成质量。

DGPO: Beyond Pairwise Preferences with Directional Consistent Groupwise Optimization

DGPO: 超越成对偏好与方向一致的组级优化

Mengyi Deng, Zhiwei Li, Xin Li, Tingyu Zhu, Yulan Yuan, Zhijiang Guo, Wei Wang

机构 * Information Hub, The Hong Kong University of Science and Technology (Guangzhou), China（香港科学与技术大学（广州）信息中心，中国） ； The Hong Kong University of Science and Technology, Hong Kong SAR（香港科学与技术大学，香港特别行政区） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出DGPO框架，通过组级监督信号和多候选比较建模方向一致性，提升偏好优化的准确性和多样性，实验显示在多个数据集上平均提升3.6%。

New AI-Driven Tools for Enhancing Campus Well-being: A Prevention and Intervention Approach

新的AI驱动工具提升校园福祉：一种预防与干预方法

Jinwen Tang

机构 * Graduate School（研究生院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出通过AI工具提升校园福祉，开发TigerGPT和AURA提升反馈质量，利用ENS和PsychoGPT进行心理健康干预，结合SMMR提高评估准确性。

Comments PhD Dissertation, University of Missouri, May 2026

ConQuR: Corner Aligned Activation Quantization via Optimized Rotations for LLMs

ConQuR：通过优化旋转实现的角对齐激活量化用于大语言模型

Chayne Thrash, Ali Abbasi, Soheil Kolouri

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出一种轻量级后训练旋转校准方法，通过学习正交旋转将归一化激活对齐超立方体的角落，提高激活能量在维度上的分布均匀性，避免端到端训练和大规模激活存储。

PathISE: Learning Informative Path Supervision for Knowledge Graph Question Answering

PathISE: 通过信息路径监督学习知识图谱问答

Shengxiang Gao, Chao Lei, Jey Han Lau, Jianzhong Qi

机构 * The University of Melbourne（墨尔本大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI

AI总结 PathISE通过学习高质量的中间监督信号提升知识图谱问答性能，利用轻量级Transformer估计关系路径信息，生成可复用的监督信号以增强现有模型。

Where Does Long-Context Supervision Actually Go? Effective-Context Exposure Balancing

长上下文监督究竟在哪里？有效上下文暴露平衡

Jinchang Zhu, Jindong Li, Chengyu Zou, Rong Fu, Chao Wang, Haowei He, Menglin Yang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出EXACT方法，通过逆频率分配长有效上下文目标，提升长上下文适应性能，在多个任务中取得显著改进。

APEX: Audio Prototype EXplanations for Classification Tasks

APEX：用于分类任务的音频原型解释

Piotr Kawa, Kornel Howil, Piotr Borycki, Miłosz Adamczyk, Przemysław Spurek, Piotr Syga

机构 * Department of Artificial Intelligence, Wroclaw University of Science and Technology, Poland（华沙理工大学人工智能系） ； Resemble AI, USA（Resemble AI公司） ； IDEAS Research Institute, Poland（波兰IDEAS研究院） ； Faculty of Mathematics and Computer Science, Jagiellonian University, Poland（雅盖隆大学数学与计算机科学系） ； Doctoral School of Exact and Natural Sciences, Jagiellonian University, Poland（雅盖隆大学博士学院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.LG

AI总结 APEX提出一种无需微调的音频分类解释框架，通过四种视角分离解释，提供直观且符合音频特性的事例解释，优于传统梯度方法。

AR-VLA: True Autoregressive Action Expert for Vision-Language-Action Models

AR-VLA：面向视觉-语言-动作模型的真自回归动作专家

Yutong Hu, Jan-Nico Zaech, Nikolay Nikolov, Yuanqi Yao, Sombit Dey, Giuliano Albanese, Renaud Detry, Luc Van Gool, Danda Paudel

机构 * KU Leuven, Dept. Mechanical Engineering, Research unit Robotics, Automation and Mechatronics（库勒恩大学，机械工程系，机器人、自动化与机电一体化研究单位） ； KU Leuven, Dept. Electrical Engineering, Research unit Processing Speech and Images（库勒恩大学，电气工程系，语音和图像处理研究单位） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI

AI总结 AR-VLA提出了一种自回归动作专家，通过长时记忆保持上下文，解决快控与慢思的频率不匹配问题，实现高效预训练和模块化集成，提升动作生成的时空一致性。

Comments RSS 2026 accepted

Beyond Hard Writes and Rigid Preservation: Soft Recursive Least-Squares for Lifelong LLM Editing

超越硬写和刚性保存：用于终身LLM编辑的软递归最小二乘法

Xinyu Wang, Sicheng Lyu, Yu Gu, Jerry Huang, Peng Lu, Yufei Cui, Xiao-Wen Chang

机构 * McGill University（麦吉尔大学） ； Mila–Quebec AI Institute（蒙特利尔AI研究院） ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出RLSEdit，一种递归最小二乘编辑器，通过在线二次优化和软约束实现长期序列编辑，有效平衡编辑精度与稳定性，实验显示其在多个模型家族上稳定扩展至10000次编辑，优于现有基线。

ConFit v3: Improving Resume-Job Matching with LLM-based Re-Ranking

ConFit v3：通过基于LLM的重排序提升简历-岗位匹配

Xiao Yu, Ruize Xu, Chengyuan Xue, Junyu Chen, Matthew So, Shijun Ma, Bo Liu, Xiangye Liang, Zhou Yu

机构 * Columbia University（哥伦比亚大学） ； John Hopkins University（约翰霍普金斯大学） ； Intellipro Group Inc.（Intellipro集团） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出ConFit v3，通过改进重排序算法和数据处理方法，提升简历与岗位匹配的准确性，优于现有最佳系统和大型语言模型。

Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction

让每个token计数：通过KV缓存淘汰提升长上下文性能

Ngoc Bui, Hieu Trung Nguyen, Arman Cohan, Rex Ying

机构 * Department of Computer Science Yale University（耶鲁大学计算机科学系） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出一种基于全局保留的KV缓存淘汰方法，通过学习每个token的未来效用，减少缓存内存占用并提升长上下文推理性能。

Comments A learnable KV eviction method for large language models

Sparse Attention as a Range Searching Problem: Towards an Inference-Efficient Index for KV Cache

稀疏注意力作为范围搜索问题：迈向一种高效的KV缓存索引

Mohsen Dehghankar, Abolfazl Asudeh

机构 * Department of Computer Science（计算机科学系） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出Louver索引，通过将稀疏注意力重新表述为半空间范围搜索问题，解决KV缓存检索中的准确性和效率问题，实验表明其在精度和运行时间上优于现有方法。