大模型推理能力

Attention Amnesia in Hybrid LLMs: When CoT Fine-Tuning Breaks Long-Range Recall, and How to Fix It

混合LLM中的注意力遗忘：当CoT微调破坏长程记忆时，如何修复

Xinyu Zhou, Boyu Zhu, Yi Xu, Zhiwei Li, Yingfa Chen, Huiming Wang, Zhijiang Guo

机构 * LARK, HKUST(GZ)（香港科技大学（广州）LARK实验室） ； UCL（伦敦大学学院） ； Mistral AI ； Tsinghua University（清华大学） ； SUTD（新加坡科技设计大学） ； HKUST（香港科技大学） 纠错

专题命中 其他推理 ：CoT(title,title_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 发现CoT监督微调会系统性降低混合线性注意力模型的长上下文召回能力，提出QK-Restore方法通过恢复微调前的查询-键投影矩阵来修复，无需额外训练。

Comments 28 pages

Dropout-GRPO: Variational Stochasticity for Continuous Latent Reasoning

Dropout-GRPO: 用于连续潜在推理的变分随机性

Wooil Jung

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 针对GRPO在连续潜在推理模型中因确定性轨迹导致优势为零的问题，提出通过结构化Dropout引入随机性，使GRPO能优化贝叶斯模型平均策略，在GSM8K上提升Coconut基线准确率。

Towards Deep Contextual Reasoning from Broad Descriptions for ASR with Speech-LLM via Metadata-Driven Reasoning Chains

面向语音-大语言模型的基于元数据驱动推理链的宽描述深度上下文推理

Jakob Poncelet, Hugo Van hamme

专题命中 其他推理 ：reasoning(title,abstract)；chain-of-thought(abstract)

AI总结 提出一种训练方法，使语音-LLM利用宽描述作为弱语义先验，通过链式推理进行上下文修正，降低罕见词和命名实体错误率。

Comments Accepted at Interspeech 2026

Using Probabilistic Programs to Train Inductive Reasoning in Large Language Models

使用概率程序训练大型语言模型的归纳推理

Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

机构 * Princeton University（普林斯顿大学） ； Princeton AI Lab（普林斯顿人工智能实验室） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出基于程序的后验训练（PPT）方法，利用LLM生成概率程序场景，通过推理产生分布目标，微调模型以提升归纳推理准确性、与人类判断的一致性及校准能力。

Comments 20 pages, 5 figures

How Does Reasoning Flow? Tracing Attention-Induced Information Flow for Targeted RL in LLMs

推理流如何流动？追踪注意力诱导的信息流以实现LLM中的目标RL

Zhichen Dong, Yang Li, Yuhan Sun, Weixun Wang, Yijia Luo, Zinian Peng, Taiheng Ye, Chao Yang, Wenbo Su, Yu Cheng, Bo Zheng, Junchi Yan

机构 * Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出FlowTracer框架，通过注意力诱导的有向无环图追踪答案导向的推理流，基于全局信息流结构分配token级信用，从而提升LLM在推理任务中的强化学习效果。

Comments 25 pages, 7 figures, 11 tables. Accepted at ICML 2026

Predicting Future Behaviors in Reasoning Models Enables Better Steering

推理模型中预测未来行为以实现更好的引导

Evgenii Kortukov, Piotr Komorowski, Florian Klein, Paula Engl, Gabriele Sarti, Seong Joon Oh, Sebastian Lapuschkin, Wojciech Samek

机构 * Fraunhofer HHI（弗劳恩霍夫海因里希·赫兹研究所） ； Northeastern University（东北大学） ； KAIST（韩国科学技术院） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 通过训练激活探针预测推理模型未来行为，提出未来探针控制生成（FPCG）方法，在多个评估中实现几乎无质量下降的引导。

Atomic Intent Reasoning: Bringing LLM Semantics to Industrial Cross-Domain Recommendations

原子意图推理：将LLM语义引入工业跨域推荐

Zhuohang Jiang, Yuxin Chen, Shijie Wang, Haohao Qu, Zhou Jindong, Wenqi Fan, Li Qing, Dongxu Liang, Jun Wang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出AIR框架，通过离线LLM推理与在线高效检索组合，实现工业级跨域推荐，在快手电商中GMV提升3.446%。

Journal ref Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2 (KDD '26), August 09--13, 2026, Jeju Island, Republic of Korea

Reasoning over Semantic IDs Enhances Generative Recommendation

基于语义ID的推理增强生成式推荐

Yingzhi He, Yan Sun, Junfei Tan, Yuxin Chen, Xiaoyu Kong, Chunxu Shen, Xiang Wang, An Zhang, Tat-Seng Chua

机构 * National University of Singapore（国立新加坡大学） ； University of Science and Technology of China（中国科学技术大学） ； Tencent Inc.（腾讯公司） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出SIDReasoner两阶段框架，通过增强语义ID与语言的对齐和结果驱动的强化优化，实现无需大量推理标注的有效推理，提升生成式推荐的准确性、可解释性和跨领域泛化能力。

Comments Accepted by KDD 2026

CoTAL: Human-in-the-Loop Prompt Engineering for Generalizable Formative Assessment Scoring and Feedback

CoTAL：面向可泛化形成性评估评分与反馈的人机协同提示工程

Clayton Cohn, Ashwin T S, Naveeduddin Mohammed, Gautam Biswas

机构 * Vanderbilt University（范德比大学） 纠错

专题命中 其他推理 ：CoT(abstract,abstract_cn)；chain-of-thought(abstract)；分类 cs.CL

AI总结 提出CoTAL方法，结合证据中心设计、人机协同提示工程和思维链提示，迭代优化LLM评分，在多个领域提升GPT-4评分性能达38.9%，并获师生认可。

Comments Submitted to Computers and Education: Artificial Intelligence. Currently under review

When Distance Distracts: Representation Distance Bias in BT-Loss for Reward Models

当距离干扰：BT损失中表示距离偏差对奖励模型的影响

Tong Xie, Andrew Bai, Yuanhao Ban, Yunqi Hong, Haoyu Li, Cho-Jui Hsieh

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 分析BT损失中表示距离导致的梯度偏差，提出NormBT自适应归一化方案，提升奖励模型在细粒度区分上的性能。

Comments ICML 2026

The Role of Feedback Alignment in Self-Distillation

反馈对齐在自蒸馏中的作用

Semih Kara, Oğuzhan Ersoy

机构 * Gensyn 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过自蒸馏提升语言模型性能时，反馈与模型推理的结构对齐是关键因素，步级对齐批评比二元奖励或参考解更有效。

Comments Accepted to the ICML 2026 Workshop on RL from World Feedback (RLxF)

CodeAlchemy: Synthetic Code Rewriting at Scale

CodeAlchemy：大规模合成代码重写

Ankit Gupta, Aditya Prasad, Rameswar Panda

机构 * MIT-IBM Watson AI Lab, IBM Research（MIT-IBM沃森人工智能实验室，IBM研究院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 提出CodeAlchemy框架，通过5种策略生成超过500B token的合成代码数据，引入DevEval和TraceEval基准，3B模型在多项任务上超越10倍大小的前沿模型。

The Shibboleth Effect: Auditing the Cross-Lingual Distributional Skew of Large Language Models

示播列效应：审计大型语言模型的跨语言分布偏斜

Hakan Mehmetcik

机构 * Kellogg Institute for International Studies, University of Notre Dame（凯洛格国际研究学院，圣约翰大学） ； Marmara University（马尔马拉大学） 纠错

专题命中 其他推理 ：chain-of-thought(abstract)；分类 cs.CL

AI总结 本研究通过多智能体地缘政治兵棋推演，发现前沿LLM在跨语言条件下存在行为偏斜，且该效应依赖于模型架构与训练机制，而非西方起源模型的普遍属性。

Comments 25 pages, 2 figures, 6 tables, Research Article

MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents

MemVenom：网络代理中多模态记忆的触发式投毒

Yv Zhang, Hao Sun, Hao Fang, Kuofeng Gao, Fan Mo, Bin Chen, Shu-Tao Xia, Yaowei Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Tianjin University（天津大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生学院，清华大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.LG

AI总结 提出MemVenom框架，针对网络代理的外部记忆系统，通过触发条件检索和攻击诱导，实现黑盒多模态记忆投毒，达到高成功率且不影响良性性能。

Comments Preprint. 27 pages, 6 figures, 6 tables