大模型推理能力

Zipping the Thought: When and How Compressed Reasoning Data Works in LLM Post-Training

压缩思维：压缩推理数据在LLM后训练中何时以及如何发挥作用

Kohsei Matsutani, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

机构 * The University of Tokyo（东京大学） 纠错

专题命中 复杂问题求解 ：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过分类显式、组合和隐式思维链，在合成组合推理任务上实验，发现粗粒度CoT需要更多SFT数据，组合和隐式CoT从数据缩放中获益更多但隐式CoT易导致记忆，后续RLVR会分解压缩步骤，且单向CoT顺序在长序列任务上泛化更强。

Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts

自由文本提示的统一语音与声音合成

Yuyue Wang, Xihua Wang, Xin Cheng, Yijing Chen, Ruihua Song

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 复杂问题求解 ：CoT(abstract,abstract_cn)；reasoning(abstract)；chain-of-thought(abstract)；planning(abstract)

AI总结 提出PlanAudio框架，利用大语言模型推理能力和语义潜在思维链机制，直接从自由文本生成包含语音和声音的统一音频。

The Shape of Overthinking: Backtracking Bursts in Long Reasoning Traces

过度思考的形状：长推理轨迹中的回溯爆发

Navid Rezazadeh, Arash Gholami Davoodi

机构 * University of California, Irvine（加州大学尔湾分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；self-correction(abstract)；分类 cs.AI

AI总结 通过分析长推理轨迹中的回溯动态，发现早期孤立修复通常与正确推理兼容，而错误轨迹更常出现持续且聚集的晚期中度至重度回溯，并基于此提出爆发感知过滤策略以区分可恢复修复与潜在不稳定。

Escape the Language Prior: Mitigating Late-Stage Modality Collapse in Audio Reasoning via Modality-Aware Policy Optimization

逃离语言先验：通过模态感知策略优化缓解音频推理中的后期模态崩溃

Cihan Xiao, Yiwen Shao, Chenxing Li, Xiang He, Zhenwen Liang, Steve Yves, Sanjeev Khudanpur, Liefeng Bo

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Tencent Hunyuan（腾讯文言） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 针对多模态大语言模型在强化学习后训练中因统一策略梯度忽略模态依赖性而导致的后期模态崩溃问题，提出模态感知策略优化（MAPO）框架，通过模态相关性掩码和辅助注意力损失分支动态聚焦梯度并维持跨模态推理，在复杂音频推理基准上取得新最优结果。

Which Heads Matter for Reasoning? RL-Guided KV Cache Compression

哪些注意力头对推理重要？RL引导的KV缓存压缩

Wenjie Du, Li Jiang, Keda Tao, Xue Liu, Huan Wang

机构 * Westlake University（西华大学） ； McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克AI研究院） ； Zhejiang University（浙江大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德智能大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 提出RLKV方法，利用强化学习识别对推理质量关键的注意力头，并对其保留完整KV缓存而对其他头进行激进压缩，实现20-60%缓存减少且性能近乎无损。

Revisiting Anthropomorphic Reflection Markers in Large Language Model Reasoning

重新审视大语言模型推理中的拟人化反思标记

Yahan Yu, Noa Nakanishi, Fei Cheng

机构 * Kyoto University（京都大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过提示级和令牌级干预抑制拟人化反思标记，发现这些标记并非推理性能的必要条件，且抑制后模型仍能进行无标记验证，表明它们更多是表面线索而非可靠反思代理。

Comments 15 pages, 12 figures

ROSD: Reflective On-Policy Self-Distillation for Language Model Reasoning across Domains

ROSD: 面向跨领域语言模型推理的反思式同策略自蒸馏

Ziqi Zhao, Xinyu Ma, Liu Yang, Yujie Feng, Daiting Shi, Jingzhou He, Xin Xin, Zhaochun Ren, Xiao-Ming Wu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Baidu Inc.（百度公司） ； Shandong University（山东大学） ； Leiden University（莱顿大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出反思式同策略自蒸馏（ROSD）框架，通过反思引导的错误定位蒸馏将参考解模仿转为针对性推理修正，提升领域内推理和跨领域泛化能力。

Comments Preprint

Learning Deliberately, Acting Intuitively: Unlocking Test-Time Reasoning in Multimodal LLMs

有意学习，直觉行动：解锁多模态大语言模型的测试时推理能力

Yahan Yu, Yuyang Dong, Masafumi Oyamada

机构 * Kyoto University（京都大学） ； Initial S ； NEC Corporation, Japan（日本NEC公司） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出D2I框架，通过训练时使用基于规则的格式奖励进行有意推理以增强模态对齐，推理时移除显式策略转为直觉推理，从而提升多模态大语言模型的推理能力，无需额外标注或复杂奖励。

Comments 22 pages, 24 figures

Agent Explorative Policy Optimization for Multimodal Agentic Reasoning

Agent探索性策略优化用于多模态Agent推理

Minki Kang, Shizhe Diao, Ryo Hachiuma, Sung Ju Hwang, Pavlo Molchanov, Yu-Chiang Frank Wang, Byung-Kwan Lee

机构 * NVIDIA ； KAIST（韩国科学技术院） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL

AI总结 针对多模态Agent推理中思考与工具使用的不对称性（Thinking-Acting Gap），提出AXPO算法，通过固定思考前缀并重采样工具调用及其延续，结合基于不确定性的前缀选择，显著提升工具使用率和模型性能。

Comments Project page: https://byungkwanlee.github.io/AXPO-page/

Can Hallucinations Be Useful? Solving Multi-Hop Questions With SLMs By Chaining System-I/II Reasoning

幻觉能否有用？通过链式系统I/II推理用SLM解决多跳问题

Saptarshi Sengupta, Suhang Wang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL

AI总结 提出一种“先回答后推理”的认知启发框架，利用SLM的初始答案（可能包含幻觉）作为假设来检索证据，再通过系统II深度推理，从而在多跳问答任务上超越传统的“先思考后检索”方法。

Decoupling Skeleton and Flesh: Efficient Multimodal Table Reasoning with Disentangled Alignment and Structure-aware Guidance

解耦骨架与血肉：基于解缠对齐和结构感知引导的高效多模态表格推理

Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Xiaoqiang Zhou, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL

AI总结 提出DiSCo解缠结构-内容对齐框架和Table-GLS全局到局部结构引导推理框架，高效增强LVLM的表格理解与推理能力，无需昂贵监督或外部工具。

Comments Accepted as a Spotlight Paper at ICML 2026

Mags-RL: Wearing Multimodal LLMs a Magnifying Glass via Agentic Reinforcement Learning For Complex Scene Reasoning

Mags-RL: 通过智能体强化学习为多模态大语言模型戴上放大镜以进行复杂场景推理

Xuanzhao Dong, Wenhui Zhu, Peijie Qiu, Xiwen Chen, Xiaobing Yu, Xin Li, Zhipeng Wang, Shao Tang, Gen Li, Yujian Xiong, Hao Wang, Yanxi Chen, Prayag Tiwari, Yalin Wang

机构 * Arizona State University（亚利桑那州立大学） ； Clemson University（克莱姆森大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Halmstad University（哈姆斯塔德大学） ； Florida State University（佛罗里达州立大学） ； Rice University（里士满大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)

AI总结 提出Mags-RL框架，通过智能体强化学习让多模态大语言模型调用超分辨率代理进行高分辨率细粒度检查，实现两轮推理以提升复杂场景下的视觉推理能力。

Thinking as Compression: Your Reasoning Model is Secretly a Context Compressor

思维即压缩：你的推理模型其实是一个上下文压缩器

Guoxin Ma, Yibing Liu, Chengzhengxu Li, Yu Liang, Yan Wang, Yueyang Zhang, Kecheng Chen, Zhaohan Zhang, Zhiyuan Sun, Daiting Shi

机构 * Baidu Inc.（百度公司） ； Xi’an Jiaotong University（西安交通大学） ； City University of Hong Kong（香港城市大学） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 复杂问题求解 ：reasoning(title)；分类 cs.AI

AI总结 本文提出思维即压缩（TaC）范式，利用推理模型自身的思维痕迹作为压缩上下文，并通过奖励驱动优化（TaC-C）实现可控压缩，在长上下文QA任务上显著优于现有方法。

Comments Under Review

HGMEM: Hypergraph-based Working Memory to Improve Multi-step RAG for Long-Context Complex Relational Modeling

HGMem：基于超图的工作记忆以改进长上下文复杂关系建模的多步RAG

Chulun Zhou, Chunkang Zhang, Guoxin Yu, Fandong Meng, Jie Zhou, Wai Lam, Mo Yu

机构 * The Chinese University of Hong Kong.（香港中文大学） ； Pengcheng Laboratory.（鹏城实验室） ； WeChat AI, Tencent（微信AI，腾讯） ； University of Chinese Academy of Sciences.（中国科学院大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出HGMem超图工作记忆系统，通过超边表示记忆单元并渐进形成高阶交互，增强多步RAG中的全局理解和复杂推理能力。

Comments ICML 2026; Code released at https://github.com/Encyclomen/HGMem

SMILE-Next: Teaching Large Language Models to Detect, Classify, and Reason about Laughter

SMILE-Next: 教授大型语言模型检测、分类和推理笑声

Lee Jung-Mok, Kim Sung-Bin, Joohyun Chang, Lee Hyun, Tae-Hyun Oh

机构 * School of EE, KAIST（韩国科学技术院电子工程系） ； Dept. of EE, POSTECH（POSTECH电子工程系） ； School of Computing, KAIST（韩国科学技术院计算机科学系） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出SMILE-Next数据集和包含笑声特定Self-Instruct与混合笑声专家框架的方法，用于实现多模态笑声理解，显著优于基线模型。

Journal ref Annual Meetings of the Association for Computational Linguistics 2026

UserHarness: Harnessing User Minds for Stronger Agent Theory-of-Mind

UserHarness：利用用户心智增强智能体心理理论

Cheng Qian, Jiayu Liu, Heng Ji

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出UserHarness框架，通过显式重建用户心智状态（信念、意图等）进行心理理论推理，在五个基准上达到95.94%的宏准确率，相对提升超15%。

Comments 19 Pages, 4 Figures, 2 Tables

Detection Without Correction: A Two-Parameter Decomposition of Multi-Stage LLM Pipelines

无需修正的检测：多阶段LLM流水线的双参数分解

Prashanti Nilayam, Kiran Ramanna, Prashil Tumbade

机构 * Servicenow CA, USA（Servicenow加州美国） 纠错

专题命中 复杂问题求解 ：self-correction(abstract)；分类 cs.AI、cs.LG

AI总结 提出检测-条件生成双参数分解框架，揭示多阶段LLM流水线中条件误修正率主导（53-94%）而检测率变化超一个数量级，统一解释准确性平台、逆转等四种现象。

Compositional Consistency-Guided Decoding for Three-Way Logical Question Answering

面向三值逻辑问答的成分一致性引导解码

Tianyi Huang, Ming Hou, Jiaheng Su, Yutong Zhang, Ziling Zhang

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型在三值逻辑问答中的否定不一致和认知未知问题，提出一种轻量级测试时解码层CGD-PD，通过神经三值分类、符号否定一致性投影和定向二值蕴含探测，在FOLIO数据集上提升准确率4.4-6.8点并减少未知预测。

Comments Accepted at the ICML 2026 Workshop on Compositional Learning: Safety, Interpretability, and Agents

Understanding Generalization and Forgetting in In-Context Continual Learning

理解上下文持续学习中的泛化与遗忘

Guangyu Li, Meng Ding, Lijie Hu

机构 * Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； University of Buffalo（布法罗大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.LG

AI总结 提出首个上下文持续学习理论框架，分析预训练Transformer在单提示中处理多序列任务时的泛化与遗忘行为，揭示注意力机制导致的干扰和偏差。

Comments accepted by ICML 2026

Mechanistically Interpreting the Role of Sample Difficulty in RLVR for LLMs

机制性解释样本难度在RLVR中对大语言模型的作用

Yue Cheng, Jiajun Zhang, Xiaohui Gao, Weiwei Xing, Zheng Wang, Zhanxing Zhu

机构 * Beijing Jiaotong University（北京交通大学） ； AntGroup（蚂蚁集团） ； Northwestern Polytechnical University（西北工业大学） ； University of Leeds（利兹大学） ； University of Southampton（南安普顿大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.AI

AI总结 本文通过难度维度和单样本分析，发现样本难度对RLVR有非单调影响，中等难度问题提供最稳定的推理改进，并基于此提出难度自适应策略。

Comments 30 pages, 11 figures

Verifiable Benchmarking of Long-Horizon Spatial Biology

长程空间生物学的可验证基准测试

Ian Diks, Harihara Muralidharan, Tim Proctor, Kenny Workman

机构 * LatchBio 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.AI

AI总结 提出 SpatialBench-Long 基准，通过 24 个评估任务测试 AI 代理从原始空间数据中推导科学结论的能力，发现当前最佳模型仅达到 11.1% 的成功率。

Knowledge Dependency Estimation for Reliable Question Answering

面向可靠问答的知识依赖估计

Chaodong Tong, Qi Zhang, Nannan Sun, Lei Jiang, Yanbing Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； China Industrial Control Systems Cyber Emergency Response Team（中国工业控制系统网络应急响应团队） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.CL

AI总结 提出Knot方法，通过子集级反事实监督和潜在依赖因子覆盖建模，估计黑盒问答模型对不同知识单元的敏感性，以识别关键知识依赖。

Comments 12 tables, 9 figures

Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination

VLMs 是在看还是只是在说？揭示视觉重新检查的幻觉

Chufan Shi, Cheng Yang, Yaokang Wu, Linghao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

机构 * University of Southern California（南加州大学） ； University of California San Diego（加州大学圣地亚哥分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.CL

AI总结 通过图像交换探测框架 VisualSwap 和 800 对图像基准 VS-Bench，发现视觉语言模型在推理时声称的“重新检查图像”多为文本模式，而非真正的视觉重新检查，且思考模型更易受影响，用户指令可恢复视觉基础但自我反思无效。

Comments ICML 2026 Oral

VULPO: Context-Aware Vulnerability Detection via On-Policy LLM Optimization

VULPO：基于策略优化的上下文感知漏洞检测

Youpeng Li, Fuxun Yu, Weiliang Qi, Xinda Wang

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Microsoft（微软） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.AI

AI总结 提出VULPO框架，通过构建包含上下文信息和推理轨迹的数据集ContextVul，结合冷启动监督微调和自适应策略优化，显著提升大语言模型在真实仓库中的漏洞检测能力。

Text-Only Data Synthesis for Vision Language Model Training

仅文本数据合成用于视觉语言模型训练

Xiaomin Yu, Wenjie Zhang, Ziyue Qiao, Chengwei Qin, Hui Xiong

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Great Bay University（大湾大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.AI

AI总结 提出一个跨集成的三阶段多模态数据合成框架，仅从文本生成高质量多模态训练数据，用于视觉语言模型的预训练和指令微调。