大模型推理能力

Pair-In, Pair-Out: Latent Multi-Token Prediction for Efficient LLMs

Pair-In, Pair-Out: 面向高效LLM的潜在多令牌预测

Wenhui Tan, Minghao Li, Xiaoqian Ma, Siqi Fan, Xiusheng Huang, Liujie Zhang, Ruihua Song, Weihang Chen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学首都人工智能学院） ； AI Platform, Xiaohongshu Inc.（小红书人工智能平台） ； University of Electronic Science and Technology of China（电子科技大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 测试时计算 ：reasoning(abstract)；chain-of-thought(abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 提出Pair-In, Pair-Out (PIPO)方法，通过统一潜在压缩和多令牌预测，并训练轻量级置信度头消除验证器开销，在保持可靠性的同时实现推理加速。

Comments Project Page: GitHub.com/RedAI-Infra/PIPO

Empirical Characterization of Inference-Time Elicited Probability Transformations in Large Language Models

大型语言模型中推理时引发的概率变换的经验表征

Mike Farmer, Abhinav Kochar, Yugyung Lee

机构 * Bloch School of Management, Regnier Institute for Entrepreneurship & Innovation, University of Missouri–Kansas City（布洛赫管理学院、雷尼创业与创新研究所、密苏里大学堪萨斯城分校） ； Department of Computer Science, School of Science and Engineering, University of Missouri–Kansas City（计算机科学系、科学与工程学院、密苏里大学堪萨斯城分校） 纠错

专题命中 测试时计算 ：reasoning(abstract)；chain-of-thought(abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过经验观察发现，在多种推理时流程（如思维链、自我细化、检索增强和验证器引导修订）下，候选答案的概率变换遵循近似的对数比率关系，并分析了其系数变化和鲁棒性。

Comments 22 pages, 11 figures, 5 tables

Self-Reflective Generation at Test Time

测试时的自反生成

Jian Mu, Qixin Zhang, Zhiyong Wang, Menglin Yang, Shuang Qiu, Chengwei Qin, Zhongxiang Dai, Yao Shu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） ； University of Edinburgh（爱丁堡大学） ； City University of Hong Kong（香港城市大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 测试时计算 ：reasoning(abstract)；chain-of-thought(abstract)；self-correction(abstract)；分类 cs.CL

AI总结 提出SRGen框架，通过动态熵阈值识别高不确定性token并训练校正向量，在测试时进行自反生成以纠正概率分布，提升大模型推理的可靠性。

What Am I Missing? Question-Answering as Hidden State Probing

我遗漏了什么？将问答作为隐藏状态探测

Chu Fei Luo, Samuel Dahan, Xiaodan Zhu

机构 * Department of Electrical and Computer Engineering & Ingenuity Labs, Queen’s University（电子与计算机工程系及Ingenuity实验室，女王大学） ； Conflict Analytics Lab, Queen’s University（冲突分析实验室，女王大学） ； Cornell Law School（康奈尔法学院） ； Vector Institute for AI（人工智能向量研究所） 纠错

专题命中 测试时计算 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 提出将问答作为推理时干预手段，通过学生-教师框架探测隐藏状态，发现提问前的隐藏状态可预测最终正确性，并设计门控策略优化提问时机。

Not All Synthetic Data Is Yours to Learn From

并非所有合成数据都适合学习

Sina Alemohammad, Li Chen, Richard G. Baraniuk, Zhangyang Wang

机构 * ECE Department（电子工程系） ； Apple（苹果公司） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Rice University（里奇大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究无提示、无教师、无验证器、无奖励模型的自训练中，语言模型能否从自身生成的文本中学习，发现合成数据与学生之间的兼容性是关键，并揭示了能力与逐字记忆可分离的现象。

Retriever Portfolios: A Principled Approach to Adaptive RAG

检索器组合：一种自适应RAG的原则性方法

Miltiadis Stouras, Vincent Cohen-Addad, Silvio Lattanzi, Ola Svensson

机构 * EPFL（瑞士联邦理工学院） ； Google Research（谷歌研究院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.LG

AI总结 提出从大量候选检索器中自动选择小型多样子集（组合）的方法，通过期望最优k目标优化查询分布，实现自适应RAG，在多个QA基准上优于单检索器和朴素多检索器基线，并降低延迟和令牌成本。

Comments Accepted at ICML 2026. Code available at: https://github.com/mstou/retriever-portfolios

MuCRASP: Multimodal Chain-of-thought Reasoning aware Structured Pruning

MuCRASP: 多模态思维链推理感知的结构化剪枝

Aritra Dutta, Somak Aditya

机构 * Indian Institute of Technology, Kharagpur（印度理工学院，哈里科普尔） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对视觉语言模型在结构化剪枝后思维链推理准确性下降的问题，提出MuCRASP框架，通过识别推理关键令牌并保持跨模态对齐，在压缩下维持推理质量。

Comments Preprint ver. 2

ReGuLaR: Relation-Grounded Latent Reasoning for Large Vision-Language Models

ReGuLaR：面向大型视觉语言模型的基于关系的潜在推理

Zihu Wang, Karthik Somayaji N. S, Peng Li

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)

AI总结 提出ReGuLaR框架，通过训练时的ReGFormer将潜在推理显式地锚定在视觉证据中的对象和关系上，在多种基准上取得最优性能。

Reasoning-Intensive Regression

推理密集型回归

Diane Tchuindjo, Omar Khattab

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对推理密集型回归任务，提出MENTAT方法，结合批量反思提示优化与神经集成学习，在基准测试中相比基线提升高达65%。

Unlocking Fine-Grained Translation Quality Estimation in LRMs through Synergistically Evolving Implicit and Explicit Reasoning

解锁大型推理模型中细粒度翻译质量评估：通过协同演化隐式和显式推理

Renfei Dang, Xinye Wang, Zhejian Lai, Weilu Xu, Shimin Tao, Daimeng Wei, Min Zhang, Shujian Huang

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Huawei Translation Services Center, Beijing, China（北京华为翻译服务中心） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.CL

AI总结 针对大型推理模型在细粒度翻译质量评估上的困难，提出RIEQE两阶段训练框架，通过非思考监督微调（隐式推理）和思考强化学习（显式推理）协同演化，在WMT测试集上超越基线。

MedCoG: Maximizing LLM Inference Density in Medical Reasoning via Meta-Cognitive Regulation

MedCoG：通过元认知调节最大化医学推理中的LLM推理密度

Yu Zhao, Hao Guan, Yongcheng Jing, Ying Zhang, Dacheng Tao

机构 * College of Computer Science, VCIP, DISSec Center, Nankai University, China 300350（南开大学计算机学院、VCIP、DISSec中心、中国300350） ； Generative AI Lab, College of Computing and Data Science（生成式人工智能实验室、计算与数据科学学院） ； Nanyang Technological University, Singapore 639798（南洋理工大学，新加坡639798） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出MedCoG框架，利用元认知评估动态调节知识使用，以缓解推理扩展定律下的收益递减，提升推理效率与准确性。

Comments Accepted by ICML 2026

Reasoning-Aware Multimodal Fusion for Hateful Video Detection

面向仇恨视频检测的推理感知多模态融合

Shuonan Yang, Tailin Chen, Jiangbei Yue, Guangliang Cheng, Jianbo Jiao, Zeyu Fu

机构 * Multimodal Intelligence Lab（多模态智能实验室） ； Department of Computer Science（计算机科学系） ； University of Exeter（埃克塞特大学） ； School of Computer Science（计算机科学学院） ； University of Leeds（利兹大学） ； School of Computer Science and Informatics（计算机科学与信息学学院） ； University of Liverpool（利物浦大学） ； University of Birmingham（伯明翰大学） ； Machine Intelligence + x Group（机器智能+X小组） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出推理感知多模态融合框架，通过局部-全局上下文融合和语义交叉注意力实现多模态交互，并引入对抗推理生成互补语义视角，在仇恨视频检测中提升Macro-F1和召回率3%和7%。

Comments Accepted at Transactions on Machine Learning Research (TMLR)

Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies

自底向上策略优化：你的语言模型策略内部隐藏着内部策略

Yuqiao Tan, Minzheng Wang, Shizhu He, Huanxuan Liao, Chengfeng Zhao, Qiunan Lu, Tian Liang, Jun Zhao, Kang Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过分解Transformer残差流中的内部层策略和内部模块策略，提出自底向上策略优化（BuPO）方法，通过早期优化内部层来重建LLM的推理基础，在复杂推理基准上验证了有效性。

Comments Preprint. Our code is available at https://github.com/Trae1ounG/BuPO

Graph Machine Learning in the Era of Large Language Models (LLMs)

大语言模型时代的图机器学习

Shijie Wang, Jiani Huang, Zhikai Chen, Yu Song, Wenzhuo Tang, Haitao Mao, Wenqi Fan, Hui Liu, Xiaorui Liu, Dawei Yin, Qing Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Michigan State University（密歇根州立大学） ； North Carolina State University（北卡罗来纳州立大学） ； Baidu Inc（百度公司） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文综述了大语言模型如何增强图机器学习的泛化、迁移和少样本学习能力，以及图如何提升大语言模型的推理和可解释性。

Comments Accepted by TIST

Scaling Multi-Hop Training Data via Graph-Constrained Path Selection

通过图约束路径选择扩展多跳训练数据

Pengyu Chen, Yonggang Zhang, Mingming Chen, Jun Song, Wei Xue, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Hong Kong Generative AI Research and Development Center（香港生成式人工智能研究与发展中心） ； Hong Kong Baptist University（香港 Baptist 大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 针对专业文档的组成推理，提出基于图约束路径选择的方法，通过解耦路径发现与语言化，利用图约束过滤无效路径，显著扩展可用语料并提升模型性能。

Comments 21 pages, 5 figures

MoG: Mixture of Experts for Graph-based Retrieval-Augmented Generation

MoG：用于基于图的检索增强生成的混合专家模型

Zheng Yuan, Chuang Zhou, Linhao Luo, Siyu An, Di Yin, Xing Sun, Xiao Huang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Monash University（墨尔本大学） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.CL

AI总结 提出MoG框架，通过组织知识为中心枢纽图和稀疏激活的专家图，利用拓扑感知路由器动态选择相关专家图，以解决检索增强生成中统一知识库引入无关信息的问题，在MuSiQue上相对提升超过20%。

MAVEN: Improving Generalization in Agentic Tool Calling

MAVEN：提升智能体工具调用的泛化能力

Omkar Ghugarkar, Vishvesh Bhat, Muhammad Ahmed Mohsin, Asad Aali

机构 * CoreThink AI, USA（CoreThink AI, 美国） ； Stanford University, Stanford, CA, USA（斯坦福大学, 加州斯坦福, 美国） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.AI

AI总结 提出MAVEN框架，通过轻量级符号推理脚手架实现结构化分解、自适应工具编排和中间验证，在多个基准测试中显著提升模型性能，且成本仅为前沿专有模型的约1/10。

Differentiable Mixture-of-Agents Incentivizes Swarm Intelligence of Large Language Models

可微分的混合智能体激励大型语言模型的群体智能

Xingjian Wu, Junkai Lu, Siyu Yan, Xiangfei Qiu, Jilin Hu, Chenjuan Guo, Bin Yang

机构 * East China Normal University（华东师范大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.LG

AI总结 提出可微分的混合智能体（DMoA）框架，通过可微分的上下文感知路由机制动态激活智能体，实现推理过程中的弹性协作，并在9个基准上取得最优性能。

Fine-grained Verification via Diagnostic Reasoning Supervision for Aspect Sentiment Triplet Extraction

面向方面情感三元组抽取的诊断推理监督细粒度验证

Wenna Lai, Haoran Xie, Guandong Xu, Qing Li, S. Joe Qin

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Lingnan University（岭南大学） ； Education University of Hong Kong（香港教育大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 提出FiVeD框架，通过诊断推理监督进行细粒度验证，利用质量评分和错误分类等辅助任务提升ASTE三元组抽取的可靠性。

Comments 25 pages, 13 figures, and 6 tables

REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge

REAL: 面向LLM评判的回归感知强化学习

Yasi Zhang, Tianyu Chen, Mingyuan Zhou, Oscar Leong, Ying Nian Wu, Michal Lukasik

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； The University of Texas at Austin（得克萨斯大学奥斯汀分校） ； Google Research Now at Google DeepMind（谷歌研究 现在在谷歌深Mind） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 提出REAL框架，通过广义策略梯度将回归目标融入强化学习，优化LLM作为评分器的数值评估，在多个规模模型上超越SFT和标准RL方法。

Comments Accepted to ICML 2026. The first two authors contributed equally

nuReasoning: A Reasoning-Centric Dataset and Benchmark for Long-Tail Autonomous Driving

nuReasoning：面向长尾自动驾驶的推理中心数据集与基准

Zhiyu Huang, Johnson Liu, Rui Song, Zewei Zhou, Ruining Yang, Yun Zhang, Tianhui Cai, Hanyin Zhang, Mingxuan Gao, Valeria Xu, Jiali Chen, Yishan Shen, Yiluan Guo, Tony, Qi, Jiaqi Ma

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Motional 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)

AI总结 提出nuReasoning数据集，包含2万段20秒长尾驾驶场景的推理标注，支持空间、决策和反事实推理评估，并证明推理监督可提升VLM和VLA的驾驶性能。

MultiPriv: Benchmarking Individual-Level Privacy Reasoning in Vision-Language Models

MultiPriv: 视觉语言模型中个体级隐私推理的基准测试

Xiongtao Sun, Hui Li, Jiaming Zhang, Yujie Yang, Kaili Liu, Ruxin Feng, Wen Jun Tan, Wei Yang Bryan Lim

机构 * Xidian University（西安电子科技大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)

AI总结 针对视觉语言模型通过层次化链式推理关联多模态数据识别个体的隐私风险，提出首个系统评估个体级隐私推理的基准MultiPriv，包含隐私感知与推理框架、双语多模态数据集和九项挑战任务，对50多个开源和商业模型评估发现60%的模型能以高达80%的准确率进行个体级隐私推理。

FEM-Bench: A Structured Scientific Reasoning Benchmark for Evaluating Code-Generating LLMs

FEM-Bench：评估代码生成大语言模型的结构化科学推理基准

Saeed Mohammadzadeh, Erfan Hamdi, Joel Shor, Emma Lejeune

机构 * Boston University（波士顿大学） ； Move37 Labs（Move37实验室） ； Department of Mechanical Engineering（机械工程系） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出FEM-Bench基准，通过有限元方法相关编程任务评估大语言模型在科学计算中的结构化推理能力，实验表明现有模型尚不能稳定解决所有任务。

Comments 45 pages, 5 figures, 9 tables, 7 listings

FAM-Bench: A Multimodal Benchmark for Condition-Aware Food-as-Medicine Reasoning

FAM-Bench：面向条件感知的“食物即药物”推理的多模态基准

Mingyang Mao, Bhargav Rishi Medisetti, Utkarsh Grover, Tanvir Ibrahim, Wenyan Li, Tingting Zhang, Xiaomin Lin

机构 * Department of Electrical Engineering, University of South Florida（佛罗里达州立大学电气工程系） ； Muma College of Business, University of South Florida（佛罗里达州立大学Muma商学院） ； Computer Science, University of Copenhagen（哥本哈根大学计算机科学系） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出FAM-Bench多模态基准，包含2500个营养专家验证的实例，通过菜肴适宜性评估和比较分析两个任务，测试模型在特定健康状况下对食物选择的推理能力。

ERGeoBench:A Comprehensive Benchmark for Embodied Reasoning and Geo-localization in Multimodal Large Language Models

ERGeoBench：多模态大语言模型中具身推理与地理定位的综合基准

Kaiwen Xue, Tao Wei, Guoxin Zhang, Zhonghong Ou, Kaoyan Lu, Yu Feng, Yifan Zhu, Haoran Luo

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） ； School of Materials Science and Engineering（材料科学与工程学院） ； China Mobile Research Institute（中国移动研究院） ； College of Computing and Data Science（计算与数据科学学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出ERGeoBench基准，通过单视图、全景视图和具身视图三种渐进设置评估多模态大语言模型在视觉驱动的具身地理定位中的能力，发现当前模型在高层次地理语义推理上表现良好，但在细粒度感知、度量定位和视图间空间一致性上仍有不足。

GraphARC: A Comprehensive Benchmark for Graph-Based Abstract Reasoning

GraphARC：基于图的抽象推理综合基准

Saku Peltonen, August Bøgh Rønberg, Andreas Plesner, Roger Wattenhofer

机构 * ETH Z\"urich Z\"urich Switzerland ； ETH Z\"urich 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出GraphARC基准，将抽象推理扩展到图结构数据，通过少样本变换学习任务评估模型在局部、全局和层次图变换上的泛化能力，并揭示语言模型的理解-执行差距和规模扩展障碍。

Comments Accepted at KDD 2026 Datasets and Benchmarks Track

OmniMatBench: A Human-Calibrated Multimodal Reasoning Benchmark Across 19 Materials Science Subfields

OmniMatBench：跨19个材料科学子领域的人类校准多模态推理基准

Wanhao Liu, Jiaqing Xie, Qian Tan, Weida Wang, Jue Wang, Ran Sun, Zhuo Yang, Wanli Ouyang, Lei Bai, Tianfan Fu, Lu Chen, Xin Chen, Yuqiang Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Southeast University（东南大学） ； Nanjing University（南京大学） ； Suzhou Laboratory（苏州实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 针对现有基准忽视从材料知识到应用的推理过程，提出OmniMatBench，包含3171个专家策划的问答与计算问题，覆盖19个子领域，评估13个多模态大模型，最佳模型仅得0.372分，揭示当前模型在材料科学推理中的显著差距。

Comments 22 Pages

Distilling Counterfactual Reasoning from Language to Vision: Causal Graph Guided Post-Training for Video Understanding

从语言到视觉的反事实推理蒸馏：因果图引导的视频理解后训练

Yuefei Chen, Jiang Liu, Xiaodong Lin, Ruixiang Tang

机构 * Rutgers University（新泽西罗格斯大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 针对视觉语言模型在反事实推理上的不足，提出CounterVQA基准和CFGPT后训练方法，通过从语言模态蒸馏反事实推理能力提升视频理解。

Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution

用于预测市场决议的多智能体AI预言机系统的设计与评估

Tarun Kota

机构 * Yale University（耶鲁大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；self-correction(abstract)；分类 cs.AI

AI总结 本研究设计并评估了多智能体LLM架构作为预测市场决议的预言机，通过独立聚合与协商共识两种机制，在KalshiBench数据集上对比单模型基线，发现置信度加权投票的独立聚合达到83.43%准确率，而协商共识因错误传播性能下降，并提出了混合AI-人类预言机的路由标准。

Comments 34 pages, 11 figures

QASM-Eval: A Dataset to Train and Evaluate LLMs on OpenQASM-3 Beyond Quantum Circuits

QASM-Eval：用于训练和评估LLM在超越量子电路的OpenQASM-3上的数据集

Zhenxiao Fu, Lei Jiang, Fan Chen

机构 * Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.LG

AI总结 针对LLM在OpenQASM-3硬件级编程上的训练与评估空白，构建了包含专家验证测试集和训练集的数据集，覆盖经典逻辑、时序调度、脉冲控制等，并通过扩展验证器自动验证，实验表明微调后LLM性能显著提升。