大模型推理能力

CaC: Advancing Video Reward Models via Hierarchical Spatiotemporal Concentrating

CaC：通过分层时空聚焦推进视频奖励模型

Jiyuan Wang, Huan Ouyang, Jiuzhou Lin, Chunyu Lin, Dewen Fan, Boheng Zhang, Haonan Fan, Fei Zuo, Jia Sun, Huaiqing Wang, Honglie Wang, Yiyang Fan, Zhenlong Yuan, Zijun Li, Yongrui Heng, Guosheng Lin, Fan Yang, Tingting Gao

机构 * BJTU（北京工业大学） ； NTU（国立台湾大学） ； BUPT（北京邮电大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 提出基于视觉语言模型的粗到细异常奖励模型CaC，通过全局时间扫描、局部空间定位和结构化时空思维链推理，结合大规模生成视频异常数据集和三阶段渐进训练，显著提升细粒度异常检测精度并减少生成视频异常。

Comments 27 pages, 10 figures

CyberJurors: A Multi-Agent Simulation Task for E-Commerce Disputes Verdict

CyberJurors：电商纠纷裁决的多智能体模拟任务

Yanhui Sun, Wu Liu, Haifeng Ming, Xinru Wang, Hantao Yao, Yongdong Zhang

机构 * School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 针对电商纠纷裁决需要从冗余多轮多模态证据中提取关键线索并依据平台特定惯例决策的问题，提出多智能体框架CyberJurors，通过个体裁决链式思维和集体陪审共识裁决提升裁决质量，在包含6000真实案例的基准上超越现有方法。

Comments ICML 2026

Argument Quality Assessment with Large Language Models: A Pairwise Bradley-Terry Approach

基于大语言模型的论证质量评估：一种成对Bradley-Terry方法

Nicolás Benjamín Ocampo, Agnes Paullate Nyiranziza, Davide Ceolin

机构 * Centrum Wiskunde & Informatica, The Netherlands（荷兰代尔夫特理工大学） ； Vrije Universiteit Amsterdam, The Netherlands（荷兰阿姆斯特丹自由大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本研究利用12种开源大语言模型，通过成对比较和Bradley-Terry模型评估论证质量，发现Llama-70B与人类专家判断具有中等一致性（Cohen's κ=0.493），其他模型表现各异但互补。

Qiskit QuantumKatas: Adapting Microsoft's Quantum Computing exercises for LLM evaluation

Qiskit QuantumKatas: 为LLM评估改编微软的量子计算练习

Juan Cruz-Benito, Ismael Faro

机构 * IBM Research（IBM研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文将微软的QuantumKatas量子计算课程从Q#移植到Qiskit，并构建评估框架，用于系统评估大型语言模型在量子计算任务上的能力。

Drive-P2D: A Progressive Perception-to-Decision Benchmark for VLMs in Autonomous Driving

Drive-P2D：自动驾驶中视觉语言模型的渐进式感知到决策基准

Zecong Tang, Zixu Wang, Yifei Wang, Weitong Lian, Tianjian Gao, Haoran Li, Tengju Ru, Lingyi Meng, Zhejun Cui, Yichen Zhu, Qi Kang, Kaixuan Wang, Yu Zhang

机构 * Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.AI

AI总结 提出Drive-P2D基准，通过分离推理与答案的协议，在目标、场景和决策三个层级上评估视觉语言模型的感知到决策能力，并分析错误模式。

Seeing vs. Believing: Evaluating the Language Bias of Open-Source MLLMs in Counter-Intuitive Scenes

看见 vs. 相信：评估开源多模态大模型在反直觉场景中的语言偏见

Chen Ling, Tongwei Zhang, Hanqian Li, Nai Ding

机构 * Zhejiang University（浙江大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 为评估多模态大模型处理反直觉动作场景的能力，提出CAIT基准（400个高保真合成场景），发现开源模型因语言先验而忽视视觉证据，性能接近随机水平，而链式思维推理虽提升准确率但导致过度思考拒绝视觉内容，通过微调和结构化提示可缓解此偏见。

Faithfulness Metrics Don't Measure Faithfulness: A Meta-Evaluation with Ground Truth

忠实性指标并不衡量忠实性：基于真实标签的元评估

Yoav Gur-Arieh, Ana Marasović, Mor Geva

机构 * Tel Aviv University（特拉维夫大学） ； University of Utah（犹他大学） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；分类 cs.CL

AI总结 针对思维链忠实性度量缺乏真实标签验证的问题，构建了包含真实忠实性标签的数据集BonaFide，系统评估现有指标，发现多数指标表现接近随机、存在偏差且计算成本高。

SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?

SaaS-Bench：计算机使用代理能否利用真实世界SaaS解决专业工作流程？

Kean Shi, Zihang Li, Tianyi Ma, Zengji Tu, Jialong Wu, Xinbo Xu, Qingyao Yang, Ruoyu Wu, Weichu Xie, Ming Wu, Jason Zeng, Michael Heinrich, Elvis Zhang, Liang Chen, Kuan Li, Baobao Chang

机构 * UniPat AI ； PKU（北京大学） ； HKU（香港大学） ； G Labs（0G实验室） ； Pipeline Lab（Pipeline实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 提出SaaS-Bench基准，包含23个可部署SaaS系统和106个真实工作场景任务，评估计算机使用代理在长期规划、跨应用协调等能力上的表现，发现最强模型端到端任务完成率不足4%。

Comments 24 pages, 11 figures

When the Manual Lies: A Realistic Benchmark to Evaluate MCP Poisoning Attacks for LLM Agents

当手册撒谎：评估LLM智能体MCP投毒攻击的现实基准

Shi Liu, Xuehai Tang, Xikang Yang, Liang Lin, Biyu Zhou, Wenjie Xiao, Wantao Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院） 纠错

专题命中 推理评测 ：planning(abstract)；self-correction(abstract)；分类 cs.AI

AI总结 针对LLM智能体通过模型上下文协议（MCP）集成外部工具时面临的工具描述投毒（TDP）攻击，提出MCP-TDP安全基准，包含32个真实测试用例，评估8种主流LLM发现严重漏洞，并提出反应性自我纠正防御机制。

EvalVerse: Pipeline-Aware and Expert-Calibrated Benchmarking for Professional Cinematic Video Generation

EvalVerse：面向专业电影级视频生成的流水线感知与专家校准基准测试

Songlin Yang, Haobin Zhong, Ruilin Zhang, Xiaotong Zhao, Shuai Li, Kai Zheng, Xuyi Yang, Zhe Wang, Zhenchen Tang, Yang Li, Bohai Gu, Zhengwei Peng, Yidan Huang, Mengzhou Luo, Yihang Bo, Dalu Feng, Yujia Zhang, Juntao Ma, Ruiqi Wang, Lvmin Zhang, Yuwei Guo, Frank Guan, Maneesh Agrawala, Hongbo Fu, Alan Zhao, Anyi Rao

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Tencent（腾讯） ； Tsinghua University（清华大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing Film Academy（北京电影学院） ； Stanford University（斯坦福大学） ； The Chinese University of Hong Kong（香港中文大学） ； Singapore Institute of Technology（新加坡理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 提出EvalVerse框架，通过将电影制作专业知识系统化为评估分类法、构建专家标注数据集并微调视觉语言模型进行链式推理，解决了现有基准忽视电影质量、缺乏领域特异性指标的问题，实现了对生成视频“正确性”与“优良性”的全面评估。

MDM-Prime-v2: Binary Encoding and Index Shuffling Enable Scaling of Diffusion Language Models

MDM-Prime-v2：二进制编码和索引洗牌使扩散语言模型能够扩展

Chen-Hao Chao, Wei-Fang Sun, Junwei Quan, Chun-Yi Lee, Rahul G. Krishnan

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； NVIDIA AI Technology Center（NVIDIA AI技术中心） ； National Taiwan University（国立台湾大学） 纠错

专题命中 推理评测 ：reasoning(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出MDM-Prime-v2，通过二进制编码和索引洗牌技术改进扩散语言模型，解决了子分词器功能形式与BPE分词器结合导致的交叉熵损失增加以及子分词器粒度超参数选择缺乏工具的问题，从而提升了模型在常识推理基准上的零样本准确率。

ChromaFlow: A Negative Ablation Study of Orchestration Overhead in Tool-Augmented Agent Evaluation

ChromaFlow: 一种关于在工具增强代理评估中编排开销的负消融研究

Tarun Mittal

机构 * Octave-X 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 该研究通过ChromaFlow框架分析了在工具增强自主推理中编排开销的影响，发现更激进的编排并未提升整体性能，反而增加了操作噪声，并强调了编排升级、确定性提取、证据协调、提供者健康门控和显式运行门控等作为可靠自主代理评估的第一要求。

Comments 12 pages, 6 tables, 1 figure. Updated with follow-up strict-provider full-Level-1 diagnostic

Not All Tokens Are Worth Caching: Learning Semantic-Aware Eviction for LLM Prefix Caches

并非所有标记都值得缓存：学习语义感知的淘汰策略用于LLM前缀缓存

Shaoke Fang, Ziang Li, Wenfei Wu, Jiatong Ji, Qingsong Liu, Ruizhi Pu

机构 * Peking University（北京大学） ； FirestAI ； Tsinghua University（清华大学） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Southeast University（东南大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.LG

AI总结 本文提出了一种语义感知的前缀缓存淘汰策略SAECache，通过多队列架构、语义感知的标记加权机制和全适应的在线学习方案，提高了LLM服务中前缀缓存的效率，从而在不同工作负载下实现了显著的TTFT提升。

When Robots Do the Chores: A Benchmark and Agent for Long-Horizon Household Task Execution

当机器人做家务：一个基准和代理用于长期家庭任务执行

Zilin Zhu, Longteng Guo, Yanghong Mei, Bowen Pang, Zongxun Zhang, Xingjian He, Ruyi Ji, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Zhongguancun Academy（中关村学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出LongAct基准和HoloMind代理，用于评估长期家庭任务执行中的高层自主能力，实验显示HoloMind在减少模型规模依赖的同时提升了长期性能，但目标完成率仍较低，凸显了长期规划的挑战。

Evaluating Chinese Ambiguity Understanding in Large Language Models

评估大型语言模型中的中文歧义理解

Junwen Mo, Yuanzhi Lu, Yifang Xue, Ke Xu, Hideki Nakayama

机构 * Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院） ； School of Software Engineering, South China University of Technology（华南理工大学软件学院） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；分类 cs.CL

AI总结 本文设计了首个基于潜在歧义理论的中文歧义数据集CHA-Gen，评估了LLM在歧义检测中的表现，揭示了模型在歧义识别中的常见失败模式及语义不确定性量化结果。

Zero-Shot Goal Recognition with Large Language Models

基于大语言模型的零样本目标识别

Kin Max Piamolini Gusmão, Nathan Gavenski, Nir Oren, Felipe Meneguzzi

机构 * PUCRS Porto Alegre（圣路易斯-波尔图阿legre大学） ； King’s College London（伦敦国王学院） ； University of Aberdeen（阿伯丁大学） ； PUCRS（圣路易斯-波尔图阿legre大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文首次系统评估前沿大语言模型在经典PDDL基准上的零样本目标识别能力，发现其表现不均，部分模型随证据增加而提升精度，而另一些模型则依赖世界知识先验。

Comments 9 pages, 1 figure, 1 table; appendix with 8 figures and 2 code listings (29 pages total); submitted to NeurIPS 2026

SkillSmith: Compiling Agent Skills into Boundary-Guided Runtime Interfaces

SkillSmith：将技能编译为边界引导的运行时接口

Duling Xu, Zheng Chen, Zaifeng Pan, Jiawei Guan, Dong Dong, Jialin Li, Bangzheng Pu

机构 * AetherHeart Tech Co., Ltd.（AetherHeart科技有限公司） ； Renmin University of China（中国人民大学） ； University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 SkillSmith通过将技能包编译为最小执行接口，减少运行时冗余，提升效率与准确性。

GRP: Goal-Reversed Prompting for Zero-Shot Evaluation with LLMs

GRP：基于大语言模型的零样本评估中的目标反转提示

Mingyang Song, Mao Zheng, Xuan Luo

机构 * Tencent（腾讯） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本文提出GRP方法，通过要求模型选择更差的答案来反转传统评估目标，从而提升判断准确性，实验表明其在多个基准测试中表现优异。

Comments Ongoing Work

Is Your Prompt Poisoning Code? Defect Induction Rates and Security Mitigation Strategies

你的提示污染代码了吗？缺陷诱导率与安全缓解策略

Bin Wang, YiLu Zhong, MiDi Wan, WenJie Yu, YuanBing Ouyang, Yenan Huang, Hui Li

机构 * Organization（机构） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；self-correction(abstract)；分类 cs.AI

AI总结 研究探讨了低质量提示对生成代码安全性的负面影响，提出评估框架和基准数据集，并展示高级提示技术可缓解安全风险。

Comments Accepted for publication in Empirical Software Engineering (EMSE) Journal

From 0-Order Selection to 2-Order Judgment: Combinatorial Hardening Exposes Compositional Failures in Frontier LLMs

从零阶选择到二阶判断：组合硬化揭示前沿大语言模型的组成性失败

Hanmeng Liu, Shichao Weng, Xiulai Liu, Zhicai Zhang, Anli Yan, Xiaozhang Liu

机构 * Hainan University（海南大学） ； Fudan University（复旦大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL

AI总结 本文提出LogiHard框架，通过确定性转换零阶选择为二阶逻辑判断，显著增加推理难度，验证了大语言模型在组合硬化任务中的表现下降，揭示了训练诱导的完整性验证缺陷。

Convergence and Emergence of In-Context Reinforcement Learning with Chain of Thought

基于思维链的上下文强化学习的收敛与涌现

Zixuan Xie, Xinyu Liu, Rohan Chandra, Shangtong Zhang

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.LG

AI总结 本文探讨了思维链如何增强上下文强化学习的能力，通过线性Transformer分析证明思维链生成等同于时间差分学习更新，并展示策略评估误差随思维链长度减少而收敛。

Echo: KV-Cache-Free Associative Recall with Spectral Koopman Operators

Echo：无KV缓存的关联回忆与谱Koopman算子

Anupama Sridhar, Alexander Johansen

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.LG

AI总结 Echo通过谱Koopman算子实现无KV缓存的关联回忆，解决了传统Transformer的内存瓶颈问题，在多个基准测试中展现出卓越的检索性能。

SpatialBench: Benchmarking Multimodal Large Language Models for Spatial Cognition

SpatialBench: 多模态大语言模型空间认知的基准测试

Peiran Xu, Sudong Wang, Yao Zhu, Jianing Li, Gege Qi, Yunjian Zhang

机构 * Sun Yat-Sen University（中山大学） ； HKUST (GZ)（香港科技大学） ； Zhejiang University（浙江大学） ； Peking University（北京大学） ； CAICT（中国科学院电子技术研究所） ； UCAS（中国科学技术大学） ； CUC（中国科学技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出SpatialBench基准，通过五级空间认知框架评估多模态大语言模型的空间能力，揭示模型在感知与符号推理间的性能差异。

DiagramNet: An End-to-End Recognition Framework and Dataset for Non-Standard System-Level Diagrams

DiagramNet: 一种面向非标准系统级图表的端到端识别框架和数据集

Jincheng Lou, Ruohan Xu, Jiapeng Li, Junyin Pi, Runzhe Tao, Weijian Fan, Xiao Tan, Guojie Luo, Yibo Lin

机构 * School of IC, Peking University, Beijing, China（北京大学信息科学技术学院） ； College of Artificial Intelligence, Xi'an Jiaotong University, Xi'an, China（西安交通大学人工智能学院） ； Department of Precision Instruments, Tsinghua University, Beijing, China（清华大学精密仪器系） ； School of Software and Microelectronics, Peking University, Beijing, China（北京大学软件与微电子学院） ； School of Computer Science, Peking University, Beijing, China（北京大学计算机科学系） ； Institute of EDA, Peking University, Beijing, China（北京大学EDA研究院） ； Beijing Advanced Innovation Center for IC, Beijing, China（北京集成电路先进创新中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文提出DiagramNet数据集和训练框架，通过端到端方法在系统级图表识别中超越现有模型，提升多模态大语言模型的图表理解能力。

Comments 13 pages, 7 figures. Preprint

Social Bias in LLM-Generated Code: Benchmark and Mitigation

LLM生成代码中的社会偏见：基准测试与缓解

Fazle Rabbi, Lin Ling, Song Wang, Jinqiu Yang

机构 * Concordia University（康科德大学） ； Lassonde School of Engineering, York University（York大学工程学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文研究LLM生成代码中的社会偏见问题，通过SocialBias-Bench基准测试发现四种主流模型存在严重偏见，提出Fairness Monitor Agent (FMA)有效降低偏见并提升代码正确性。

SynQuE: Estimating Synthetic Dataset Quality Without Annotations

SynQuE：无需标注即可估计合成数据集质量

Arthur Chen, Victor Zhong

机构 * David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.LG

AI总结 本文提出SynQuE问题，通过有限未标注真实数据对合成数据集进行排序，以提升实际任务性能。引入首个综合基准，提出LENS等代理指标，显著提升复杂任务性能。

Comments Our code and dataset are available here: https://github.com/r2llab/SynQuE

Intent2Tx: Benchmarking LLMs for Translating Natural Language Intents into Ethereum Transactions

Intent2Tx：评估大语言模型将自然语言意图转换为以太坊交易的基准测试

Zhuoran Pan, Yue Li, Zhi Guan, Jianbin Hu, Zhong Chen

机构 * Taiyuan University of Technology（太原科技大学） ； Peking University（北京大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出Intent2Tx基准测试，基于真实以太坊链上数据，评估大语言模型将自然语言意图转换为功能正确、状态依赖的链上交易的能力，发现现有模型在多步规划和泛化能力上存在不足。

A Systematic Comparison of Prompting and Multi-Agent Methods for LLM-based Stance Detection

基于大语言模型的立场检测中提示与多智能体方法的系统比较

Genan Dai, Zini Chen, Yi Yang, Bowen Zhang

机构 * School of Artificial Intelligence, Shenzhen Technology University（人工智能学院，深圳技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；CoT(abstract)；分类 cs.CL

AI总结 本文系统比较了提示和多智能体方法在大语言模型立场检测中的表现，评估了五种方法在四个数据集14个子任务上的性能，发现提示方法在多数模型上表现更优，且模型规模对性能影响大于方法选择。

Agentic Witnessing: Pragmatic and Scalable TEE-Enabled Privacy-Preserving Auditing

代理见证：基于可信执行环境的隐私保护审计

Antony Rowstron

机构 * Advanced Research and Invention Agency (ARIA)（先进研究与发明机构） 纠错

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI

AI总结 本文提出Agentic Witnessing框架，通过可信执行环境实现隐私保护审计，利用代理进行逻辑验证，避免数据泄露，验证代码库是否符合论文描述。

Graph2Counsel: Clinically Grounded Synthetic Counseling Dialogue Generation from Client Psychological Graphs

Graph2Counsel: 从客户端心理图谱生成临床导向的合成咨询对话

Aishik Mandal, Hiba Arnaout, Clarissa W. Ong, Juliet Bockhorst, Kate Sheehan, Rachael Moldow, Tanmoy Chakraborty, Iryna Gurevych

机构 * UKP Lab, Department of Computer Science and Hessian Center for AI (hessian.AI), Technische Universität Darmstadt（德国达姆施塔特技术大学UKP实验室、计算机科学系和海森人工智能中心（hessian.AI）） ； Zuse School ELIZA（Zuse学院ELIZA） ； National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE） ； Indian Institute of Technology Delhi（印度德里理工学院） ； Yardi School of Artificial Intelligence（Yardi人工智能学院） ； University of Louisville（路易斯维尔大学） ； University of Toledo（托莱多大学） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出Graph2Counsel框架，通过客户端心理图谱生成合成咨询对话，提升数据真实性与质量，实验表明其在特定性、咨询师能力等方面优于现有数据集。

Comments 49 pages, 46 figures, 11 tables