大模型推理能力

PPTBench: Towards Holistic Evaluation of Large Language Models for PowerPoint Layout and Design Understanding

PPTBench: 向大语言模型在PowerPoint布局和设计理解的全面评估迈进

Zheng Huang, Xukai Liu, Tianyu Hu, Kai Zhang, Ye Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 PPTBench通过全面评估大语言模型在PowerPoint布局和设计理解上的能力，揭示了当前模型在视觉布局推理和生成中的不足。

PARROT: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs

PARROT：输出真实性的说服与同意鲁棒性评级——面向大语言模型的共情鲁棒性基准

Yusuf Çelebi, Özay Ezerceli, Mahmoud El Hussieni

专题命中 推理评测 ：self-correction(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 PARROT提出了一种评估大语言模型在权威压力下鲁棒性的基准，发现先进模型表现稳健，而旧模型易出现知识崩溃，强调需将抗过度拟合压力作为安全部署的关键目标。

PathMamba: A Hybrid Mamba-Transformer for Topologically Coherent Road Segmentation in Satellite Imagery

PathMamba: 一种混合Mamba-Transformer模型用于卫星图像中拓扑一致的道路分割

Jules Decaestecker, Nicolas Vigne

机构 * Thales CortAIx Labs（泰勒斯 CortAIx 实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 PathMamba通过结合Mamba和Transformer的优势，实现了卫星图像中高精度且拓扑连续的道路分割，同时保持计算效率。

Comments 11 pages, 5 figures

Bootstrapping Physics-Grounded Video Generation through VLM-Guided Iterative Self-Refinement

通过VLM引导的迭代自优化提升物理导向的视频生成

Yang Liu, Xilin Zhao, Peisong Wen, Siran Dai, Qingming Huang

机构 * School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） ； School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)

AI总结 本文提出一种通过VLM引导的迭代自优化方法，提升视频生成的物理一致性，实验显示在PhyIQ基准上得分提升明显。

Comments ICCV 2025 Physics-IQ Challenge Third Place Solution

ReCode: Updating Code API Knowledge with Reinforcement Learning

ReCode: 通过强化学习更新代码API知识

Haoze Wu, Yunzhi Yao, Wenhao Yu, Ningyu Zhang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ReCode通过强化学习方法提升LLMs在动态API环境下的代码生成能力，尤其在CodeUpdateArena任务中表现优异。

Comments AAAI 2026

CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

CaKE：电路感知编辑实现通用知识学习

Yunzhi Yao, Jizhan Fang, Jia-Chen Gu, Ningyu Zhang, Shumin Deng, Huajun Chen, Nanyun Peng

机构 * Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； University of California, Los Angeles（美国加州大学洛杉矶分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 CaKE通过电路感知编辑提升LLMs对更新知识的多跳推理能力，实现20%的准确率提升并降低内存消耗

Comments EMNLP 2025

AgentArmor: Enforcing Program Analysis on Agent Runtime Trace to Defend Against Prompt Injection

Peiran Wang, Yang Liu, Yunfei Lu, Yifeng Cai, Hongbo Chen, Qingyou Yang, Jie Zhang, Jue Hong, Ye Wu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Can Machines Think Like Humans? A Behavioral Evaluation of LLM Agents in Dictator Games

Ji Ma

机构 * Gradel Institute of Charity, New College, University of Oxford（格拉德学院，牛津大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

DiagnoLLM: A Hybrid Bayesian Neural Language Framework for Interpretable Disease Diagnosis

Bowen Xu, Xinyue Zeng, Jiazhen Hu, Tuo Wang, Adithya Kulkarni

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

DeceptionBench: A Comprehensive Benchmark for AI Deception Behaviors in Real-world Scenarios

Yao Huang, Yitong Sun, Yichi Zhang, Ruochen Zhang, Yinpeng Dong, Xingxing Wei

机构 * Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Shanghai Qi Zhi Institute（上海启智研究所） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 28 pages, 17 figures, accepted by NeruIPS 2025

VIR-Bench: Evaluating Geospatial and Temporal Understanding of MLLMs via Travel Video Itinerary Reconstruction

Hao Wang, Eiki Murata, Lingfang Zhang, Ayako Sato, So Fukuda, Ziqi Yin, Wentao Hu, Keisuke Nakao, Yusuke Nakamura, Sebastian Zwirner, Yi-Chia Chen, Hiroyuki Otomo, Hiroki Ouchi, Daisuke Kawahara

机构 * Waseda University（早稻田大学） ； CyberAgent, Inc.（CyberAgent公司） ； AI Shift, Inc.（AI Shift公司） ； Nara Institute of Science and Technology（奈良研究所） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments AAAI 2026

Q-Doc: Benchmarking Document Image Quality Assessment Capabilities in Multi-modal Large Language Models

Jiaxi Huang, Dongxu Wu, Hanwei Zhu, Lingyu Zhu, Jun Xing, Xu Wang, Baoliang Chen

机构 * South China Normal University（华南师范大学） ； Nanyang Technological University（南洋理工大学） ； City University of Hong Kong（香港城市大学） ； Shenzhen Academy of Inspection and Quarantine（深圳检验检疫局） ； Shenzhen University（深圳大学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)

SPEAR-MM: Selective Parameter Evaluation and Restoration via Model Merging for Efficient Financial LLM Adaptation

Berkcan Kapusuzoglu, Supriyo Chakraborty, Renkun Ni, Stephen Rawls, Sambit Sahu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

ResearchRubrics: A Benchmark of Prompts and Rubrics For Evaluating Deep Research Agents

Manasi Sharma, Chen Bo Calvin Zhang, Chaithanya Bandi, Clinton Wang, Ankit Aich, Huy Nghiem, Tahseen Rabbani, Ye Htet, Brian Jang, Sumana Basu, Aishwarya Balwani, Denis Peskoff, Marcos Ayestaran, Sean M. Hendryx, Brad Kenstler, Bing Liu

机构 * Scale AI ； University of Maryland（马里兰大学） ； University of Chicago（芝加哥大学） ； Washington University, St. Louis（圣路易斯华盛顿大学） ； McGill University（麦吉尔大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 27 pages, 21 figures, pre-print

On the generalization of language models from in-context learning and finetuning: a controlled study

Andrew K. Lampinen, Arslan Chaudhry, Stephanie C. Y. Chan, Cody Wild, Diane Wan, Alex Ku, Jörg Bornschein, Razvan Pascanu, Murray Shanahan, James L. McClelland

机构 * Google DeepMind（谷歌DeepMind） ； Google DeepMind & Stanford University（谷歌DeepMind与斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments FoRLM workshop, NeurIPS 2025

DrKGC: Dynamic Subgraph Retrieval-Augmented LLMs for Knowledge Graph Completion across General and Biomedical Domains

Yongkang Xiao, Sinian Zhang, Yi Dai, Huixue Zhou, Jue Hou, Jie Ding, Rui Zhang

机构 * University of Minnesota（明尼苏达大学） ； University of Michigan（密歇根大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at EMNLP 2025 Findings

LLM-Driven Completeness and Consistency Evaluation for Cultural Heritage Data Augmentation in Cross-Modal Retrieval

Jian Zhang, Junyi Guo, Junyi Yuan, Huanda Lu, Yanlin Zhou, Fangyu Wu, Qiufeng Wang, Dongming Lu

机构 * Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） ； NingboTech University（宁波科技学院） ； Dunhuang Academy（敦煌研究院） ； Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AIRepr: An Analyst-Inspector Framework for Evaluating Reproducibility of LLMs in Data Science

Qiuhai Zeng, Claire Jin, Xinyue Wang, Yuhan Zheng, Qunhua Li

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Carnegie Mellon University（卡内基梅隆大学） ； International Monetary Fund（国际货币基金组织） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to 2025 EMNLP findings

Diagnosing and Addressing Pitfalls in KG-RAG Datasets: Toward More Reliable Benchmarking

Liangliang Zhang, Zhuorui Jiang, Hongliang Chi, Haoyang Chen, Mohammed Elkoumy, Fali Wang, Qiong Wu, Zhengyi Zhou, Shirui Pan, Suhang Wang, Yao Ma

机构 * Rensselaer Polytechnic Institute（罗切斯特理工学院） ； University of Toronto（多伦多大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； AT&T Chief Data Office（AT&T首席数据办公室） ； Griffith University（格里菲斯大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at NeurIPS 2025 Datasets and Benchmarks Track

Rethinking Facial Expression Recognition in the Era of Multimodal Large Language Models: Benchmark, Datasets, and Beyond

Fan Zhang, Haoxuan Li, Shengju Qian, Xin Wang, Zheng Lian, Hao Wu, Zhihong Zhu, Yuan Gao, Qiankun Li, Yefeng Zheng, Zhouchen Lin, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） ； Tencent（腾讯） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； Westlake University（西湖大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；CoT(abstract)

Remote Labor Index: Measuring AI Automation of Remote Work

Mantas Mazeika, Alice Gatti, Cristina Menghini, Udari Madhushani Sehwag, Shivam Singhal, Yury Orlovskiy, Steven Basart, Manasi Sharma, Denis Peskoff, Elaine Lau, Jaehyuk Lim, Lachlan Carroll, Alice Blair, Vinaya Sivakumar, Sumana Basu, Brad Kenstler, Yuntao Ma, Julian Michael, Xiaoke Li, Oliver Ingebretsen, Aditya Mehta, Jean Mottola, John Teichmann, Kevin Yu, Zaina Shaik, Adam Khoja, Richard Ren, Jason Hausenloy, Long Phan, Ye Htet, Ankit Aich, Tahseen Rabbani, Vivswan Shah, Andriy Novykov, Felix Binder, Kirill Chugunov, Luis Ramirez, Matias Geralnik, Hernán Mesura, Dean Lee, Ed-Yeremai Hernandez Cardona, Annette Diamond, Summer Yue, Alexandr Wang, Bing Liu, Ernesto Hernandez, Dan Hendrycks

机构 * Center for AI Safety（人工智能安全中心） ； Scale AI 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Website: https://www.remotelabor.ai

To Rely or Not to Rely? Evaluating Interventions for Appropriate Reliance on Large Language Models

Jessica Y. Bo, Sophia Wan, Ashton Anderson

专题命中 推理评测 ：reasoning(abstract)；logical reasoning(abstract)

Journal ref Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems

Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation

Cheng Charles Ma, Kevin Hyekang Joo, Alexandria K. Vail, Sunreeta Bhattacharya, Álvaro Fernández García, Kailana Baker-Matsuoka, Sheryl Mathew, Lori L. Holt, Fernando De la Torre

机构 * Computer Science Department, Carnegie Mellon University（卡内基梅隆大学计算机科学系） ； Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） ； Neuroscience Institute, Carnegie Mellon University（卡内基梅隆大学神经科学研究所） ； Department of Psychology, The University of Texas at Austin（德克萨斯大学奥斯汀分校心理学系） ； Center for Perceptual Systems, The University of Texas at Austin（德克萨斯大学奥斯汀分校感知系统中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 22 pages, first three authors equal contribution

RoboCerebra: A Large-scale Benchmark for Long-horizon Robotic Manipulation Evaluation

Songhao Han, Boxiang Qiu, Yue Liao, Siyuan Huang, Chen Gao, Shuicheng Yan, Si Liu

机构 * Beihang University（北航大学） ； National University of Singapore（新加坡国立大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

Comments 25 pages, 18 figures, Accepted by NeurIPS 2025

Video-Thinker: Sparking "Thinking with Videos" via Reinforcement Learning

Shijian Wang, Jiarui Jin, Xingjian Wang, Linxin Song, Runhao Fu, Hecheng Wang, Zongyuan Ge, Yuan Lu, Xuelian Cheng

机构 * Southeast University（东南大学） ； Monash University（墨尔本大学） ； Xiaohongshu Inc.（小红书公司） ； University of Southern California（南加州大学） ； Fudan University（复旦大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

MedXplain-VQA: Multi-Component Explainable Medical Visual Question Answering

Hai-Dang Nguyen, Minh-Anh Dang, Minh-Tan Le, Minh-Tuan Le

机构 * Faculty Of Information Technology VNU University of Engineering（信息科技学院越南工程大学） ； IT-BT Convergence Technology Division Vietnam-Korea Institute of Science（IT-BT融合技术部门越南-韩国科学技术院） ； TADI Global Lab TADI Global Company Limited（TADI全球实验室TADI全球有限公司） ； Faculty of Finance Banking Academy of Vietnam（金融学院越南银行学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

Comments 10 pages, 4 figures, IEEE conference format

Leveraging Group Relative Policy Optimization to Advance Large Language Models in Traditional Chinese Medicine

Jiacheng Xie, Shuai Zeng, Yang Yu, Xiaoting Tang, Guanghui An, Dong Xu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Towards Mixed-Modal Retrieval for Universal Retrieval-Augmented Generation

Chenghao Zhang, Guanting Dong, Xinyu Yang, Zhicheng Dou

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments This work is in progress

Do LLMs Recognize Your Latent Preferences? A Benchmark for Latent Information Discovery in Personalized Interaction

Ioannis Tsaknakis, Bingqing Song, Shuyu Gan, Dongyeop Kang, Alfredo Garcia, Gaowen Liu, Charles Fleming, Mingyi Hong

机构 * University of Minnesota（明尼苏达大学） ； Texas A&M University（德克萨斯农工大学） ； CISCO Research（思科研究） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI、cs.LG

Peering Inside the Black Box: Uncovering LLM Errors in Optimization Modelling through Component-Level Evaluation

Dania Refai, Moataz Ahmed

机构 * Computer Science Department, KFUPM, Dhahran 31261, Saudi Arabia ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence, King Fahd University of Petroleum \& Minerals, Dhahran, 31261, Saudi Arabia 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG