大模型推理能力

Risky Business: Measuring The Faithfulness-Safety Tension

危险的业务：测量忠实度与安全性之间的张力

Dominik Meier, Luca Joshua Francis, Marco Bernhard Kaiser, Terry Ruas, Jan Philip Wahle, Bela Gipp

专题命中 推理评测 ：reasoning(abstract,abstract_cn)；chain-of-thought(abstract,abstract_cn)；CoT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究针对大型推理模型中忠实度与安全性的张力，构建HazMart数据集，提出TRR技术，发现QwQ-32B的反相关内部方向，并通过表征引导提升安全行为9个百分点。

Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models

开放评估智能体：视觉生成模型的高效且可提示的评估

Shulin Tian, Ziqi Huang, Fan Zhang, Hongyuan Zhu, Yu Qiao, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； Agency for Science, Technology and Research (A*STAR)（科学、技术与研究局（A*STAR）） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 推理评测 ：CoT(summary_cn,abstract)；reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 该研究提出Evaluation Agent框架及基于其构建的Open-EA，可高效评估视觉生成模型，将评估时间减至传统方法的10%，还通过EA-CoT-10K和EA-3B减少对专有骨干的依赖，验证了其在多基准及跨家族的有效性。

Comments Journal extension of our ACL 2025 paper (arXiv:2412.09645). 12 pages. Code: https://github.com/Vchitect/Evaluation-Agent

Beyond Accuracy: Measuring Bias Acknowledgment in Chain-of-Thought Reasoning for Responsible AI Evaluation

超越准确率：在负责任AI评估中衡量思维链推理中的偏见承认

Xian Sun, Wei Gao, Yingshuo Wang, Lingdong Kong, Yanhang Li, Zhichao Fan, Zexin Zhuang, Wenlong Dong, Zhiyuan Zheng, Hrishikesh Paranjape, Abhishek Mandal, Johnny R. Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(title)；分类 cs.LG

AI总结 针对仅用准确率评估忽略推理链中偏见承认的问题，提出包含易感性（susceptibility）和承认（acknowledgment）两个维度的诊断方法，实验发现不同模型在准确率相近时承认率差异显著。

Comments ICML 2026 Workshop on Trustworthy AI for Good

ODRA: Synthesizing Cognitive Behavioral Therapy Sessions with Structured Chain-Of-Thought and Dynamic Patient Resistance

ODRA：结合结构化思维链与动态患者阻抗的认知行为治疗会话合成

Javier Rodriguez-Juan, Hiba Arnaout, Jose Garcia-Rodriguez, David Tomás, Iryna Gurevych

机构 * University of Alicante（阿利坎特大学） ； Technische Universität Darmstadt（达姆施塔特工业大学） ； Hessian Center for AI (hessian.AI)（黑森人工智能中心） 纠错

专题命中 推理评测 ：chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本研究提出ODRA框架，结合结构化思维链与动态患者阻抗建模合成CBT会话，解决现有方法的顺从性问题，其生成的会话及微调数据集可提升下游治疗性能。

Comments 39 pages, 23 figures, 12 tables

Knowledge before Reasoning: EC-Reason-Bench, a Training-Free Diagnostic Benchmark for LLM Enzyme Classification

推理前的知识：EC-Reason-Bench，一种用于大语言模型酶分类的无训练诊断基准

Linyu Li, Zhi Jin, Yichi Zhang, Dongming Jin, Yuanpeng He, Huanyao Zhang, Xuan Zhang, Gadeng Luosang, Nyima Tashi

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 该研究针对通用LLM酶分类中EC编号二至四级准确率近乎为零的问题，提出无训练诊断基准EC-Reason-Bench，分解四个维度评估，发现外部知识优先于推理等关键结论。

Adapting Reinforcement Learning with Chain-of-Thought Supervision for Explainable Detection of Hateful and Propagandistic Memes

利用思维链监督的强化学习进行仇恨和宣传模因的可解释检测

Mohamed Bayan Kmainasi, Mucahid Kutlu, Ali Ezzat Shahroor, Abul Hasnat, Firoj Alam

机构 * Hamad Bin Khalifa University（哈马德·本·哈利法大学） ； Qatar University（卡塔尔大学） 纠错

专题命中 推理评测 ：chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出基于强化学习的后训练方法，结合任务特定奖励和组相对策略优化（GRPO），提升思考型多模态大语言模型在仇恨和宣传模因检测中的分类性能和解释质量。

Comparative Validation of GPT-4o-mini and Teacher Mean Scores for Automated Scoring of Music Analysis Responses: Single-Pass Deployment, Repeatability, and Strategy-Specific Bias

GPT-4o-mini与教师平均评分在音乐分析回答自动评分中的比较验证：单次部署、可重复性及策略特异性偏差

Baicheng Lin, Lingxi Jin, Kyung-Seok Min

机构 * Sejong University（世宗大学） ； Ewha Womans University（梨花女子大学） 纠错

专题命中 推理评测 ：CoT(summary_cn,abstract)；reasoning(abstract)；chain-of-thought(abstract)

AI总结 本研究以教师平均评分为基准，评估GPT-4o-mini对音乐分析回答的自动评分能力，发现Fs+CoT策略与教师评分一致性最强，不同策略评分特征不同，实际应用需针对性校准与人工监督。

Comments Proceedings of the International Meeting of the Psychometric Society: The 91st Annual Meeting, Seoul, Republic of Korea, 2026

CMU-Drive and V2V-VLA: Cooperative Multi-agent Unified Driving with Reasoning Benchmark and Vehicle-to-Vehicle Vision-Language-Action Models

CMU-Drive与V2V-VLA：具备推理能力的协同多智能体统一驾驶基准及车对车视觉-语言-动作模型

Hsu-kuang Chiu, Stephen F. Smith

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出协同多智能体统一驾驶基准CMU-Drive及车对车视觉-语言-动作模型V2V-VLA，解决现有VLA模型缺乏协同能力的问题，构建了协同自动驾驶研究的首个基准并将相关资源开源。

On the Generalization of Steering Vectors for Chain-of-Thought Faithfulness

论用于思维链忠实性的引导向量的泛化性

Matthew Nguyen, Kyle Cox, Austin Meek, Iván Arcuschin

机构 * University of Virginia（弗吉尼亚大学） ； University of Delaware（特拉华大学） ； Poseidon Research（波塞冬研究院） 纠错

专题命中 推理评测 ：chain-of-thought(title)；CoT(abstract,abstract_cn)；reasoning(abstract)；分类 cs.AI

AI总结 该研究针对三个模型探究提升思维链忠实性的引导向量的泛化性，发现其效果主要由评估设置决定，且仅对最大型模型有效，引导可减少未被确认的提示使用。

Nigeria Machinery: A Low-Resource Industrial Dataset with a Domain-Grounded Reasoning Layer

尼日利亚机械：一个具有领域基础推理层的低资源工业数据集

Gospel Bassey, Vincent Fakiyesi

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

AI总结 针对非洲经济体工业机械数据缺乏问题，发布尼日利亚机械数据集及构建思维链推理示例的方法，解决语言模型构建数据集时领域不明确问题，提升领域基础提示比例，虽有局限性，但为相关研究提供参考。

Comments 10pages, 2 tables

Chains That See, Answers That Don't: A Multi-Aspect Evaluation Recipe for Forced Chain-of-Thought on Video-MME

看得见的链，答不出的答案：针对视频MME上强制思维链的多方面评估方案

Zhichao Fan, Yanhang Li, Zexin Zhuang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Northeastern University（东北大学） ； Southern Methodist University（南卫理公会大学） 纠错

专题命中 推理评测 ：chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.LG

AI总结 提出三探针评估方案检验强制思维链在视频问答中的可靠性，应用于Qwen2.5-VL发现思维链强依赖视频但未提升准确率，甚至在小模型上导致下降。

Comments 10 pages, 5 figures. To appear at The 2nd Workshop on Evaluation for Multimodal Generation @ SIGIR 2026 (EvalMG '26)

A Multi-Agent Audit Framework for High-Stakes Reasoning: Evaluation and Interpretability in Clinical Mental Health Screening

面向高风险推理的多智能体审计框架：临床心理健康筛查中的评估与可解释性

Jingchen Ye, Yanpei Yu, Luyao Zhang

机构 * Duke Kunshan University（昆山杜克大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

AI总结 提出多智能体审计框架，通过感知、知识检索、思维链推理和审计验证的多步协作，在临床心理健康筛查中降低PHQ-8抑郁预测误差，提升可解释性。

From Storage to Access: Verifiable Activation of Parametric Knowledge in LLMs via Explicit Priming and Implicit Reasoning

从存储到访问：通过显式预激活与隐式推理实现大语言模型中参数化知识的可验证激活

Zuocheng Ying, Yang Yang, Yumou Wu, Chuanbo Zhu, Jiarui Wang, Ziqi Wu, Jingming Cai, Junqing Yu, Zikai Song

机构 * ByteDance（字节跳动） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出VAKE框架，通过两阶段强化学习将LLM的显式知识提取能力迁移至隐式推理，可激活参数化知识，在多基准上优于基线且具备跨数据集迁移性。

From Detection to Understanding: TAR and TAR-Bench for Multi-Task Traffic Anomaly Reasoning

从检测到理解：用于多任务交通异常推理的TAR与TAR-Bench

Han Zhang, Yilin Zhao, Zaid Pervaiz Bhat, Zheng Tang, Varun Praveen, Vidya N. Murali, David C. Anastasiu, Tomasz Kornuta

机构 * NVIDIA（英伟达） ； Santa Clara University（圣克拉拉大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)

AI总结 该研究提出TAR与TAR-Bench数据集，用于训练评估超越异常检测的视频-语言模型，经实验验证其多任务微调可提升模型推理能力，且为2026年AI城市挑战赛第3赛道提供官方数据。

ThinkOmni: A Reasoning-Driven Omni-Modal LLM Framework for Audio Forgery Detection and Localization

ThinkOmni：用于音频伪造检测与定位的推理驱动全模态大语言模型框架

Yuxiong Xu, Kaiqing Lin, Bin Li, Haodong Li, Sheng Li

机构 * Shenzhen University（深圳大学） ； Afirstsoft Technology Group Co., Ltd.（安福软件科技集团有限公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract,abstract_cn)

AI总结 针对现有AFDL方法泛化能力不足的问题，提出推理驱动的全模态大语言模型ThinkOmni，构建FACoT数据集，引入FMIL与FCML，实现了跨数据集的音频伪造检测与定位。

Comments Accepted by ACM MM 2026, 21 pages, 12 figures

Beyond the Eye: Efficient Multimodal Reasoning via Self-Regulated Implicit Visual Tools

超越视觉：通过自我调节的隐式视觉工具实现高效多模态推理

Xiuwei Chen, Quanlin Chen, Wentao Hu, Zisheng Chen, Kun Xiang, Zehua Ma, Mingyang Zhang, Jianhua Han, Hanhui Li, Hang Xu, Xiaodan Liang

机构 * Sun Yat-sen University（中山大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Yinwang Intelligent Technology Co., Ltd.（银望智能科技有限公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)

AI总结 研究针对多模态大语言模型推理效率问题，提出超越视觉（BEE）的隐式视觉工具范式，通过将视觉工具调用行为纳入训练目标，经两阶段训练，包括形式化思维链监督微调与自我调节奖励驱动对齐，提升了模型在细粒度视觉感知任务中的性能和推理效率。

Can a Lightweight Multimodal Model Estimate LLM Reasoning Performance? A Study for Compute-Optimal Document Inference

轻量级多模态模型能否评估LLM的推理性能？一项面向计算最优文档推理的研究

Zishan Ahmad, Vishal Vaddina

机构 * Phi Labs（菲实验室） ； Quantiphi（宽梯斐科技） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出轻量级多模态模型DRB，基于新基准BudgetDoc实现文档任务中LLM推理预算的动态分配，在降低成本的同时多数情况下达到或优于固定最大预算的性能，具备跨模型泛化潜力。

BEAR-Bench: A Bilingual Enterprise and Academic Reasoning Benchmark for Multimodal Models

BEAR-Bench：面向多模态模型的双语企业与学术推理基准

Liubov Chubarova, Alexandra Kuleshova, Daniil Volkov, Kirill Sultanov, Alexey Zaytsev

机构 * Yandex Applied AI Institute（Yandex应用人工智能研究院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文针对多模态大语言模型在文本密集专业文档推理能力评估的不足，推出英俄双语的BEAR-Bench基准，评估16个多模态大语言模型并对比幻觉检测方法，发现最强模型仍有明显性能提升空间。

CRAFT: LLM-Based Iterative Refinement for Temporal Reasoning over Clinical Narratives

CRAFT：基于大语言模型的迭代优化用于临床叙事的时间推理

Chengyang He, Tahreem Arif, Marko Zivkovic, Lijing Wang, Yue Ning, Ping Wang

机构 * Stevens Institute of Technology（史蒂文斯理工学院） ； Genesis Research Group（创世纪研究集团） ； New Jersey Institute of Technology（新泽西理工学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 针对临床叙事中时间锚点稀疏导致的症状轨迹重建难题，提出基于大语言模型的CRAFT框架，通过生成器与约束验证器迭代优化，在MedTempo基准上提升了时间排序准确率。

V-FiLLM: Verified Financial LLM Reasoning Benchmark

V-FiLLM：经过验证的金融大语言模型推理基准

Alicia Larsen, Victoire Laurent, Aulia Kharis Rakhamsari, Lara Turgut, Nino Antulov-Fantulin

机构 * ETH Zürich（苏黎世联邦理工学院） ； Aisot Technologies Ltd（艾索特科技有限公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出V-FiLLM框架生成高可靠性金融推理基准，发现开源模型在金融推理深度增加及数值扰动下准确率显著下降，轻量级LoRA微调可提升模型在相关任务的表现。

Comments 10 pages, 6 tables, 2 figures, under review

Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility

推理大语言模型中的测试时缩放：推理机制、评估与可复现性

Mohsen Hariri, Weicong Chen, Nahal Shahini, Vikash Singh, Kai Ye, Amirhossein Samandar, Debargha Ganguly, Sreehari Sankar, Yanyan Zhang, Shouren Wang, Jerry Peng, Biyao Zhang, Michael Hinczewski, Vipin Chaudhary

专题命中 推理评测 ：reasoning(title,abstract)；verifier(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对推理大语言模型的测试时缩放，明确三种推理机制，提出系统评估原则与可复现性要求，应用于多类基准并发布超20亿条推理轨迹。

IsoSci: A Benchmark of Isomorphic Cross-Domain Science Problems for Evaluating Reasoning versus Knowledge Retrieval in LLMs

IsoSci: 用于评估LLM中推理与知识检索的同构跨域科学问题基准

Samir Abdaljalil, Erchin Serpedin, Hasan Kurban

机构 * Texas A&M University（德克萨斯农工大学） ； Hamad Bin Khalifa University（哈马德·本·哈利法大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 提出IsoSci基准，通过逻辑结构相同但领域知识不同的科学问题对，分离推理能力与领域知识检索，发现91.3%的推理增益依赖于知识而非结构，挑战了思维链推理提升科学问题解决的假设。

Active-GRPO: Adaptive Imitation and Self-Improving Reasoning for Molecular Optimization

Active-GRPO：用于分子优化的自适应模仿与自我改进推理

Xuefeng Liu, Mingxuan Cao, Qinan Huang, Thomas Brettin, Rick Stevens, Le Cong

机构 * School of Medicine, Stanford University（斯坦福大学医学院） ； Data Science Institute, University of Chicago（芝加哥大学数据科学研究所） ； Pritzker School of Molecular Engineering, University of Chicago（芝加哥大学普利兹克分子工程学院） ； Department of Computer Science, University of Chicago（芝加哥大学计算机科学系） ； Argonne National Laboratory（阿贡国家实验室） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出Active-GRPO方法，通过主动模仿-强化和主动参考机制，在分子优化中自适应平衡模仿与自我改进，显著提升性能。

ReasoningLens: Hierarchical Visualization and Diagnostic Auditing for Large Reasoning Models

ReasoningLens：大型推理模型的分层可视化与诊断审计

Jun Zhang, Jiasheng Zheng, Boxi Cao, Yaojie Lu, Hongyu Lin, Jia Zheng, Xianpei Han, Le Sun

机构 * Chinese Information Processing Laboratory（中国信息处理实验室） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 提出ReasoningLens框架，通过分层结构、智能审计和系统分析，将长思维链转化为可操作洞察，用于解释、调试和优化大型推理模型。

Comments Our project is available at https://github.com/icip-cas/ReasoningLens

Let LLMs Judge Each Other: Multi-Agent Peer-Reviewed Reasoning for Medical Question Answering

让LLMs互相评判：面向医学问答的多智能体同行评审推理

Zaifu Zhan, Shuang Zhou, Rui Zhang

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 提出多智能体同行评审推理方法，让多个LLM独立生成思维链推理并相互评估，选择最优推理链输出答案，在三个医学问答数据集上优于单模型和多数投票方法。

Comments Accepted by the Journal of the American Medical Informatics Association

Shopping Reasoning Bench: An Expert-Authored Benchmark for Multi-Turn Conversational Shopping Assistants

购物推理基准：面向多轮对话购物助手的专家编写基准

Shuxian Fan, Seonwoo Min, Youna Hu, Botao Xia, Jayakrishnan Unnikrishnan, Rowan Musselmann, Yifan Gao, Qingyu Yin, Priyanka Nigam, Bing Yin

机构 * Amazon（亚马逊） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出一个由零售专家编写的525个任务的多轮对话购物推理基准，包含10863个加权评分标准，评估9个模型显示通过率仅57-77%，多轮任务性能下降4-18分。

When Prompts Mislead: Textual Dominance and Diagnostic Bias in MLLMs

当提示误导：多模态大语言模型中的文本主导与诊断偏差

Inhyuk Park, Doohyun Park

专题命中 推理评测 ：CoT(abstract,abstract_cn)；reasoning(abstract)；chain-of-thought(abstract)；self-correction(abstract)

AI总结 研究揭示在医学多模态大语言模型中，文本提示会主导视觉线索，导致诊断偏差，即使模型具备空间定位能力，提示策略仍可能不安全。

Comments Accepted to the CVPR 2026 MMFM-BIOMED Workshop

Glance, Scrutinize, and Think: Advancing Video Anomaly Detection from Training-Free to Agentic Reasoning

扫视、审视与思考：将视频异常检测从无训练推进到智能体推理

Shibo Gao, Peipei Yang, Xu-Yao Zhang, Linlin Huang

机构 * Beijing Jiaotong University（北京交通大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 该研究针对视频异常检测的“何时-何事”脱节问题，提出无训练框架GtS及工具增强型智能体方法，扩展基准并引入联合评估指标，实现了更高的异常检测准确性与推理速度。

Comments 34 pages, 8 figures, 8 tables. Journal extension of our AAAI 2026 paper (arXiv:2507.21507)

A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents

面向编码智能体的需求澄清、规划与代码生成的统一问题解决基准

Xin Zhou, Chun Yong Chong, Kisub Kim, Yun Peng, Rui Shu, Zihan Wu, Xu Han, Guowen Yuan, Zeyang Zhuang, Jounghoon Kim, Jeongjin Ju, Seongmin Ju, Taein Yoon, David Lo

专题命中 推理评测 ：planning(title,abstract)；reasoning(abstract)；分类 cs.AI

AI总结 该研究推出SWE-RPG编码智能体基准，评估发现主流编码智能体在该基准上平均解决率仅31.5%，隐性需求恢复是主要瓶颈，为改进编码智能体提供了方向。

Comments 9 pages

The Horizon Gap: Planning, Memory, Execution, Training, and Evaluation for Long-Horizon LLM Agents

视界差距：长视界大语言模型智能体的规划、记忆、执行、训练与评估

Mingguang Chen, Licheng Wang, Bo Qu

机构 * DeepGrounding（深地研究机构） ； AlphaAvatar（阿尔法 Avatar 公司） 纠错

专题命中 推理评测 ：planning(title,abstract)；reasoning(abstract)；分类 cs.CL

AI总结 本文提出长视界大语言模型智能体存在的视界差距，调研1547篇相关论文，厘清长视界等属性，分析领域应对措施并提出开放测量问题。

Comments 39 pages, 6 figures