大模型推理能力

C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning

C2-Faith: 为思维链推理中的因果和覆盖忠实性基准测试LLM评判者

Avni Mittal, Rauno Arike

机构 * SPARAI 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出C2-Faith基准，通过因果和覆盖两个维度评估LLM评判者对思维链推理过程忠实性的判断能力，发现模型在错误定位和覆盖评分上存在显著不足。

ClinHallu: A Benchmark for Diagnosing Stage-Wise Hallucinations in Medical MLLM Reasoning

ClinHallu: 用于诊断医学多模态大语言模型推理中阶段式幻觉的基准

Sicheng Yang, Hangjie Yuan, Wenjun Zhang, Jinwang Wang, Yichen Qian, Weihua Chen, Fan Wang, Lei Zhu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； Hupan Lab（湖畔实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出ClinHallu基准，包含7031个实例，每个实例带有结构化推理轨迹（视觉识别、知识回忆、推理整合），通过阶段替换干预和轨迹监督微调，实现细粒度幻觉诊断与缓解。

Comments Code and datasets: https://github.com/alibaba-damo-academy/ClinHallu

Poker Arena: Multi-Axis Profiling of Strategic Reasoning and Memory in LLMs

Poker Arena: 大型语言模型中策略推理与记忆的多轴剖析

Pratham Singla, Shivank Garg, Vihan Singh

机构 * Indian Institute of Technology Roorkee（印度理工学院罗尔基分校） ； Raeth AI 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出Poker Arena平台，通过三层记忆架构和九轴认知剖面分解策略推理，揭示标量排行榜系统性误排模型能力结构。

Comments 33 pages, ICML Workshop

Can LLMs Accurately Score Medical Diagnoses and Clinical Reasoning?

LLM能否准确评分医学诊断和临床推理？

Amy Rouillard, Sitwala Mundia, Linda Camara, Ziyaad Dangor, Michael Cameron Gramanie, Ismail Kalla, Shabir A. Madhi, Kajal Morar, Marlvin T. Ncube, Haroon Saloojee, Bruce A. Bassett

机构 * Wits MIND Institute, University of the Witwatersrand, Johannesburg, South Africa（维特士心理研究所，沃斯兰德大学，约翰内斯堡，南非） ； Grai Labs, Cape Town, South Africa（格雷实验室，开普敦，南非） ； South African Medical Research Council Vaccines and Infectious Diseases Analytics Research Unit, Faculty of Health Sciences, University of the Witwatersrand, Johannesburg, South Africa（南非医学研究理事会疫苗和传染病分析研究组，健康科学学院，沃斯兰德大学，约翰内斯堡，南非） ； Department of Internal Medicine, Charlotte Maxeke Johannesburg Academic Hospital, and Faculty of Health Sciences, University of the Witwatersrand, Johannesburg, South Africa（内科学系，查理·马克斯凯约翰内斯堡学术医院，以及健康科学学院，沃斯兰德大学，约翰内斯堡，南非） ； Department of Paediatrics and Child Health, Faculty of Health Sciences, University of the Witwatersrand, Johannesburg, South Africa（儿科学与儿童健康系，健康科学学院，沃斯兰德大学，约翰内斯堡，南非） ； Wits MIND Institute, University of the Witwatersrand, Johannesbu（维特士心理研究所，沃斯兰德大学，约翰内斯堡） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究使用LLM陪审团对300例低收入和中等收入国家医院病例的3334个诊断进行评分，发现校准后的LLM评分与专家评分高度一致，且严重错误风险更低，可作为可靠的评估代理。

CORA: Analyzing and bridging thinking-answer gap in Multimodal RLVR via Consistency-Oriented Reasoning Alignment

CORA: 通过一致性导向的推理对齐分析与弥合多模态RLVR中的思考-答案差距

Jiayue Cao, Zhicong Lu, Xuehan Sun, Wei Jia, Hongling Zheng, Changyuan Tian, Zichuan Lin, Wenqian Lv, Nayu Liu

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Wuhan University（武汉大学） ； Tsinghua University（清华大学） ； Tianjin University（天津大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文分析多模态RLVR中思考与答案的语义不一致问题，提出CORA方法，通过轻量级一致性奖励模型引入语义一致性，并采用混合奖励优势分裂稳定优化，提升推理忠实度。

Comments Submitted to EMNLP 2026

AFFORDANCE20Q: Evaluating Affordance Reasoning from Physical Properties

AFFORDANCE20Q：从物理属性评估可承担性推理

Yifan Jiang, Meige Yang, Zitong Li, Jay Pujara

机构 * Information Sciences Institute, University of Southern California（南加州大学信息科学研究所） ； University of Southern California（南加州大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出Affordance20Q基准，通过20个问题游戏评估模型从物理属性推理物体可承担性的能力，发现LLM与人类差距约20分，并开发KARI方法提升开源模型达15.2分。

QIAS 2026: Overview of the Shared Task on Islamic Inheritance Reasoning

QIAS 2026：伊斯兰继承推理共享任务综述

Abdessalam Bouchekif, Somaya Eltanbouly, Samer Rashwani, Shahd Gaben, Mutaz Al-Khatib, Heba Sbahi, Emad Mohamed, Mohammed Ghaly

机构 * Hamad bin Khalifa University（哈马德·本·哈利法大学） ； Nazarbayev University（纳扎尔巴耶夫大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文介绍 QIAS 2026 共享任务，评估大语言模型在伊斯兰继承领域的复杂推理能力，基于 MAWARITH 数据集，使用 MIR-E 多步指标评估，16 支队伍参与，结果显示该任务对当前模型极具挑战性。

Game-Theoretic Multi-Agent Control for Robust Contextual Reasoning in LLMs

面向鲁棒上下文推理的博弈论多智能体控制方法在LLMs中的应用

Saeid Jamshidi, Amin Nikanjam, Arghavan Moradi Dakhel, Kawser Wazed Nafi, Foutse Khomh

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 针对LLMs在多轮交互中易受提示注入和上下文投毒攻击的问题，提出GT-MCP方法，通过博弈论多智能体控制和自愈机制，将上下文漂移限制在99.6%的轮次内，且控制器级注入攻击零成功。

Simulating Students' Java Programming Errors with Large Language Models

用大型语言模型模拟学生的Java编程错误

Ali Keramati, Jie Cao, Iman Mohammadi, Mark Warschauer, Yang Shi

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；chain-of-thought(abstract)；分类 cs.CL

AI总结 探索用LLM模拟学生编程错误，评估五种模型在多样性和对齐性上的表现，发现Claude Sonnet 4平衡最佳，且合成错误与真实错误难以区分。

FineDialFact: A benchmark for Fine-grained Dialogue Fact Verification

FineDialFact：细粒度对话事实验证基准

Xiangyan Chen, Yufeng Li, Yujian Gan, Arkaitz Zubiaga, Matthew Purver

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 针对对话系统幻觉检测中事实标签粗粒度的问题，提出细粒度对话事实验证基准FineDialFact，基于公开数据集构建并评估多种基线方法，实验表明思维链推理可提升性能，但最佳F1仅0.74，任务仍具挑战性。

Digital Twin Driven Textile Classification and Foreign Object Recognition in Automated Sorting Systems

数字孪生驱动的自动化分拣系统中的纺织品分类与异物识别

Serkan Ergun, Tobias Mitterer, Hubert Zangl

机构 * Institute of Smart Systems Technologies（智能系统技术研究所） ； University of Klagenfurt（克雷格弗特大学） ； AAU SAL USE Laboratory（AAU SAL USE实验室） ； Silicon Austria Labs（硅 Austria 实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 提出一种数字孪生驱动的机器人分拣系统，结合抓取预测、多模态感知和视觉语言模型，实现纺织品分类与异物检测，Qwen模型准确率达87.9%。

Comments 10 pages,single column, 5 figures, preprint for Photomet Edumet 2026 (Klagenfurt, Austria)

Spatio-Temporal Audio Language Modeling for Dynamic Sound Sources

动态声源的时空音频语言建模

Oh Hyun-Bin, Kazuki Shimada, Yuhta Takida, Kim Sung-Bin, Toshimitsu Uesaka, Takashi Shibuya, Kyeongyoon Lee, Tae-Hyun Oh, Yuki Mitsufuji

机构 * POSTECH（浦项科技大学） ； Sony AI（索尼AI） ； Sony Group Corporation（索尼集团） ； Sungkyunkwan University（成均馆大学） ； KAIST（韩国科学技术院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出ST-AudioLM模型，通过时空音频编码器联合学习事件语义与源轨迹，在ST-AudioQA基准上提升动态声源问答的语义-定位权衡。

SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing

SkillAudit: 通过配对轨迹审计实现无真实反馈的技能进化

Haowen Gao, Haoran Chen, Can Wang, Shasha Guo, Liang Pang, Zhaoyang Liu, Huawei Shen, Xueqi Cheng

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（中国科学院计算技术研究所人工智能安全国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI

AI总结 提出SkillAudit框架，通过配对轨迹审计和过程对齐对比评估，无需真实反馈即可进化智能体技能，在89个任务中平均奖励达73.9%。

Comments 20 pages, 5 figures

Harsher on Male? Evaluating LLMs on Gender-Asymmetric Moral Framing Across Diverse Conflict Scenarios

对男性更严厉？评估LLM在不同冲突场景中的性别不对称道德框架

Guangzong Si, Dong Wang, Zhenhao Li, Yifan Yu, Panwang Pan, Wentao Zhu

机构 * University of Science and Technology of China（中国科学技术大学） ； Eastern Institute of Technology, Ningbo（宁波东方理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出GAMA-Bench基准，通过性别镜像场景评估LLM对相同负面行为的回应，发现模型对男性更倾向于惩罚和责备，对女性则更强调共情和治疗。

Comments underreview

Right or Wrong, Models Comply: Directional Blindness in LLM Moral Judgment

对或错，模型都顺从：LLM 道德判断中的方向盲从

Jihye Kim, Jeffrey Flanigan

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL

AI总结 本文提出顺从不对称性（A = BCR/HCR）双向诊断指标，发现大语言模型在事实判断中更顺从有益提示（A=1.58），但在道德判断中几乎同等顺从有益和误导提示（A=1.04），揭示了方向盲从这一对齐失败模式。

DLawBench: Evaluating LLMs Through Multi-Turn Legal Consultation

DLawBench: 通过多轮法律咨询评估大语言模型

Li Zhang, Yuzhen Shi, Yiran Hu, Jingwen Zhang, Wenbo Lv, Yubo Ma, Wei Wang, Rongyao Shi, Yuanyang Qiu, Xinran Xu, Yuemeng Qi, Linlin Miao, Jaromir Savelka, Yun Liu, Kevin Ashley, Bing Zhao, Hu Wei, Lin Qu

机构 * University of Pittsburgh（匹兹堡大学） ； Alibaba Group（阿里巴巴集团） ； University of Waterloo（滑铁卢大学） ； Shandong University（山东大学） ； Skylenage ； China University of Political Science and Law（中国政法大学） ； Qwen Team, Alibaba Group（阿里巴巴集团Qwen团队） ； Fordham University（福特汉姆大学） ； Shanghai Jiao Tong University（上海交通大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出DLawBench基准，通过模拟四种客户类型（合作、依赖、退缩、对抗）的多轮对话，评估大语言模型在真实法律咨询中的交互能力。

Comments 37 pages, 8 figures, 26 tables. Code and data: https://github.com/SKYLENAGE-AI/DLawBench

The Culture Funnel: You Can't Align What isn't in the Data

文化漏斗：你无法对齐不在数据中的内容

Ananya Sahu, Mehrnaz Mofakhami, Daniel D'Souza, Thomas Euyang, Julia Kreutzer, Marzieh Fadaee

机构 * Cohere Labs（Cohere实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对当前文化对齐方法依赖推理时干预而忽视训练数据的问题，提出文化数据漏斗概念，通过多维标签框架分析预训练、微调、对齐和推理数据集，发现后训练阶段文化信号急剧下降，多语言性虽增强地理多样性但未能确保平衡，所提标签可提升下游文化基准性能。

TVIR: Building Deep Research Agents Towards Text-Visual Interleaved Report Generation

TVIR：构建面向文本-视觉交错报告生成的深度研究智能体

Xinkai Ma, Zhiqi Bai, Dingling Zhang, Pei Liu, Yishuo Yuan, He Zhu, Jiakai Wang, Qianqian Xie, Yifan Zhao, Xinlong Yang, Hao Cong, Zhiheng Yao, Fengxia Xie, Zihao Xu, Haoran Xu, Zhaohui Wang, Minghao Liu, Shirong Lin, Yingshui Tan, Yuchi Xu, Wenbo Su, Zhaoxiang Zhang, Bo Zheng, Jiaheng Liu

机构 * Nanjing University Alibaba Group（南京大学阿里集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出TVIR基准和层次化多智能体框架，解决深度研究报告中视觉元素的事实可靠性与对齐问题。

MineExplorer: Evaluating Open-World Exploration of MLLM Agents in Minecraft

MineExplorer: 评估MLLM智能体在Minecraft中的开放世界探索能力

Tianjie Ju, Yueqing Sun, Zheng Wu, Wei Zhang, Yaqi Huo, Xi Su, Qi Gu, Xunliang Cai, Gongshen Liu, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Meituan（美团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出MineExplorer基准，通过多智能体合成工作流构建隐式多跳任务，评估多模态大语言模型在Minecraft中的开放世界探索能力，发现长轨迹协调仍是挑战。

Comments Working in progress

An Empirical Study of Automating Agent Evaluation

自动化代理评估的实证研究

Kang Zhou, Sangmin Woo, Haibo Ding, Kiran Ramnath, Subramanian Chidambaram, Aosong Feng, Vinayak Arannil, Muhyun Kim, Ishan Singh, Darren Wang, Zhichao Xu, Megha Gandhi, Nirmal Prabhu, Soumya Smruti Mishra, Vivek Singh, Gouri Pandeshwar, Lin Lee Cheong

机构 * AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文研究了自动化代理评估的可行性，提出EvalAgent系统，通过编码技能和领域知识提升评估效率，实验显示其在评估准确性和人类偏好上显著优于基线方法。

COGNITION: From Evaluation to Defense against Multimodal LLM CAPTCHA Solvers

认知：从评估到对抗多模态大语言模型CAPTCHA求解器

Junyu Wang, Changjia Zhu, Yuanbo Zhou, Lingyao Li, Xu He, Mingkui Wei, Junjie Xiong

机构 * Missouri University of Science and Technology（密苏里科技大学） ； University of South Florida（佛罗里达州立大学） ； Visa Inc.（Visa公司） ； George Mason University（乔治·马歇尔大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文研究多模态大语言模型如何削弱视觉CAPTCHA的安全性，评估7种主流MLLM在18种CAPTCHA任务中的表现，揭示其解决能力及防御策略。

Comments Accepted by USENIX Sec'26

LLM-Powered AI Agent Systems and Their Applications in Industry

基于大语言模型的AI智能体系统及其工业应用

Guannan Liang, Qianqian Tong

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文综述了从传统智能体到LLM驱动智能体的演进，分类为软件、物理和自适应混合系统，并讨论了在客服、软件开发、制造、教育、金融和医疗等领域的应用及挑战。

Comments This is the author's accepted version of the paper accepted to appear at IEEE AIIoT 2025. The final version will be available via IEEE Xplore. \c{opyright}2025 IEEE. Personal use of this material is permitted

Evaluating LLMs for Obfuscation Detection and Classification in Android Apps

评估LLMs在Android应用中的混淆检测与分类能力

Luca Ferrari, Marco Alecci, Jordan Samhi, Tegawende' F. Bissyande', Jacques Klein, Mariano Ceccato, Luca Verderame

专题命中 推理评测 ：reasoning(abstract)

AI总结 本研究通过大规模实验评估大型语言模型（LLMs）在无需手工规则或训练的情况下，通过语义推理检测Android应用中的代码混淆，并与现有SAST方法对比。

SkillMutator: Benchmarking and Defending Language-and-Code Cross-modal Attacks on LLM Agent Skills

SkillMutator: 基准测试与防御针对LLM代理技能的语言与代码跨模态攻击

Youngduk Kim, Minkyoo Song, Seungwon Shin

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出SkillMutator基准，模拟13类跨模态攻击，并设计四阶段推理轨迹蒸馏框架，将检测率从17.1%提升至88.2%，超越GPT-4o-mini。