大模型推理能力

HiLSVA: Design and Evaluation of a Human-in-the-Loop Agentic System for Scientific Visualization

HiLSVA：用于科学可视化的人机协同智能系统设计与评估

Kuangshi Ai, Patrick Phuoc Do, Chaoli Wang

机构 * Department of Computer Science and Engineering, University of Notre Dame（Notre Dame 大学计算机科学与工程系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出HiLSVA，一种人机协同智能系统，通过计划优先的多智能体架构、显式人类监督和逐步溯源，支持混合主动的科学可视化工作流，增强而非替代人类分析推理。

Comments IEEE Transactions on Visualization and Computer Graphics (IEEE VIS '26)

VCG-Bench: Towards A Unified Visual-Centric Benchmark for Structured Generation and Editing

VCG-Bench：迈向统一的视觉导向基准，用于结构化生成与编辑

Xiaoyan Su, Peijie Dong, Zhenheng Tang, Song Tang, Yuyao Zhai, Kaitao Lin, Liang Chen, Gai Yuhang, Yuyu Luo, Qiang Wang, Xiaowen Chu

机构 * The Hong Kong University of Science and Technology (GuangZhou)（香港科学与技术大学（广州）） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； South China University of Technology（华南理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出VCG-Bench，一个统一的视觉导向mxGraph任务基准，通过符号逻辑和XML实现精确的图表生成与编辑，解决现有方法在结构化任务中的局限性。

Comments Accepted by ICML2026, 37 pages, 10 figures

Evaluating LLM-Based 0-to-1 Software Generation in End-to-End CLI Tool Scenarios

评估基于LLM的从零开始软件生成在端到端CLI工具场景中的表现

Ruida Hu, Xinchen Wang, Chao Peng, Cuiyun Gao, David Lo

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Independent Researcher, China（独立研究者，中国） ； Singapore Management University, Singapore（新加坡管理大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本文提出CLI-Tool-Bench基准，用于评估从零生成CLI工具的能力，发现顶级模型成功率低于43%，指出生成代码倾向单体化。

Comments Data link: https://github.com/kinesiatricssxilm14/CLI-Tool-Bench

MSQA: A Natively Sourced Multilingual and Multicultural SimpleQA Benchmark

MSQA：一个原生来源的多语言多文化SimpleQA基准

Xianru Chen, Yukai Huang, Mingxiang Chen, Xinping Lei, Fangbing Deng, Jin Chen, Ge Zhang, Wenhao Huang, Jiaheng Liu

机构 * M-A-P ； ByteDance Seed（字节跳动Seed） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanjing University（南京大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出MSQA基准，包含1064个原生问题覆盖11种语言和5个文化维度，评估18个LLM发现文化能力随预训练暴露程度下降，且推理时补救措施无效。

Comments Due to the company's data approval issue, we need to withdraw the article

NeMo: Needle in a Montage for Video-Language Understanding

NeMo：视频语言理解中的蒙太奇之针

Zi-Yuan Hu, Shuo Liang, Duo Zheng, Yanyang Li, Yeyao Tao, Shijia Huang, Wei Feng, Jia Qin, Jianguang Yu, Jing Huang, Meng Fang, Yin Li, Liwei Wang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Phoenix TV（凤凰电视台） ； Stanford University（斯坦福大学） ； University of Liverpool（利物浦大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 为评估视频大语言模型时间理解能力，提出蒙太奇之针（NeMo）任务，开发自动数据生成管道并构建NeMoBench基准，能生成高质量数据，评估了20个模型，展现其能力与局限。

MLPTR-CC: Multi-label Pathology Test Recommendation using Classifier Chains and SHAP

基于分类器链的病理检查推荐

Abu Rafe Md Jamil, Nayan Malakar

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Jashore University of Science and Technology（贾绍尔科学技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究针对病理检查推荐延迟问题，引入基于分类器链技术的系统，将其构建为多标签分类问题。收集数据应用多种算法比较模型，通过可解释人工智能技术确保模型透明度和临床可解释性，提高传统算法在诊断过程中的效率并提供准确推荐。

OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks

OSWorld2.0：在长时域真实世界任务上基准测试计算机使用智能体

Mengqi Yuan, Zilong Zhou, Xinzhuang Xiong, Weiming Wu, Jiayang Sun, Jiamin Song, Kaiqian Cui, Bowen Wang, Haoyuan Wu, Yitong Li, Dunjie Lu, Haikong Lu, Qi Zhen, Xinyuan Wang, Jiaqi Deng, Yuhao Yang, Cheng Chen, Boyuan Zheng, Alex Su, Xiao Yu, Hao Zou, Saaket Agashe, Xing Han Lu, Manpreet Kaur, Zhengyang Qi, Vincent Sunn Chen, Frederic Sala, Dayiheng Liu, Junyang Lin, Zhou Yu, Yu Su, Siva Reddy, Xin Eric Wang, Peng Qi, Tianbao Xie, Tao Yu

机构 * XLANG Lab（XLANG实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出OSWorld 2.0基准，包含108个长时域计算机使用工作流，通过复杂真实任务揭示当前智能体在约束跟踪、动态信息处理等方面的局限，最佳模型仅完成20.6%任务。

Comments 68 pages, 42 figures. Equal contribution: Mengqi Yuan, Zilong Zhou, and Xinzhuang Xiong

JADE: Expert-Grounded Dynamic Evaluation for Open-Ended Professional Tasks

JADE：面向开放式专业任务的专家基础动态评估

Lanbo Lin, Jiayao Liu, Tianyuan Yang, Li Cai, Yuanwu Xu, Lei Wei, Sicong Xie, Guannan Zhang

机构 * Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团） ； Zhejiang University（浙江大学） ； Peking University（北京大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出JADE双层评估框架，结合专家知识与动态声明级评估，解决开放式专业任务中严格性与灵活性的矛盾，在BizBench等基准上提升稳定性并揭示关键失败模式。

Comments Accepted at ICML 2026

Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading

长视野终端基准测试：使用基于密集奖励的评分方式测试智能体在长视野终端任务中的极限

Zongxia Li, Zhongzhi Li, Yucheng Shi, Ruhan Wang, Junyao Yang, Zhichao Liu, Xiyang Wu, Anhao Li, Yue Yu, Ninghao Liu, Lichao Sun, Haotao Mi, Leowei Liang

机构 * Tencent（腾讯） ； University of Maryland, College Park（马里兰大学帕克分校） ； University of Georgia（佐治亚大学） ； University of Minnesota, Twin Cities（明尼苏达大学双城分校） ； Indiana University（印第安纳大学） ； Lehigh University（里海大学） ； National University of Singapore（新加坡国立大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 研究针对现有终端基准测试局限，引入长视野终端基准测试（Long-Horizon-Terminal-Bench），含46个长视野任务。通过分解为分级子任务提供密集中间奖励，评估15个前沿模型，揭示改进空间，分析失败模式，发布该基准测试助力长视野终端智能体发展。

Comments 17 pages

Reason Less, Verify More: Deterministic Gates Recover a Silent Policy-Violation Failure Mode in Tool-Using LLM Agents

少些推理，多些验证：确定性门控在使用工具的语言模型智能体中恢复了一种无声的违反策略失败模式

Vikas Reddy, Sumanth Reddy Challaram, Abhishek Basu

机构 * Indian Institute of Technology Kharagpur（印度理工学院卡拉格布尔分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究使用工具的语言模型智能体违反策略问题，提出用确定性预执行门控干预，在τ²基准航空公司领域评估，该方法能提高成功率，防止无声违反策略写入，虽不保证任务成功，但有可靠性成果。

DEER: A Benchmark for Evaluating Deep Research Agents on Expert Report Generation

DEER：用于评估深度研究代理在专家报告生成上的基准

Janghoon Han, Heegyu Kim, Changho Lee, Dahm Lee, Min Hyung Park, Hosung Song, Stanley Jungkyu Choi, Moontae Lee, Honglak Lee

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 DEER是一个用于评估深度研究代理在专家报告生成中性能的基准，通过系统化的评估标准和主张验证架构，提升报告质量和逻辑完整性。

Comments ICML 2026 (45 pages, 12 figures, 25 tables, 129 references

VehAnchor: Metadata-Free Metric Scale Recovery from Vehicle Cues in Aerial Imagery

VANGUARD：用于GPS受限环境下的无人机车辆锚定地面采样距离估计

Yifei Chen, Chenqian Le, Jiayi Cheng, Xupeng Chen

机构 * Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空航天信息研究所） ； Tandon School of Engineering, New York University（纽约大学工学院） ； School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 VANGUARD通过利用车辆锚点和核密度估计，为无人机在GPS受限环境中提供可靠地面采样距离估计，降低空间推理中的误差和失败率。

FIRE-Bench: Evaluating AI Agents on the Rediscovery of Scientific Insights

FIRE-Bench：评估人工智能代理在科学见解重新发现方面的表现

Zhen Wang, Fan Bai, Zhongyan Luo, Jinyan Su, Kaiser Sun, Xinle Yu, Jieyuan Liu, Kun Zhou, Claire Cardie, Mark Dredze, Zhiting Hu, Eric P. Xing

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Cornell University（康奈尔大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究旨在评估大语言模型驱动的人工智能代理在科学见解重新发现上的能力。核心方法是引入FIRE-Bench基准，让代理基于高层次研究问题进行全周期探索。主要贡献是为衡量代理驱动的科学发现进展提供了严格诊断框架，揭示当前代理系统在全周期科研上的挑战。

Comments 34 pages, 3 figures, 16 tables; ICML 2026 Camera-ready Version

DR-Arena: an Automated Evaluation Framework for Deep Research Agents

DR-Arena：深度研究智能体的自动化评估框架

Yiwen Gao, Ruochen Zhao, Yang Deng, Wenxuan Zhang

机构 * National University of Singapore（国立新加坡大学） ； Nanyang Technological University（南洋理工大学） ； Singapore Management University（新加坡管理学院） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对大语言模型作深度研究智能体时任务性能评估难的问题，提出DR-Arena自动化评估框架，通过动态调查、构建实时信息树、自动考官出题及自适应进化循环提升任务复杂性来评估，实验证明其与人类偏好对齐效果好，可替代人工裁决。

Comments 22 pages, 8 figures. Accepted to ACL 2026 as an oral presentation and selected as an SAC Highlight

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 27130-27152, 2026

IFAR: Multi-Perspective and Multi-Level Causal Discovery with LLMs

IFAR：基于大语言模型的多视角多层次因果发现

Jinwei He, Feng Lu

机构 * Beihang University（北航大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对大语言模型溯因推理中多视角多层次原因这一挑战，提出IFAR框架，结合广义反向推理与正向验证，构建专门数据集，实验表明该框架能提升大语言模型溯因推理性能，在F1分数等方面有显著改进。

Psy-Chronicle:A Structured Pipeline for Synthesizing Long-Horizon Campus Psychological Counseling Dialogues

Psy-Chronicle: 一个用于合成长周期校园心理辅导对话的结构化流水线

Chaogui Gou

机构 * University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出Psy-Chronicle，一种结构化数据生成框架，用于合成长周期校园心理辅导对话，通过生成学期跨度的时间压力事件图和学生与辅导员代理的交互模拟，构建了包含100个学生档案和9万条对话的CPCD数据集，并通过CPCD-Bench评估模型的长周期校园辅导能力，实验结果表明CPCD有效提升了模型的会话级响应生成和长周期记忆召回能力。

Thinking Ahead: Foresight Intelligence in MLLMs and World Model

提前思考：多模态语言模型和世界模型中的预见智能

Zhantao Gong, Liaoyuan Fan, Qing Guo, Xun Xu, Xulei Yang, Shijie Li

机构 * College of Software, Nankai University, China（南开大学软件学院） ； The University of Hong Kong, China（香港大学） ； NKIARI, Shenzhen Futian, China（NKIARI，深圳福田，中国） ； AAIS & VCIP, Nankai University, China（AAIS与VCIP，南开大学，中国） ； A*STAR Institute of Advanced Intelligence and Computing, Singapore（新加坡A*STAR先进智能与计算研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究定义预见智能，引入FSU-QA数据集，对视觉语言模型在预见任务中全面研究，发现当前模型不足。该数据集可评估世界模型，增强预见推理，微调小模型能超大型先进模型，为开发下一代模型提供基础，还验证了评估协议。

Comments Accepted by ECCV 2026

Doing What They Say, Not What They Reason: Locating the Faithfulness Gap in LLM Agents

做他们所说的，而不是他们所推理的：定位LLM智能体中的忠实性差距

Yufeng Wang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 通过将忠实性差距分解为推理-结论和结论-行动两个步骤，在可控的德克萨斯扑克模拟器中研究LLM智能体是否按照其陈述的推理行动。

Comments submitted to COLM social simulation with LLM workshop

MechVQA: Benchmarking and Enhancing Multimodal LLMs on Comprehensive Mechanical Drawing Understanding

MechVQA：在综合机械图纸理解上基准测试与增强多模态大语言模型

Qian Kou, Xiaofeng Shi, Yulin Li, Xiaosong Qiu, Xinyang Wang, Hua Zhou, Cao Dongxing

机构 * Beijing Academy of Artificial Intelligence (BAAI), China（北京人工智能研究院） ； Institute of Information Engineering, Chinese Academy of Sciences, China（信息工程研究所） ； Beijing University of Technology, China（北京理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对多模态大语言模型在机械工程图纸理解上的不足，提出首个综合机械图纸理解数据集MechVQA，并开发MechVL模型，通过多阶段训练显著提升性能。

Comments accept by iclm2026, add github link

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea, PMLR 306 (2026)

EgoDyn-Bench: Evaluating Ego-Motion Understanding in Vision-Centric Foundation Models for Autonomous Driving

EgoDyn-Bench：评估面向自动驾驶的视觉中心基础模型中的自我运动理解

Finn Rasmus Schäfer, Yuan Gao, Dingrui Wang, Thomas Stauner, Stephan Günnemann, Mattia Piccinini, Sebastian Schmidt, Johannes Betz

机构 * Professorship of Autonomous Vehicle Systems, Technical University of Munich, Munich, Germany（自动驾驶车辆系统教授职位，慕尼黑技术大学，德国慕尼黑） ； Bayerische Motoren Werke AG, Munich, Germany（巴伐利亚发动机有限公司，德国慕尼黑） ； Data Analytics and Machine Learning Group, Technical University of Munich, Munich, Germany（数据分析与机器学习小组，慕尼黑技术大学，德国慕尼黑） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出EgoDyn-Bench基准，用于评估视觉中心基础模型的自我运动理解能力，发现模型在将物理逻辑与视觉感知结合时存在结构性缺陷，通过显式轨迹编码可恢复物理一致性。

Comments 36 Pages, Accepted at ECCV 2026

SWITCH: Benchmarking Modeling and Handling of Tangible Interfaces in Long-horizon Embodied Scenarios

SWITCH：在长时程具身场景中评估和处理具象接口的基准测试

Juntao Cheng, Wanyue Zhang, Zhiwei Yu, Shuo Ren, Zheqi He, Shaoxuan Xie, Guocai Yao, Jieru Lin, Börje F. Karlsson, Jiajun Zhang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 SWITCH基准测试通过1170个时间交互视频，评估具象接口在真实第一人称环境中的闭环交互推理，揭示多模态模型在细粒度视觉-时间感知、结果验证和错误恢复方面的不足。

Comments The dataset is available at https://huggingface.co/datasets/BAAI-Agents/SWITCH

Omni-RRM: Advancing Omni Reward Modeling via Automatic Rubric-Grounded Preference Synthesis

Omni-RRM：通过基于自动评分标准的偏好合成推进全模态奖励建模

Zicheng Kong, Dehua Ma, Zhenbo Xu, Alven Yang, Yiwei Ru, Haoran Wang, Zixuan Zhou, Fuqing Bie, Liuyu Xiang, Huijia Wu, Jian Zhao, Zhaofeng He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究所） ； ShiFang Technology Inc.（ShiFang科技公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究针对多模态大语言模型对齐难题，提出全模态基于评分标准的奖励模型Omni-RRM。通过自动评分标准偏好合成构建数据集，用特定训练方案提升奖励辨别力，在多模态基准测试中达最优精度，还能指导选择与迁移，提升模型对齐能力。

Comments ECCV 2026

UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs

UnpredictaBench：评估大语言模型分布随机性的基准

Amirhossein Abaskohi, Amirhossein Dabiriaghdam, Liang Luo, Ellie Dingqiao Wen, Lele Wang, Giuseppe Carenini, Peter West

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Independent Researcher（独立研究者） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出UnpredictaBench基准，通过KS@N指标评估LLM从目标分布（统计分布、随机程序、自然语言场景）采样的能力，发现模型表现差异大且无模型超过40%准确率，表明分布采样能力仍有显著提升空间。

TokenMizer: Graph-Structured Session Memory for Long-Horizon LLM Context Management

TokenMizer: 面向长程LLM上下文管理的图结构会话记忆

Shweta Mishra

机构 * Independent Researcher（独立研究者） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出TokenMizer，一种将LLM会话历史建模为类型化知识图的开源代理系统，通过混合提取、三级检查点和8层压缩流水线，在显著减少token开销的同时保留结构化决策信息。

Comments 9 pages, 6 figures. Code and benchmark: https://github.com/Shweta-Mishra-ai/tokenmizer

Learning-Based Automated Adversarial Red-Teaming for Robustness Evaluation of Large Language Models

基于学习的自动化对抗红队测试用于大型语言模型的鲁棒性评估

Zhang Wei, Hanxuan Chen, Peilu Hu, Zhenyuan Wei, Chenwei Liang, Jiayi Gu, Wenqian Weng, Jacqueline Pang, Hao Yan, Li Mei, Shengning Lang, Kuan Lu, Xi Xiao, Zhimo Han, Yijin Wang, Yichao Zhang, Chen Yang, Zhenyu Yu, Riyang Bao, Xinyuan Song, Junfeng Hao, Mu-Jiang-Shan Wang

机构 * Independent Researcher（独立研究者） ； Hunan University（湖南大学） ； Shenzhen Kaihong Digital Industry Development Co., Ltd.（深圳凯鸿数字产业开发有限公司） ； Central University of Finance and Economics（中央财经大学） ； Chongqing University（重庆大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Stevens Institute of Technology（斯蒂文斯理工学院） ； Cornell University（康奈尔大学） ； Oak Ridge National Laboratory（橡树岭国家实验室） ； Zhengzhou University of Light Industry（郑州轻工业大学） ； Xidian University（西安电子科技大学） ； The University of Texas at Dallas（德克萨斯大学达拉斯分校） ； AI Safety Research Lab, Institute of Advanced Computing（高级计算研究所人工智能安全研究实验室） ； University of Malaya（马来亚大学） ； Emory University（埃默里大学） ； Department of Nephrology, Affiliated Hospital of Guangdong Medical University（广东医学院附属医院肾内科） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL

AI总结 本文提出一种学习驱动的自动化红队测试框架，用于高效发现大型语言模型的漏洞，通过元提示引导的对抗性提示生成和分层执行检测流程，在六个威胁类别中实现标准化评估，实验发现47个漏洞，包括21个高严重性失败和12种新攻击模式。

Comments ACL ARR minor revision

Beyond Task Completion: A Verification-vs.-Conformance Gap in Tool-Evolving Agents

EvolveTool-Bench：评估LLM生成的工具库作为软件 artifact 的质量

Alibek Kaliyev, Artem Maryanskyy

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Uber Technologies（优步科技公司） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI

AI总结 本文提出EvolveTool-Bench，通过评估LLM生成的工具库在软件工程流程中的质量，揭示任务完成率之外的软件质量风险，强调需将工具库视为首要软件 artifact。

Comments 11 pages, 4 figures; accepted at KDD 2026 Workshop on Agentic AI Evaluation and Trustworthiness

QEDBENCH: Quantifying the Alignment Gap in Automated Evaluation of University-Level Mathematical Proofs

QEDBENCH：量化大学水平数学证明自动评估中的对齐差距

Santiago Gonzalez, Alireza Amiri Bavandpour, Peter Ye, Edward Zhang, Ruslans Aleksejevs, Todor Antić, Polina Baron, Sujeet Bhalerao, Shubhrajit Bhattacharya, Zachary Burton, John Byrne, Hyungjun Choi, Nujhat Ahmed Disha, Koppany István Encz, Yuchen Fang, Robert Joseph George, Ebrahim Ghorbani, Alan Goldfarb, Jing Guo, Meghal Gupta, Stefano Huber, Annika Kanckos, Minjung Kang, Hyun Jong Kim, Dino Lorenzini, Levi Lorenzo, Tianyi Mao, Giovanni Marzenta, Ariane M. Masuda, Lukas Mauth, Ana Mickovic, Andres Miniguano-Trujillo, Antoine Moulin, Wenqi Ni, Tomos Parry, Kevin Ren, Hossein Roodbarani, Mathieu Rundström, Manjil Saikia, Detchat Samart, Rebecca Steiner, Connor Stewart, Dhara Thakkar, Jeffrey Tse, Vasiliki Velona, Yunhai Xiang, Sibel Yalçın, Jun Yan, Ji Zeng, Arman Cohan, Quanquan C. Liu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究大语言模型自动评估的可靠性，引入QEDBench基准，通过对比特定课程评分标准与专家常识标准，测量与人类专家的对齐情况，揭示部分前沿评估器偏差及离散领域推理差距，还发布该基准用于评估改进AI裁判。

RLIE: Rule Generation with Logistic Regression, Iterative Refinement, and Evaluation for Large Language Models

RLIE：用于大语言模型的基于逻辑回归、迭代细化和评估的规则生成

Yang Yang, Hua XU, Zhangyi Hu, Yutao Yue

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究提出RLIE框架，将大语言模型与概率建模结合学习加权规则集，经规则生成、逻辑回归、迭代细化和评估四阶段，评估多种推理策略，明确大语言模型在归纳推理中的潜力与局限，实现更可靠的神经符号推理。

VCB Bench: An Evaluation Benchmark for Audio-Grounded Large Language Model Conversational Agents

VCB Bench：用于音频基础大语言模型对话代理的评估基准

Jiliang Hu, Wenfu Wang, Zuchao Li, Chenxing Li, Yiyang Zhao, Hanzhao Li, Liqiang Zhang, Meng Yu, Dong Yu

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对现有音频语言模型基准局限，提出VCB Bench，基于真实人类语音构建，从指令跟随、知识理解、鲁棒性三个角度评估，揭示性能差距并指明改进方向，提供评估框架。

Comments 25 pages, 9 figures, accepted by ACL 2026 Findings

TrendFact: A Benchmark Towards Hotspot Perception in Automatic Fact-Checking

TrendFact：自动事实核查中热点感知的基准

Xiaocheng Zhang, Xi Wang, Yifei Lu, Jianing Wang, Zhuangzhuang Ye, Mengjiao Bao, Peng Yan, Xiaohong Su

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； National University of Defense Technology（国防科学技术大学） ； Northeastern University（东北大学） ； East China Normal University（华东师范大学） ； Beihang University（北京航空航天大学） ； Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究自动事实核查范式在资源受限环境下面临风险不对称挑战，引入TrendFact基准及评估热点感知能力的指标，提出FactISR框架提升热点感知能力和计算效率。