大模型推理能力

When Confidence Fails: Overconfidence in LLMs under Uncertainty and Missing Clinical Information

当置信度失效：不确定性与临床信息缺失下大语言模型的过度自信

Maryam Tahermazandarani, Adnan Mahmood, Fahmida Islam, Quan Z. Sheng

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文针对临床信息不确定性下的LLMs开展行为分析，提出基于MedMCQA的评估框架，发现模型置信度与准确率不匹配、弃权能力差异大等关键局限，凸显需采用不确定性感知评估方法。

GRACE: LLM-Grounded Semantic Metric Spaces for Scalable Mixed-Data Clustering

GRACE：用于可扩展混合数据聚类的大语言模型（LLM）基础语义度量空间

Zihua Yang, Zhencheng Xie, Junyang Chen, Liang Xie, Yiqun Zhang, Mengke Li, Yang Lu

机构 * Guangdong University of Technology（广东工业大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； Shenzhen University（深圳大学） ； Xiamen University（厦门大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对混合数据聚类中语义丰富度与可扩展性的矛盾，提出GRACE框架，通过多视角LLM查询实现一次性语义嵌入，兼顾可扩展性与聚类性能，优于11种对比方法。

Comments 13 pages

GeoBenchLLM: A Comprehensive Benchmark for Evaluating LLMs on Geo-Related Tasks

GeoBenchLLM：评估大语言模型地理相关任务的综合基准

Rodrigo Ferreira Rodrigues, Karim Radouane, Jose G Moreno, Lynda Tamine

机构 * University of Toulouse（图卢兹大学） ； IRIT（信息与电信科学研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出GeoBenchLLM综合基准，选取12个地理相关公开数据集评估LLMs的地理空间与时间理解能力，发现推理能力与模型规模对性能影响显著，基准可公开获取。

Comments Accepted at CIKM2026

Learning When to Trust via Selective Context Preference Optimization

通过选择性上下文偏好优化学习何时信任

Xian Sun, Wei Chow, Yingshuo Wang, Junhao Liu, Wei Gao, Qing Wu, Lingdong Kong

机构 * Duke University（杜克大学） ； National University of Singapore（新加坡国立大学） ； UC Berkeley（加州大学伯克利分校） ； UC Irvine（加州大学欧文分校） ； Northeastern University（东北大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究针对语言模型易受误导性外部信号影响的问题，提出SCOPE方法，在含四种条件的MIST基准上优化DPO目标，降低SC2W的同时保持正常上下文下的准确率，主张以选择性信任评判模型。

Comments Project Page at https://worldbench.github.io/scope GitHub Repo at https://github.com/worldbench/SCOPE HF Dataset at https://huggingface.co/datasets/worldbench/MIST-Bench

TQLite: Multi-LLM Jury Guided Distillation for Real-time MQM Translation Quality Evaluation

TQLite：多大语言模型评审团引导的蒸馏用于实时MQM翻译质量评估

Bhavin Jawade, Cameron R. Wolfe

机构 * Netflix（网飞公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出TQLite蒸馏框架，通过多LRM评审团生成合成训练数据，使SLMs的MQM翻译质量评估性能远超普通SLM，成为LLM/LRM评估器的高性价比替代方案。

Comments 16 pages, 9 figures

MemArena: An Ego-Centric Benchmark for On-Device Agentic Personal Memory Assistants at Scale

MemArena：面向移动端智能体个人记忆助手的大规模自我中心基准测试

Jiadong Zhang, Xiaosong Ma

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究针对现有记忆基准测试的不足，构建了MemArena基准，评估了不同记忆后端对移动端个人记忆助手的影响，发现后端选择对内容准确性影响更大，权限感知访问失效，搜索延迟仅在阅读器规模极小时有影响。

Comments 48 pages, 6 figures

Obshazard-bench: Benchmarking Multimodal Foundation Models for Real-Time Disaster Intelligence from Raw Earth Observation Streams

Obshazard-bench：面向原始地球观测流的实时灾害情报多模态基础模型基准测试

Fengxiang Wang, Qiuyang Yu, Yueying Li, Mingshuo Chen, Chengchi Fei, Kaiyi Xu, Lixin Gu, Wangxu Wei, Junchao Gong, Lipeng Ma, Jiong Wang, Fenghua Ling, Wenlong Zhang, Xue Yang, Wenjing Yang, Ben Fei, Long Lan

机构 * National University of Defense Technology（国防科技大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究推出Obshazard-bench基准测试，评估多模态基础模型的实时灾害情报能力，发现现有模型在将原始多通道物理观测转化为符合决策需求的灾害推理方面存在显著局限。

Benchmarks Are Not Monolithic: Sample-Level Auditing and Orchestration for LLM Evaluation

基准并非单一整体：面向大语言模型评估的样本级审计与编排

Philipp D. Siedler, Jordan Sassoon

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出样本级审计的元评估框架，标注五大基准的内部异质性，可编排复合基准子集实现模型能力针对性评估，为基准重组提供原则性方法。

Position: Evaluation Scores Are Perishable Knowledge Claims

Position: 评估分数是易逝的知识主张

Sankalp Gilda, Shlok Gilda

机构 * DeepThought Solutions（深度思考解决方案公司） ； Meta ； University of Florida（佛罗里达大学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究指出语言模型评估存在信任膨胀问题，提出将评估分数视为具有形式性、范围性和有效性窗口的认知主张，建议添加元数据并采用最弱链聚合，发现HELM排行榜上两种聚合方式的前五名模型完全不重合。

Comments 7 pages, 1 figure, 1 table. Published at the Fifth Workshop on Generation, Evaluation and Metrics (GEM), ACL 2026, San Diego

Journal ref Proceedings of the Fifth Workshop on Generation, Evaluation and Metrics (GEM), ACL 2026, pages 1029-1035

CRAFT: Learn the Schema, Execute the Plan

CRAFT：学习模式，执行计划

Aakash Kolekar, Sahika Genc, Shahriar Shariat, Bunyamin Sisman, Tibor Mezi, Barbara Poblete, Shree Vandana Kachroo, Calvin Chi, Parth Parmar, Ari Singer, Prayaas Jain, Cindy Barker, Benoit Dumoulin

机构 * Amazon Advertising Foundations（亚马逊广告基金会） ； Amazon Web Services Agentic AI（亚马逊网络服务代理人工智能） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究企业编码代理将自然语言分析请求转换为可执行代码时的问题，提出两阶段训练后方法 CRAFT，先进行模式剥离的 PLAN 监督微调，再用执行形状的强化学习，评估显示其在多方面有提升并减少负担。

AI Assistants Overassist

人工智能助手过度协助

Verona Teo, Raghav Jain, Tobias Gerstenberg, Max Kleiman-Weiner

机构 * Stanford University（斯坦福大学） ； University of California, San Diego（加利福尼亚大学圣地亚哥分校） ； University of Washington（华盛顿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨大语言模型作导师时，其干预方式对学习的影响。介绍Int-Bench基准，模拟学生解题、教师决定干预。在多领域评估大语言模型教师干预情况，并与人类对比，发现其干预频繁且倾向提供完整方案，表明为短期成功而非深层学习优化。

DocOCR-Eval: A Correction-Based Framework for OCR Tool Selection Without Ground Truth

DocOCR-Eval：一种无需真实标签的基于校正的OCR工具选择框架

Zihan Xu, Puzhen Wu, Lawrence Chun Man Lau, Wei Liu, Sirui Li, Yifan Peng, Yihao Ding

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对文档解析中OCR工具选择难题，尤其是标签稀缺情况，提出无标注评估框架DocOCR-Eval。它采用三阶段校正和排序策略，通过跨多个MLLM聚合改善与基于标注排名的对齐，能在现实有限标签设置中实现可靠OCR工具选择并提供实用指导。

Comments Work in progress

An Exam for Active Observers

主动观察者的测试

Jiarui Zhang, Muzi Tao, Shangshang Wang, Ollie Liu, Xuezhe Ma, Willie Neiswanger

机构 * University of Southern California（南加州大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究多模态大语言模型是否具备主动观察能力，引入ActiveVision基准测试，发现前沿模型表现不佳，即便能编写视觉代码差距仍存，表明当前模型缺乏主动视觉观察，呼吁构建闭合感知 - 推理循环的架构和训练目标。

Comments 17 pages, 8 figures, 4 tables. Project page: https://activevision.dev

AVA-VLM: Adaptive Visual Attention-Vision Language Model for In-the-Wild Construction Site Monitoring

AVA-VLM：用于野外建筑工地监测的自适应视觉注意力视觉语言模型

Younggun Kim, Taeheon Kim, Youngseo Kim, Seunghee Park

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； AI+KCIR Global Resilience Research Center（人工智能与韩国气候变化影响韧性研究中心） ； SmartInside AI Co., Ltd.（思玛特因赛德人工智能有限公司） ； Sungkyunkwan University（成均馆大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 针对野外建筑工地监测，提出AVA-VLM自适应视觉注意力视觉语言模型，遵循粗到细推理策略，先对低分辨率全局图像推理，按需请求高分辨率局部裁剪，并引入区域感知思维链数据集，提升了低分辨率下的可靠性并减少视觉令牌使用。

URSA: Chemistry-Aware Benchmark for Utilitarian Retrosynthesis Assessment

URSA：用于功利性逆合成评估的化学感知基准测试

Bogdan Zagribelnyy, Ivan Ilin, Nikita Bondarev, Anton Morgunov, Arkadii Lin, Maksim Kuznetsov, Rim Shayakhmetov, Vladimir Aladinskiy, Alex Aliper, Alex Zhavoronkov

机构 * Insilico Medicine AI Limited（Insilico Medicine AI有限公司） ； Independent researcher（独立研究者） ； Insilico Medicine Canada Inc.（Insilico Medicine加拿大公司） ； Insilico Medicine Hong Kong Ltd.（Insilico Medicine香港有限公司） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对药物发现中合成规划任务，介绍URSA评估框架，能从形式和化学合理性角度评估合成路线，全面评估传统及基于大语言模型的逆合成解决方案，发现大语言模型在解决合成规划任务上不如专业模型。

CausalGame: Benchmarking Causal Thinking of LLM Agents in Games

因果游戏：在游戏中对大语言模型智能体的因果思维进行基准测试

Zhenhao Chen, Yongqiang Chen, Chenxi Liu, Junchi Yu, Xiangchen Song, Zijian Li, Jialin Li, Philip Torr, Bo Han, Kun Zhang

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Hong Kong Baptist University（香港浸会大学） ； University of Oxford（牛津大学） ； New York University, Abu Dhabi（纽约大学阿布扎比分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究旨在通过因果游戏基准测试大语言模型智能体的因果思维能力，让智能体设计实验、收集数据并给出解决方案。设计含多种挑战的场景，发现当前智能体因果思维能力欠佳，为评估提供了测试平台。

Comments Zhenhao, Yongqiang, and Chenxi contributed equally to the project. A short version is accepted at the Forty-Third International Conference on Machine Learning (ICML) 2026 as an Oral presentation. Project website https://causalgame.github.io/

Evaluation of Medical Vision Language Models HuluMed and MedGemma, and general purpose chatbots Gemma 3, ChatGPT Plus, and Claude Pro on real previously unseen wound images

医学视觉语言模型 HuluMed 和 MedGemma 以及通用聊天机器人 Gemma 3、ChatGPT Plus 和 Claude Pro 在真实未见伤口图像上的评估

Yunzhe Xue, Mohammed Saim Ahmed Quadri, Neal Panse, Justin W. Ady, Usman Roshan

机构 * Department of Computer Science, New Jersey Institute of Technology（新泽西理工学院计算机科学系） ； Vascular and Endovascular Surgery, Robert Wood Johnson Hospital（罗伯特·伍德·约翰逊医院血管外科） ； Department of Data Science, New Jersey Institute of Technology（新泽西理工学院数据科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 本研究评估了六种视觉语言模型在慢性伤口分析任务上的表现，发现通用模型 ChatGPT 和 Claude 显著优于医学专用模型，表明广泛的多模态推理能力比领域知识更重要。

Office Comprehension Benchmark

办公室理解基准

Firoz Shaik, Mateus Picanço Lima Gomes, Tanvir Aumi, Jingci Wang, Milos Milunovic, Filip Basara, Ivana Jovanovic, Vishwas Suryanarayanan, Neha Nandan Kenkare, Weiyao Xie, Zhipeng Han, Zheng Zhang, Waleed Shahid, Jay Rathi, Russell Scherer, Thong Q. Nguyen, Michael Bentley, Tamara Stankovic, Rasika Chakravarthy, Vishal Chowdhary

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Office Comprehension Bench，首个联合评估LLM对Word Excel和PowerPoint文件理解的基准，包含文件保真度问答和领域问答两个赛道，测试结构与视觉感知及多领域推理能力。

Testing Frontier Large Language Models' Physics Literacy in Parallel Physical Worlds

测试前沿大语言模型在平行物理世界中的物理素养

Dong Zhang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出四阶段诊断方法评估LLM在陌生物理框架中的推理能力，在三个平行世界测试发现定性-定量不对称及自我审查薄弱。

Comments 37 pages, 2 figures, 9 tables

DysLexLens: A Low-Resource LLM Framework for Analysing Dyslexic Learners Insights from Online Forums

DysLexLens：面向低资源场景的LLM框架，用于分析在线论坛中阅读障碍学习者的见解

Dana Rezazadegan, Atie Kia, Phongpadid Nandavong, Dominique Carlon, Jeremy Nguyen, Abhik Banerjee, James Marshall, Anthony McCosker, Yong-Bin Kang

机构 * Swinburne University of Technology（斯威本科技大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出DysLexLens框架，通过字典过滤、知识图谱推理和评估机制，从低资源论坛数据中分析阅读障碍学习者对AI工具的使用体验。

FlameVQA: A Physically-Grounded UAV Wildfire VQA Benchmark with Radiometric Thermal Supervision

FlameVQA: 一个基于辐射热监督的物理基础无人机野火VQA基准

Mobin Habibpour, John Spodnik, Niloufar Alipour Talemi, Fatemeh Afghah

机构 * National Science Foundation（国家科学基金会） ； NASA（美国国家航空航天局） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 提出FlameVQA，一个基于FLAME 3数据集的无人机野火多选视觉问答基准，利用配对的RGB和辐射热TIFF图像实现温度基础的推理，评估了多种MLLM在检测、定位、覆盖估计等任务上的表现。

Context Recycling for Long-Horizon LLM Inference

长程LLM推理的上下文回收

Derek Thomas

机构 * Independent Researcher（独立研究员） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ContextForge系统，通过结构化查询生成、外部记忆检索和受控合成实现上下文回收，在15轮对话基准中减少令牌消耗并保持回答质量。

FeVOS: Foresight Expression Video Object Segmentation

FeVOS：前瞻性表达视频目标分割

Kehan Lan, Kaining Ying, Henghui Ding

机构 * Institute of Big Data, College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与技术学院大数据研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 提出前瞻性表达视频目标分割任务，通过推理时空线索预测未来目标，并构建FeVOS数据集和FeVOS-R1模型，实现最先进性能。

Comments Accepted by ECCV 2026. Homepage: https://henghuiding.com/FeVOS/

ASAP: Agent-System Co-Design for Wall-Clock-Centered Auto HPO Research for ML Experiments

ASAP: 面向ML实验的以挂钟时间为中心的自动HPO研究的智能体-系统协同设计

Taicheng Guo, Haomin Zhuang, Kehan Guo, Yujun Zhou, Nitesh V. Chawla, Olaf Wiest, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ASAP框架，通过智能体集成多种优化器并利用系统级优化（前缀稳定提示、推测并行、自适应调优）减少端到端挂钟时间，在多样HPO任务中优于基线。

CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression

CAVEWOMAN: 大型语言模型在语言输入和输出压缩下的行为

Morayo Danielle Adeyemi, Ryan A. Rossi, Franck Dernoncourt

机构 * Independent（独立研究者） ； Adobe Research（Adobe研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出双通道评估协议CAVEWOMAN，发现输出压缩降低API模型成本（1.4-2.4倍），输入压缩反而增加成本（~1.15倍）并导致准确率下降和文本偏离。

Deep Research in Physical Sciences: A Multi-Agent Framework and Comprehensive Benchmark

物理科学中的深度研究：多智能体框架与综合基准

Yigeng Jiang, Tengchao Yang, Taoyong Cui, Jiaxing Wan, Yuan Wang, Weida Wang, Zhiyu Liu, Chuyi Peng, Binzhao Luo, Maoli Gao, Huaihai Huang, Yuqianer Zeng, Ziyang Zheng, Dongchen Huang, Chao Chen, Zichao Liu, Weiping Shen, Shuchen Pu, Siyu Zhou, Runmin Ma, Yusong Hu, Fei Chao, Bo Zhang, Xiawu Zheng, Zifu Wang, Lei Bai, Yunqi Cai, Shufei Zhang

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 提出PhySciBench基准评估LLM在物理科学中的深度研究能力，并开发DelveAgent多智能体框架，通过自适应规划、双粒度记忆和分层反思机制提升准确率并降低推理成本。

Comments v3: fix error and add data, codes publicly link on Abstract

FiLM-Coordinated Dual-Branch Transformer for Global-Local Dependency Modeling in Language Modeling

FiLM协调的双分支Transformer用于语言建模中的全局-局部依赖建模

Zhiqiang Zhou, Xu Ling, Junliang Dai

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出FiLM协调的双分支Transformer，通过特征级线性调制动态协调全局与局部分支，在轻量级设置下优于单分支基线。

Comments 14 pages, 7 figures, 7 tables. Small-scale language modeling study on FiLM-coordinated dual-branch Transformer architectures, including multi-seed evaluation, cross-dataset validation, ablation studies, efficiency analysis, and parameter-matched fairness baselines

From Knowing to Acting: Benchmarking Self-Awareness Capability of LLM Agents

从知道到行动：基准测试LLM代理的自我意识能力

Yifan Li, Shengbin Yue, Boyu Feng, Jinhu Qi, Bo Ke, Zixing Song, Hongru Wang, Zhongyu Wei, Irwin King

机构 * The Chinese University of Hong Kong（香港中文大学） ； Fudan University（复旦大学） ； University of Edinburgh（爱丁堡大学） ； Tencent（腾讯） ； University of Bristol（布里斯托大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出KAPRO框架和KAware数据集，通过解耦元认知判断与自主执行，评估LLM代理的自我意识能力，发现其与任务成功强相关但在内部能力场景中下降，开源模型易过度使用工具。

Lost in Aggregation: A Multi-Scale Diagnostic Benchmark for LLM Spatial Navigation

迷失在聚合中：LLM空间导航的多尺度诊断基准

Yuhan jiang, Peng Luo, Liqiu Meng

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 提出多尺度诊断基准，将迷宫导航分解为局部、节点和全局三个认知层次，评估LLM在空间推理中的失败位置，发现跨尺度聚合是主要瓶颈。

PowerAgentBench-Dyn: A Benchmark for Agentic AI in Power System Dynamic Studies

PowerAgentBench-Dyn：电力系统动态研究中智能体AI的基准测试

Qian Zhang, Andrea Pomarico, Costas Mylonas, Magda Foti, Alberto Berizzi, Le Xie

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 提出PowerAgentBench-Dyn基准，用于评估基于LLM的智能体在电力系统动态分析任务中的能力，涵盖模型质量审查和安全风险筛选两个任务。