大模型推理能力

CurveShift: Is Agent Progress Scalar? Separating Level from Shape

CurveShift：智能体的进展是标量吗？区分水平与形态

Hanwen Xing, Pengyun Wang, BingXu Meng, Kumail Alhamoud, Xiang Li, Jicheng Wang, Xin Yu, Xinyang Han, Xiaomin Li, Philip Torr, Yuexing Hao

机构 * University of Southern California（南加利福尼亚大学） ； University of Chicago（芝加哥大学） ； University of California, Berkeley（加利福尼亚大学伯克利分校） ； Massachusetts Institute of Technology（麻省理工学院） ； Stanford University（斯坦福大学） ； University of California, Davis（加利福尼亚大学戴维斯分校） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Harvard University（哈佛大学） ； University of Oxford（牛津大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对大型语言模型进展的标量总结问题，通过LiveCodeBench基准分离混淆，发现2024年9月后发布的模型在竞赛编程难任务上有超出预期的增益，发布了相关数据集与代码。

Comments 25 pages, 4 figures, 7 tables. Data and code: https://github.com/harvenstar/CurveShift

CLQT: A Closed-Loop, Cost-Aware, Strategy-Consistent Benchmark for Diagnostic Evaluation of LLM Portfolio-Management Agents

CLQT：用于LLM投资组合管理代理诊断评估的闭环、成本感知、策略一致性基准

Bo Qu, Mingguang Chen

机构 * Illinois Institute of Technology（伊利诺伊理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出CLQT基准，通过闭环交易环境诊断LLM代理的决策过程，而非仅排名收益，评估五个维度的能力。

Comments 56 pages, 15 figures, 15 tables

The inattentional gap in task conditioned AI models that omit otherwise reportable safety critical signals

注意间隙：任务条件化的语言和视觉模型忽略它们本可报告的安全关键信号

Kwan Soo Shin

机构 * PolymathMinds Lab（PolymathMinds 实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究揭示任务条件化会导致语言和视觉模型抑制对共存安全关键信号的报告，形成“注意间隙”，且该现象在多种模型和任务中普遍存在，不随规模增大而减弱，使基准安全与实际安全脱钩。

Comments 62 pages (31-page article and 31-page supplementary information), 8 figures, 4 tables. v3: corrects the author metadata to the sole author, Kwan Soo Shin; revised title and abstract; adds cross-vendor and flagship validation, signal-detection and specified-task controls, and dual-process probes. Reproducibility deposit: doi:10.5281/zenodo.20826823

Keyless Attention: Value-Space Routing and Value-Only Caching for Efficient Transformers

无键注意力：面向高效Transformer的值空间路由与仅值缓存

Xin Gao, Xingming Xu

机构 * York University（约克大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出无键注意力机制，通过消除键投影并仅使用查询和值，实现50%的KV缓存减少，同时匹配或超越标准注意力的解码吞吐量，并在多个模型上达到相当或更优的困惑度与下游任务性能。

Comments 17 pages, 6 figures

When LLM Essays Outscore Student Essays: What a Korean Writing Rubric Rewards and Where Readers Disagree

从直觉到校准判断：基于评分标准的专家小组研究人类对LLM生成韩语文本的检测

Shinwoo Park, Yo-Sub Han

机构 * Yonsei University（延世大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过三阶段盲 longitudinal 研究评估人类对LLM生成韩语文本的判断，提出LREAD框架提升准确性与一致性，证明评分标准辅助判断能提高检测效果。

MENTOR: A Metacognition-Driven Self-Evolution Framework for Uncovering and Mitigating Implicit Domain Risks in LLMs

MENTOR: 一种元认知驱动的自我进化框架，用于发现和缓解大语言模型中的隐式领域风险

Liang Shan, Kaicheng Shen, Wen Wu, Zhenyu Ying, Chaochao Lu, Yan Teng, Jingqi Huang, Qingshan Liu, Guangze Ye, Guoqing Wang, Jie Zhou, Liang He

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Shanghai AI Lab, Shanghai Innovation Institute（上海人工智能实验室，上海创新研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型在特定领域（如教育、金融、管理）中存在的隐式安全风险，提出基于元认知自我评估和动态规则知识图谱的MENTOR框架，通过激活级引导信号有效降低攻击成功率。

Semantics of Subterfuge: Benchmarking Legal Deception Detection Against General-domain State-of-the-Art

欺骗的语义：针对通用领域最先进模型的法律欺骗检测基准测试

Theekshana Samaradiwakara, Nisansa de Silva, George C. Lobb

机构 * University of Moratuwa（莫拉图瓦大学） ； The Law Office of George C. Lobb（乔治·C·洛布律师事务所） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本文针对法律领域的自动欺骗检测，对比了微调Transformer模型与大型语言模型在通用和法律数据集上的表现，发现领域敏感性显著，思维链提示效果逊于直接分类，强调需开发适配法律领域的可解释系统。

Comments 5 pages paper

Journal ref ICAIL 2026

When Iterative RAG Beats Ideal Evidence: A Diagnostic Study in Scientific Multi-hop Question Answering

当迭代RAG优于理想证据：科学多跳问答中的诊断研究

Mahdi Astaraki, Mohammad Arshi Saloot, Ali Shiraee Kasmaee, Hamidreza Mahyar, Soheila Samiee

机构 * Faculty of Engineering, McMaster University, Canada（麦斯特大学工程学院，加拿大） ； BASF Canada Inc., Canada（巴斯夫加拿大公司，加拿大） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 通过化学多跳问答数据集，诊断发现迭代检索-推理循环在科学领域显著优于静态RAG上限，揭示了阶段式检索的优势与失败模式。

Comments 51 pages, 29 figures, Published in Transactions on Machine Learning Research (05/2026). OpenReview: https://openreview.net/forum?id=pa5TnBdyDP

Journal ref Transactions on Machine Learning Research (05/2026), ISSN 2835-8856

Towards the Holographic Characteristic of LLMs for Efficient Short-text Generation

向LLMs的全息特性迈进：为高效短文本生成而努力

Shun Qian, Bingquan Liu, Chengjie Sun, Zhen Xu, Baoxun Wang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Platform and Content Group, Tencent（腾讯平台与内容组） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出HOLO插件，利用语言模型的全息特性提升短文本生成效率，通过提取目标关键词并补充平行文本生成，实现高效生成。

Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations

公平剪枝：通过差分激活定位GLU-MLP层中的人口统计偏差

Pere Martra, Eugenio Martínez Cámara, Alfonso Ureña López

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出Fairness Pruning方法，通过最小对比提示对与激活捕获定位LLM的GLU-MLP层中人口统计偏差神经元，经实验验证该方法可针对性调控偏差且对模型能力影响极小。

Comments 15 pages, 3 figures, 9 tables. Code and datasets publicly available

Echoverse: Deep, Evolving Environments for Training Computer-Use Agents at Scale

Echoverse：用于大规模训练计算机使用智能体的深度演化环境

Yash Pandya, Sahil Gupta, Sarthak Harne, Archana Yadav, Kavyansh Chourasia, Hussein Mozannar, Vibhav Vineet, Sara Abdali, Corby Rosset, Yash Lara, Ahmed Awadallah, Ece Kamar, Akshay Nambi

机构 * Microsoft Research（微软研究院） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 Echoverse是用于大规模训练计算机使用智能体的深度演化环境，其协同演化循环可提升智能体性能，经12个环境训练后9B模型准确率大幅提升，还发布了基准环境与代码

From Single- to Cross-Document: Benchmarking Multi-Granularity Event Analysis of Large Language Models

从单文档到跨文档：大语言模型多粒度事件分析的基准测试

Tao Wen, Shuai Shao, Pei Ke, Xu Han, Jie Zou, Guannan Li, Tao Tian, Jinjie Qiu, Lan Wang, Ke Qin

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文推出MiGUE-Bench基准及MiGUE-Pipeline框架，通过四项核心任务评估LLMs多粒度事件分析能力，明确其能力边界与缺陷，为该领域改进提供方向。

Comments 9 pages. Published in the Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)

Journal ref Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '26), pp. 3464-3472, 2026

Dimensionality and Measurement Precision in HLE's Multiple-Choice Subset

HLE多项选择子集的维度与测量精度

Mayank Sharma, Savira Nadela, Tyler Matteson

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究评估29个LLM在HLE多项选择子集上的表现，发现HLE仅测量单一一般推理因素，其领域子分数不具区分能力，且对前沿模型的区分能力有限。

Who Grades the Grader? Co-Evolving Evaluation Metrics and Skills for Self-Improving LLM Agents

谁来评估评估者？用于自我改进的语言模型代理的协同进化评估指标和技能

Xing Zhang, Guanghui Wang, Yanwei Cui, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He

机构 * Amazon（亚马逊） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.CL、cs.AI

AI总结 研究自我进化智能体系统中评估指标缺失问题，提出指标可进化，通过“双棘轮”协同进化指标与技能循环，在多任务中保留提升效果，还阐述安全性源于锚定规则与外部审核，为无可靠自动验证器场景提供架构。

Comments Code: https://github.com/amazon-science/Self-Evolving-Agents-Double-Ratchet

Hearsay: Vision-Language Medical Diagnoses Without an Image

Hearsay：无需图像的视觉-语言医学诊断

Siddharth Vohra

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Amazon Web Services AI Native（亚马逊网络服务AI原生部门） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究发现前沿视觉-语言模型在无图像时会基于人口统计学特征编造医学诊断，存在不同失败模式，提出需直接审计其结构化输出通道并将探针词敏感性作为核心评估维度。

Comments Peer-reviewed and presented at the 1st Workshop on Toward Trustworthy Vision-Language Models in the Wild (TrustVLM), co-located with ACM ICMR 2026, Amsterdam. Non-archival workshop. Reviews public on OpenReview. 5 pages, 2 figures

ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models

ForgetBench：语言模型中长期参数记忆的遗忘动态基准测试

Ruxi Gu, Zhenliang Zhang, Wei Wang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出ForgetBench基准测试，通过两种评估范式与统一分析框架，揭示现有LLMs在长期知识保留与泛化间难以平衡的问题，为未来模型记忆机制优化提供方向。

Comments 9 pages, 4 figures

Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach

对齐大语言模型模拟与人类应试者的心理测量校准：一种认知诊断画像方法

Wenjie Zhou, Yunting Liu, Renjiao Tang, Mark Wilson

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出认知诊断画像（CDP）零样本框架，优化LLM模拟应试者的心理测量对齐，在Tatsuoka分数减法数据集上提升了能力分布、掌握画像及题目难度与人类的匹配度，助力LLM模拟应试者用于测试开发。

Detecting Knowledge Inconsistencies Across Text, Tables, and Knowledge Graphs

跨文本、表格和知识图谱检测知识不一致性

Fanfu Wei, Thibault Ehrhart, Raphaël Troncy

机构 * EURECOM（欧洲电信学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究跨文本、表格和知识图谱的知识不一致性检测问题，提出\textsc{Kontrast}框架，通过文本到SPARQL和语言模型推理比较并分类不一致性，实验表明跨模态不一致性常见且有价值，为知识审计提供工具并建立基准。

CausalGate: Causal Importance Distillation for Transformer Module Pruning

因果门控：用于Transformer模块剪枝的因果重要性蒸馏

Kiran Nair, Smriti Regmi, Rodrigue Rizk

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对大语言模型自适应推理方法不足，提出CausalGate框架，在校准阶段隔离子层测量语义损伤，再用特定目标和损失将结构重要性提炼为标量门控，经实验验证其在多模型上优于基线，能降低硬件延迟且无操作开销。

Comments In-Review at a conference

VistaHop: Benchmarking Long-Horizon Visual DeepSearch

VistaHop: 视觉深度搜索的多跳视觉推理基准

Hang He, Chuhuai Yue, Chengqi Dong, Chengcheng Wan, Ting Su, Haiying Sun, Jiajun Chai, Xiaohan Wang, Guojun Yin

机构 * East China Normal University（东华大学） ； Meituan（美团） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出VistaHop基准，通过多跳问答任务评估多模态大推理模型在视觉深度搜索中的迭代图像检查、视觉锚点定位和跨证据链推理能力，实验表明现有模型表现有限。

TANDEM: Temporal-Aware Neural Detection for Multimodal Hate Speech

TANDEM: 面向多模态仇恨言论的时间感知神经检测

Girish A. Koushik, Helen Treharne, Diptesh Kanojia

机构 * Nature-Inspired Computing & Engineering, University of Surrey（Surrey大学自然启发计算与工程系） ； Surrey Centre for Cyber Security, University of Surrey（Surrey大学网络安全中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出TANDEM统一框架，通过串联强化学习策略联合优化视觉-语言和音频-语言模型，将音频-视觉仇恨检测转化为结构化推理问题，在HateMM上目标识别F1达0.73（提升30%），并保持精确时间定位。

Comments Accepted to AAAI-ICWSM 2027

Addressable Recall Compaction for Long Context-Window Control in AI Agents

用于人工智能代理中长上下文窗口控制的可寻址召回压缩

Thang Dang, Yuma Ichikawa, Sakina Fatima, Koichi Shirahata

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对长时程语言模型代理上下文窗口超界问题，提出ARC框架，将存档与活动上下文分离，以ID可寻址日志存储工具观察结果，压缩时替换旧观察结果。实验表明该方法能提高信息保留和服务效率。

Comments 20 pages, 2 figures

Aletheia: An Offline-First Clinical Decision Support System for Differential Diagnosis in Low-Resource Healthcare Settings

Aletheia：用于低资源医疗环境中鉴别诊断的离线优先临床决策支持系统

Joseph Walusimbi, Ann Move Oguti, Abubakhari Sserwadda, Precious Boss Kasasira, Charles Brian Okoboi

机构 * Soroti University（索罗蒂大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对撒哈拉以南非洲低资源医疗环境，提出基于Qwen2.5 - 3B - Instruct并经QLoRA微调的Aletheia临床决策支持系统，评估显示其在诊断准确率等指标上表现良好，证明在无云设施的资源受限环境初级保健层部署大语言模型临床推理的可行性。

Comments 8 pages, 11 figures, 4 tables

RSMeM: Knowledge-Enhanced Memory Evolution for Remote Sensing Agents with Systematic Evaluation

RSMeM：用于遥感智能体的知识增强记忆进化及系统评估

Bingxian Wu, Yu Zhang, Zonghao Guo, Tang Liu, Chen Qian, Yuxiang Lu, Xingbo Du, Yanghao Li, Yidan Zhang, Chi Chen, Ling Yao, Maosong Sun

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有遥感智能体问题，提出RSMeM机制，通过分层知识基础和失败感知经验提炼两个组件，迭代吸收领域知识转化为执行经验，经实验验证能提升工具使用性能和答案质量，具有强大知识密度。

Comments Accepted to ACL 2026 Main. Code: https://github.com/AI9Stars/RSMeM

Principles and Guidelines for Randomized Controlled Trials in AI Evaluation

人工智能评估中随机对照试验的原则与指南

Christopher Kelly, Angelica Chowdhury, Alexandra Campili, Bimpe Ayoola, Devin Barbour, Thomas Chen Dawson, Ze Shen Chin, Rokas Gipiškis

专题命中 推理评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对人工智能评估随机对照试验缺乏通用标准和共享词汇的问题，借鉴多学科实践综合五条原则，形成33条可操作指南，为其发挥设计工具、评估标准和标准制定蓝图的作用，提供评估标准、共享语言及指南。

Comments 33 pages, ICML 2026 (Workshop on Technical AI Governance Research) and Technical AI Safety Conference

Closed-Loop Validation-Repair for Healthcare Interoperability: A Multi-Model Study of Schema Compliance in Clinical LLMs

医疗保健互操作性的闭环验证修复：临床大语言模型中模式合规性的多模型研究

Jianru Shen

机构 * University of Montana（蒙大拿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究医疗大语言模型集成到电子健康记录系统面临的模式不合规问题，通过在多场景下部署三个开源模型并评估，发现模式不合规具有一致性，验证 - 修复框架可有效提高合规率，为医疗互操作性提供保障。

Comments Accepted at the 2026 IEEE International Conference on Systems, Man, and Cybernetics (SMC 2026)

Understanding Tone-Dependent Inference Cost in Large Language Models

理解大语言模型中与语气相关的推理成本

Akhil Kumar, Om Dobariya

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究提示语气对大语言模型答案准确性及推理成本的影响，通过在MMLU数据集上对七种语气进行实验，发现输出令牌长度变化超准确性变化，不同模型在不同语气下有不同表现，揭示语气对答案质量和推理资源消耗的作用。

Comments 16 pages, 1 figure, 9-page Appendix

Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking

新主张还是似曾相识？重新思考多模态自动事实核查的“无污染”动态评估

Haorui He, Xinwen Chen, Dacheng Wen, Reynold Cheng, Francis C. M. Lau, Yupeng Li

机构 * Hong Kong Baptist University（香港浸会大学） ； The University of Hong Kong（香港大学） ； Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态自动事实核查中基准的污染风险，通过实证研究静态和动态基准，发现动态评估虽能减少但不能消除污染，新主张可多种方式验证，污染会致性能膨胀和排名扭曲，为可信评估提供实用指南。

Comments Accepted at ACM Multimedia (ACM MM), 2026

Structure Over Scale: Schema-Constrained Causal Graphs for RAG

结构跨越尺度：用于检索增强生成的模式约束因果图

Marc Saouda, Rajprakash Bale, Eren Aldis, Cloves Almeida

机构 * Boston Consulting Group（波士顿咨询集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对GraphRAG问题，提出HCG-RAG，用模式约束因果图取代开放式提取，构建紧凑两层图。该方法成本低，答案质量优，在医学等基准测试中表现出色，对比实验显示因果图作为检索过滤器有优势，表明图内容比节点数量更重要。

Comments 26 pages, 6 figures

$τ$-Rec: A Verifiable Benchmark for Agentic Recommender Systems

$τ$-Rec：面向智能推荐系统的可验证基准

Bharath Sivaram Narasimhan, Karthik R Narasimhan

机构 * Independent Researcher（独立研究员） ； Princeton University（普林斯顿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对多轮对话式智能推荐系统评估中主观性强、成本高的问题，提出$τ$-Rec基准，通过可验证奖励和揭示标记引导机制，结合pass^k可靠性指标，系统评估模型推理一致性，发现当前最佳模型可靠性仅约57%。

Comments Accepted at ACM RecSys 2026 (Reproducibility and Resource Track)