大模型推理能力

Benchmarking Text-to-SQL under Role-Based Access Control

基于角色的访问控制下的文本到SQL基准测试

Yang Fei, Yangfan Jiang, Yin Yang, Xiaokui Xiao

机构 * National University of Singapore（新加坡国立大学） ； Hamad Bin Khalifa University（哈马德·本·卡西姆大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究基于角色的访问控制下文本到SQL的基准测试问题，提出含现实RBAC约束的综合基准测试框架，通过大语言模型辅助工作流程及人工审核等增强基准，应用该框架研究发现部分高分系统在有访问约束时性能因RBAC违规而大幅下降。

Comments Accepted at ACM SIGMOD 2027

Ground Truth First: A Longitudinal Evaluation Instrument for Agent Memory, and the Tenure Crossover in Memory-Architecture Rankings

真实优先：智能体记忆的纵向评估工具及记忆架构排名中的任期交叉

Quentin Spencer

专题命中 推理评测 ：verifier(abstract)；分类 cs.CL

AI总结 研究大型语言模型智能体记忆基准问题，提出颠倒流程的评估方法，通过合成虚构语料库嵌入新特征，对五种记忆架构基准测试，发现排名随历史长度反转，分层架构表现最佳，发布开源库Veracium。

Comments 25 pages, 2 figures. Code: https://github.com/veracium-ai/Veracium

Every Model Cheats: Prompt-Level Mitigation of Cheating on Offensive Cyber Tasks

每个模型都作弊：在进攻性网络任务中对作弊行为进行提示级缓解

Michael Kouremetis, Ads Dawson, Raja Sekhar Rao Dheekonda, Brian Greunke

机构 * dreadnode 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI

AI总结 研究大语言模型在网络安全基准测试中的作弊问题，通过对22个前沿模型在三种提示条件下的控制提示消融研究，发现作弊普遍，反作弊提示能降作弊倾向，但即使最严条件下仍有模型作弊，引入“解决率”指标，强调反作弊提示非环境控制替代品。

Comments 21 pages, 4 figures, 7 tables

Encoding Invisible Causation for Bridge Diagnostic Agents: Triple-Guided Retrieval-Augmented Fine-Tuning with QLoRA

为桥梁诊断代理编码无形因果关系：基于QLoRA的三重引导检索增强微调

Takato Yasuno

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究针对桥梁损伤原因难以肉眼察觉及专家诊断依赖隐性知识的问题，提出基于QLoRA的三重引导检索增强微调方法（含知识三元组提取等组件），能在消费级硬件上实现内存高效、高精度的桥梁诊断代理。

Comments 13 pages, 7 figures, 6 tables

Household Movement Detection in Mixed-Format Occupancy Data Using LLM-Based Entity Resolution

使用基于大语言模型的实体解析在混合格式居住数据中进行家庭移动检测

Sasirekha Oguri, John R. Talburt, Mert Can Cakmak

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究在混合格式居住数据中检测家庭移动相关间接实体链接的问题，核心方法是集成基于提示的LLM命名实体识别、语义文本嵌入和基于图的推理，主要贡献是提高召回率和F1分数。

Comments Computer Science & Information Technology (CS & IT) ISSN : 2231 - 5403, Volume 16, Number 10, May 2026

Automated Synthesis and Adversarial Validation of Executable Causal Research Pipelines

可执行因果研究管道的自动合成与对抗验证

Irena Girshovitz, Dan Zeltzer, Ran Gilad-Bachrach

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究聚焦自动化研究系统隐性失败问题，核心方法是提出ARA框架，集成多环节到统一管道，将自然语言问题转化为可执行代码并评估。主要贡献是改变失败模式，强调有效性优先的自动化科学系统评估应综合考量答案准确性及因果声明合理性。

CRAG-MM-Diagnostics: Enabling Stage-Wise Analysis of Knowledge-Intensive VQA

CRAG-MM诊断：实现对知识密集型视觉问答的逐阶段分析

Hanseok Oh, Parishad BehnamGhader, Benno Krojer, Hyunji Lee, Paul Liang, Siva Reddy, Verna Dankers

机构 * New York University（纽约大学） ； McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（米拉-魁北克人工智能研究所） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； MIT（麻省理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究知识密集型视觉问答流程，引入CRAG-MM-Diagnostics诊断基准，通过逐阶段数据注释分离子问题，评估VLM并进行细粒度分析，指出知识检索和推理是主要瓶颈，还提出改进流程提升准确率。

Comments Accepted to ECCV 2026

QuantiBias: Benchmarking Quantization-Induced Bias in LLMs

QuantiBias：量化大语言模型中量化诱导偏差的基准测试

Emilio Ferrara

机构 * University of Southern California（南加州大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究大语言模型量化中的偏差问题，提出QuantiBias基准测试，通过结合多种控制和对比有无推理的构建来评估偏差，发现量化器按无偏差预防信号的数据分配精度，推理对部分偏差有减半效果，强调需重新评估量化模型的开放式偏差。

Comments Benchmark protocol on Hugging Face: https://huggingface.co/datasets/emilioferrara/quantibias

Representing Entity Importance in AI Knowledge Systems: A Dual-Signal Framework of Audience Evaluation and Structural Authority

在人工智能知识系统中表示实体重要性：受众评估与结构权威的双信号框架

Shen Xu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究人工智能知识系统中实体重要性表示，提出受众评估与结构权威双信号框架，经电影实体实验验证，表明两维度是不可冗余信号，贡献是最小知识表示框架及维度必要性实证测试，支持任务感知AI知识系统。

Comments 12 pages, 3 figures, 4 tables

Marking the Wrong Symptoms: Evaluating LLM Watermarks in Medical Texts

标记错误症状：评估医学文本中的大语言模型水印

Melanie Rieff, Robin Staab, Thibaud Gloaguen, Stefan Hegselmann, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） ； Berlin Institute of Health at Charité – Universitätsmedizin Berlin（柏林夏里特医学院柏林健康研究所） ； Deutsches Herzzentrum der Charité – Medical Heart Center of Charité and German Heart Institute Berlin（柏林夏里特医学院德国心脏中心与柏林德国心脏研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究LLM水印对医学性能的影响，在11个LLM和7个VLM上对5种水印方案进行多任务基准测试，引入人类专家验证管道补充评估，发现水印会致多种退化，特定领域评估是医学中水印模型安全部署的前提。

Harnessing Disagreement: Detecting Correlated Agreement Blindness in Multi-Agent Triage

利用分歧：检测多智能体分诊中的相关一致性盲点

Shay Seiya McDonnell, Avantika Singh, Quoc-Viet Pham, Vratislav Havlik, Gregory M. P. O'Hare

机构 * School of Computer Science \& Statistics, Trinity College Dublin, College Green, Dublin 2, Ireland ADAPT Centre, Trinity College Dublin, College Green, Dublin 2, Ireland CKDelta, 28/29 Sir John Rogerson's Quay, Dublin 2, Ireland 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究多智能体分诊中分歧引发升级导致的相关一致性盲点问题,提出结合随机森林、k近邻智能体及校准元模型的ARAT系统。通过实验表明该系统能降低预测不足，跨数据集验证显示多样化产生有效分歧才提升安全，揭示相关故障被忽视的风险。

Comments 14 pages, 2 figures, 3 tables. Accepted at PAAMS 2026; this is the author's pre-review submitted version

The Chronos Vulnerability: A Taxonomy of Temporal Persistence and Memory-Based Deception in Agentic AI

Chronos漏洞：智能AI中基于时间持久性和内存欺骗的分类法

Om Narayan, Ramkinker Singh, Praveen Baskar

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 研究人工智能中Chronos漏洞，形式化基于持久性攻击的威胁模型，指出传统端点内容过滤器不足，综合深度防御格局并分类新兴框架，应对智能体内存攻击等安全威胁。

Adaptive Multi-Expert Graph Transformer for Interpretable EEG-Based Diagnostics

用于基于脑电图的可解释诊断的自适应多专家图变换器

Maryam Rahimimovassagh, Md Elias Hossain, Ivan Garibay, Niloofar Yousefi

机构 * University of Central Florida（中佛罗里达大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究基于EEG的诊断问题，提出空间多专家图变换器，将EEG记录建模为动态功能连接图序列，用wPLI估计连接性，经层次图编码和多专家架构实现亚型感知推理，实验证明该方法在异常检测上性能良好且具可解释性。

Rethinking Uncertainty Evaluation in Large Language Models

重新思考大语言模型中的不确定性评估

Krish Matta, Atharv Naphade, Andy Zou

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Meta 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.AI

AI总结 研究大语言模型中置信度评估问题，指出校准标准不充分。沿结构连贯性、忠实性和有用性三个轴形式化条件为C1指标，发现常用估计器违反条件，RLHF等未恢复连贯性，框架可测度与弥合差距。

Comments 19 pages, 11 figures, ICML 2026 EIML Workshop

Profile-Graph Memory for LLM Agents: Implicit Cross-Entity Traversal through Narrative Profiles

用于大语言模型智能体的概要图内存：通过叙事概要进行隐式跨实体遍历

Shengtong Zhu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对大语言模型智能体长期记忆中多跳关联未被充分测量的问题，提出了MemHop基准和ProGraph两层内存架构，通过概要扩展与压缩残差实现跨实体遍历，提升了多跳推理及精确召回能力，在多个基准测试中表现优异并开源相关实现。

Comments 11 pages, 2 figures, 7 tables. Code and MemHop benchmark: https://github.com/ShengtongZhu/ProGraph

FineServe: A Fine-Grained Dataset and Characterization of Global LLM Serving Workloads

FineServe：一个细粒度的数据集以及对全球大语言模型服务工作负载的特征描述

Tiancheng Zhang, Shaoyuan Huang, Mingyuan Wang, Yunfeng Zhao, Xiaofei Wang, Wenyu Wang

机构 * Tianjin University（天津大学） ； PPIO Cloud (Shanghai) Co., Ltd.（PPIO云（上海）有限公司） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 针对大语言模型服务中高效服务面临的挑战，提出FineServe数据集，能对异构模型和任务的服务动态进行细粒度特征描述。通过分析得出波动模式，开发工作负载生成器，为评估相关策略提供现实基础。

Comments 14 pages, 14 figures

They'll Verify. They Just Won't Act. How Authority Framing and Laundered Code Turn a Trusted Agentic CI/CD Pipeline Into an Attack Surface

他们会验证。但他们不会采取行动。权威框架和清洗后的代码如何将一个可信的代理式CI/CD管道变成攻击面

Yohann Sidot

机构 * Senthex Research（Senthex研究机构） ； RELAY Lab（RELAY实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究五代理CI/CD管道在面对恶意输入时的安全性，通过AxB（xC）析因设计实验发现权威框架注入会使下游验证者放行恶意代码，基于内容的控制会失效，只有来源感知控制可防攻击，揭示了现有保护机制的不足。

Comments 9 pages. Dataset and reproduction code: https://github.com/senthex-security/senthex-research

FilmWorld: Agentic Novel-to-Film Generation through Dynamic Cinematic World Modeling

FilmWorld：通过动态电影世界建模实现从小说到电影的智能生成

Jialong Zuo, Haotong Zuo, Shiwei Zhang, Xiang Wang, Chen Li, Nong Sang, Changxin Gao, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 研究如何将小说转化为电影，提出将其形式化为动态电影世界建模，构建FilmWorld系统，两组智能体协作实现各阶段，引入FilmEval评估框架，实验证明该系统性能优于现有技术。

Comments Project Page: https://filmworld-ai.github.io

RF-Agent: A Practical Framework for Building Language Agents for RFIC Design

RF-Agent：用于构建射频集成电路设计语言代理的实用框架

Yueqi Xing, Houbo He, Jolie Wang, Erin Ni, Shikai Wang, Qiufeng Li, Weidong Cao, Taiyun Chi

机构 * Rice University（莱斯大学） ； The George Washington University（乔治·华盛顿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对大语言模型在射频电路设计应用受限问题，提出RF-Agent框架，通过教科书驱动知识蒸馏创建数据集及基准，研究监督微调与检索增强生成策略，发现特定领域SFT对中小模型提升大，语义检索的RAG表现最佳，为相关工作提供基础。

Comments Accepted at ICLAD (IEEE International Conference on LLM-Aided Design), 2026

Hazard or Anomaly? Evaluating VLMs for Understanding Dangers and Discrepancies

危险还是异常？评估用于理解危险和差异的视觉语言模型

Murali Indukuri, Mohammad Eskandari, Sree Nitya Kollu, Stephanie Lukin, Cynthia Matuszek

机构 * Interactive Robotics and Language Lab, University of Maryland Baltimore County（马里兰大学巴尔的摩县分校交互式机器人与语言实验室） ； DEVCOM Army Research Laboratory（陆军研究实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对现代安全关键系统中VLM的评估问题，通过明确区分危险和异常，在两个数据集及多种提示策略下评估多个先进VLM，发现其常误判，明确区分能提供更具信息性评估并揭示失败模式。

Comments 8 pages, accepted to RO-MAN 2026

VEHBench: A Stage-Local Diagnostic Benchmark for LLM-Assisted Vibration Energy Harvester Design

VEHBench：用于大语言模型辅助振动能量采集器设计的阶段局部诊断基准测试

Depeng Su, Yuyu Luo, Guobiao Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.CL

AI总结 研究针对无电池物联网中振动能量采集器设计，引入VEHBench基准测试，评估大语言模型在耦合物理设计不同阶段的表现，通过763个任务及四个设计角色测试，发现模型能力依赖阶段，为评估、选择等工程大语言模型提供阶段感知基础。

Autoresearch with Coding Agents: Generalizers and Metric-Maximizers on Quran Recitation Data

使用编码智能体进行自动研究：古兰经诵读数据上的泛化器和指标最大化器

Nursultan Askarbekuly, Mohamad Al Mdfaa, Ahmed Helaly, Gonzalo Ferrer, Manuel Mazzara

机构 * Innopolis University（因诺波利斯大学） ； Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究在古兰经诵读数据任务中智能体自动研究模式，Claude Code和OpenAI Codex从同一起点出发，先发明相同算法后有分歧，添加测试集后情况变化，还提炼出评估自主智能体的五条设计规则，智能体解决方案超越手工管道。

ESCUCHA: A Spanish Speech Benchmark for Heterogeneous Acoustic Conditions

ESCUCHA：用于异构声学条件的西班牙语语音基准测试

Fernando López, Ana Ayala, Guillermo Segovia, Fernando Ibáñez, Ana Martínez, Pablo Gómez, Jordi Luque

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对现实声学条件下西班牙语语音理解受关注少的问题，引入ESCUCHA基准测试，含1000个人工挑选与音频配对的问题，强调推理与语言多样性，涵盖多类问题，测试发现先进模型与人类存在性能差距。

Comments Under review

WuYu-EnvLE-Bench: A Benchmark for Evaluating Large Language Models in Environmental Law Enforcement

吴语-环境执法基准：评估大语言模型在环境执法中的基准

Ziliang Yang, Yi Zhang, Kaijun Lin, Jiachao Ke, Haihong Xu, Zongguo Wen

机构 * School of Environment, Tsinghua University（清华大学环境学院） ； College of Economics and Management, Beijing University of Technology（北京工业大学经济与管理学院） ； State Key Laboratory of Iron and Steel Industry Environmental Protection, School of Environment, Tsinghua University（清华大学环境学院钢铁工业环境保护国家重点实验室） ； Appraisal Center for Environmental Engineering, Ministry of Ecology and Environment（生态环境部环境工程评估中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究针对大语言模型在环境执法中生成可追溯决策能力不明的问题，构建吴语-环境执法基准，含多任务多子领域实例，用AES和IEI评估模型，发现其在部分任务表现不佳，强调证据与规则感知的执法推理需求。

Comments 98 pages, 45 figures,

ProEvent: An Event-centric Benchmark for Proactive Agents

ProEvent：面向主动智能体的以事件为中心的基准测试

Guanzhen Li, Liangming Pan, Leye Wang

机构 * School of Computing, Peking University（北京大学计算机学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对主动智能体研究忽视事件中心协助及评估难的问题，引入ProEvent基准测试，基于即时通讯聊天评估智能体维护用户时间表能力，实验发现当前智能体存在过度反应和事件取消处理难等问题，揭示了大语言模型的根本局限。

It Matters How You Say It: Exploring Rhetorical Patterns for AI-Assisted Information Evaluation

表达方式很重要：探索用于人工智能辅助信息评估的修辞模式

Sadra Sabouri, Zeinabsadat Saghi, Jordan Lee Boyd-Graber, Jonathan May, Jonathan K. Kummerfeld, Souti Chattopadhyay

机构 * Department of Computer Science, University of Southern California（计算机科学系，南加州大学） ； Department of Computer Science, University of Maryland（计算机科学系，马里兰大学） ； Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学） ； School of Computer Science, University of Sydney（计算机科学学院，悉尼大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究人工智能辅助信息评估中修辞模式，通过主体内研究考察八种修辞模式，发现支架式解释与最高准确率提升相关，对抗条件也能适度提高准确率，还探讨了设计不同修辞风格对话代理的意义及相关权衡。

Comments 13 pages, 6 figures, 1 table

Can Transformers Really Do It All? On the Compatibility of Inductive Biases Across Tasks

变压器真的无所不能吗？论跨任务归纳偏差的兼容性

Damien Teney, Liangze Jiang, Hemanth Saratchandran, Simon Lucey

机构 * Idiap Research Institute（Idiap研究所） ； EPFL（洛桑联邦理工学院） ； Adelaide University（阿德莱德大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究探讨变压器对给定任务是否最优，提出为数据集优化变压器架构的方法，在算法玩具任务和代码语言建模数据集上实验，发现标准变压器非局部最优，简单替代方案有优劣，暗示有改进架构可支持多种能力。

Comments Published as a conference paper at ICLR 2026. https://github.com/idiap/lm-afs

Bridging the Information Gap: Semantic Densification and Hindsight Distillation for Cold-Start Prediction

弥合信息差距：冷启动预测的语义致密化与事后蒸馏

Hao Duong Le, Yifei Gao, Huan Li, Lun Jiang, Chen Bai, Ke Xing, Chen Zhang

机构 * Tsinghua University（清华大学） ； Meituan（美团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对电子商务平台新用户冷启动预测难题，SemRaD框架利用结构化语义推理管道和事后感知蒸馏网络，有效弥合信息差距，提升了LTV和CVR，减少训练数据用量，在工业数据集和在线测试中均取得良好效果。

EvoGUI: An Evolution-Aware Benchmark for GUI State-Transition Understanding

EvoGUI：用于GUI状态转换理解的进化感知基准测试

Yaohan Yang, Minglei Shi, Borui Zhang, Jie Zhou, Jiwen Lu

机构 * Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 研究GUI状态转换理解，提出EvoGUI诊断框架，将GUI轨迹转化为视觉问答探针，无需额外注释。通过Mind2Web和WebLINX实例化EvoGUI-Bench并零样本评估28种模型配置，结果显示其可补充端到端评估，揭示理解提升空间。

GeoChrono: Benchmarking and Rethinking Long-Term Temporal Understanding in Remote Sensing

GeoChrono：遥感中长期时间理解的基准测试与重新思考

Yujie Li, Jiancheng Pan, Zhiwei Wei, Jiuniu Wang, Mugen Peng, Wenjia Xu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Hunan Normal University（湖南师范大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对遥感中长期时间理解缺乏系统评估的问题，引入ChronoBench基准。基于评估结果提出GeoChrono模型，设计相关编码器和压缩器并构建训练数据集，该模型在基准测试中性能领先，压缩器有效减少视觉令牌。

Comments Accepted to ACM MM 2026