大模型推理能力

Rethinking Uncertainty Evaluation in Large Language Models

重新思考大语言模型中的不确定性评估

Krish Matta, Atharv Naphade, Andy Zou

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Meta 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.AI

AI总结 研究大语言模型中置信度评估问题，指出校准标准不充分。沿结构连贯性、忠实性和有用性三个轴形式化条件为C1指标，发现常用估计器违反条件，RLHF等未恢复连贯性，框架可测度与弥合差距。

Comments 19 pages, 11 figures, ICML 2026 EIML Workshop

Profile-Graph Memory for LLM Agents: Implicit Cross-Entity Traversal through Narrative Profiles

用于大语言模型智能体的概要图内存：通过叙事概要进行隐式跨实体遍历

Shengtong Zhu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对大语言模型智能体长期记忆中多跳关联未被充分测量的问题，提出了MemHop基准和ProGraph两层内存架构，通过概要扩展与压缩残差实现跨实体遍历，提升了多跳推理及精确召回能力，在多个基准测试中表现优异并开源相关实现。

Comments 11 pages, 2 figures, 7 tables. Code and MemHop benchmark: https://github.com/ShengtongZhu/ProGraph

FineServe: A Fine-Grained Dataset and Characterization of Global LLM Serving Workloads

FineServe：一个细粒度的数据集以及对全球大语言模型服务工作负载的特征描述

Tiancheng Zhang, Shaoyuan Huang, Mingyuan Wang, Yunfeng Zhao, Xiaofei Wang, Wenyu Wang

机构 * Tianjin University（天津大学） ； PPIO Cloud (Shanghai) Co., Ltd.（PPIO云（上海）有限公司） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 针对大语言模型服务中高效服务面临的挑战，提出FineServe数据集，能对异构模型和任务的服务动态进行细粒度特征描述。通过分析得出波动模式，开发工作负载生成器，为评估相关策略提供现实基础。

Comments 14 pages, 14 figures

They'll Verify. They Just Won't Act. How Authority Framing and Laundered Code Turn a Trusted Agentic CI/CD Pipeline Into an Attack Surface

他们会验证。但他们不会采取行动。权威框架和清洗后的代码如何将一个可信的代理式CI/CD管道变成攻击面

Yohann Sidot

机构 * Senthex Research（Senthex研究机构） ； RELAY Lab（RELAY实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究五代理CI/CD管道在面对恶意输入时的安全性，通过AxB（xC）析因设计实验发现权威框架注入会使下游验证者放行恶意代码，基于内容的控制会失效，只有来源感知控制可防攻击，揭示了现有保护机制的不足。

Comments 9 pages. Dataset and reproduction code: https://github.com/senthex-security/senthex-research

FilmWorld: Agentic Novel-to-Film Generation through Dynamic Cinematic World Modeling

FilmWorld：通过动态电影世界建模实现从小说到电影的智能生成

Jialong Zuo, Haotong Zuo, Shiwei Zhang, Xiang Wang, Chen Li, Nong Sang, Changxin Gao, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 研究如何将小说转化为电影，提出将其形式化为动态电影世界建模，构建FilmWorld系统，两组智能体协作实现各阶段，引入FilmEval评估框架，实验证明该系统性能优于现有技术。

Comments Project Page: https://filmworld-ai.github.io

RF-Agent: A Practical Framework for Building Language Agents for RFIC Design

RF-Agent：用于构建射频集成电路设计语言代理的实用框架

Yueqi Xing, Houbo He, Jolie Wang, Erin Ni, Shikai Wang, Qiufeng Li, Weidong Cao, Taiyun Chi

机构 * Rice University（莱斯大学） ； The George Washington University（乔治·华盛顿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对大语言模型在射频电路设计应用受限问题，提出RF-Agent框架，通过教科书驱动知识蒸馏创建数据集及基准，研究监督微调与检索增强生成策略，发现特定领域SFT对中小模型提升大，语义检索的RAG表现最佳，为相关工作提供基础。

Comments Accepted at ICLAD (IEEE International Conference on LLM-Aided Design), 2026

Hazard or Anomaly? Evaluating VLMs for Understanding Dangers and Discrepancies

危险还是异常？评估用于理解危险和差异的视觉语言模型

Murali Indukuri, Mohammad Eskandari, Sree Nitya Kollu, Stephanie Lukin, Cynthia Matuszek

机构 * Interactive Robotics and Language Lab, University of Maryland Baltimore County（马里兰大学巴尔的摩县分校交互式机器人与语言实验室） ； DEVCOM Army Research Laboratory（陆军研究实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对现代安全关键系统中VLM的评估问题，通过明确区分危险和异常，在两个数据集及多种提示策略下评估多个先进VLM，发现其常误判，明确区分能提供更具信息性评估并揭示失败模式。

Comments 8 pages, accepted to RO-MAN 2026

VEHBench: A Stage-Local Diagnostic Benchmark for LLM-Assisted Vibration Energy Harvester Design

VEHBench：用于大语言模型辅助振动能量采集器设计的阶段局部诊断基准测试

Depeng Su, Yuyu Luo, Guobiao Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.CL

AI总结 研究针对无电池物联网中振动能量采集器设计，引入VEHBench基准测试，评估大语言模型在耦合物理设计不同阶段的表现，通过763个任务及四个设计角色测试，发现模型能力依赖阶段，为评估、选择等工程大语言模型提供阶段感知基础。

Autoresearch with Coding Agents: Generalizers and Metric-Maximizers on Quran Recitation Data

使用编码智能体进行自动研究：古兰经诵读数据上的泛化器和指标最大化器

Nursultan Askarbekuly, Mohamad Al Mdfaa, Ahmed Helaly, Gonzalo Ferrer, Manuel Mazzara

机构 * Innopolis University（因诺波利斯大学） ； Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究在古兰经诵读数据任务中智能体自动研究模式，Claude Code和OpenAI Codex从同一起点出发，先发明相同算法后有分歧，添加测试集后情况变化，还提炼出评估自主智能体的五条设计规则，智能体解决方案超越手工管道。

ESCUCHA: A Spanish Speech Benchmark for Heterogeneous Acoustic Conditions

ESCUCHA：用于异构声学条件的西班牙语语音基准测试

Fernando López, Ana Ayala, Guillermo Segovia, Fernando Ibáñez, Ana Martínez, Pablo Gómez, Jordi Luque

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对现实声学条件下西班牙语语音理解受关注少的问题，引入ESCUCHA基准测试，含1000个人工挑选与音频配对的问题，强调推理与语言多样性，涵盖多类问题，测试发现先进模型与人类存在性能差距。

Comments Under review

WuYu-EnvLE-Bench: A Benchmark for Evaluating Large Language Models in Environmental Law Enforcement

吴语-环境执法基准：评估大语言模型在环境执法中的基准

Ziliang Yang, Yi Zhang, Kaijun Lin, Jiachao Ke, Haihong Xu, Zongguo Wen

机构 * School of Environment, Tsinghua University（清华大学环境学院） ； College of Economics and Management, Beijing University of Technology（北京工业大学经济与管理学院） ； State Key Laboratory of Iron and Steel Industry Environmental Protection, School of Environment, Tsinghua University（清华大学环境学院钢铁工业环境保护国家重点实验室） ； Appraisal Center for Environmental Engineering, Ministry of Ecology and Environment（生态环境部环境工程评估中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究针对大语言模型在环境执法中生成可追溯决策能力不明的问题，构建吴语-环境执法基准，含多任务多子领域实例，用AES和IEI评估模型，发现其在部分任务表现不佳，强调证据与规则感知的执法推理需求。

Comments 98 pages, 45 figures,

ProEvent: An Event-centric Benchmark for Proactive Agents

ProEvent：面向主动智能体的以事件为中心的基准测试

Guanzhen Li, Liangming Pan, Leye Wang

机构 * School of Computing, Peking University（北京大学计算机学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对主动智能体研究忽视事件中心协助及评估难的问题，引入ProEvent基准测试，基于即时通讯聊天评估智能体维护用户时间表能力，实验发现当前智能体存在过度反应和事件取消处理难等问题，揭示了大语言模型的根本局限。

It Matters How You Say It: Exploring Rhetorical Patterns for AI-Assisted Information Evaluation

表达方式很重要：探索用于人工智能辅助信息评估的修辞模式

Sadra Sabouri, Zeinabsadat Saghi, Jordan Lee Boyd-Graber, Jonathan May, Jonathan K. Kummerfeld, Souti Chattopadhyay

机构 * Department of Computer Science, University of Southern California（计算机科学系，南加州大学） ； Department of Computer Science, University of Maryland（计算机科学系，马里兰大学） ； Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学） ； School of Computer Science, University of Sydney（计算机科学学院，悉尼大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究人工智能辅助信息评估中修辞模式，通过主体内研究考察八种修辞模式，发现支架式解释与最高准确率提升相关，对抗条件也能适度提高准确率，还探讨了设计不同修辞风格对话代理的意义及相关权衡。

Comments 13 pages, 6 figures, 1 table

Can Transformers Really Do It All? On the Compatibility of Inductive Biases Across Tasks

变压器真的无所不能吗？论跨任务归纳偏差的兼容性

Damien Teney, Liangze Jiang, Hemanth Saratchandran, Simon Lucey

机构 * Idiap Research Institute（Idiap研究所） ； EPFL（洛桑联邦理工学院） ； Adelaide University（阿德莱德大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究探讨变压器对给定任务是否最优，提出为数据集优化变压器架构的方法，在算法玩具任务和代码语言建模数据集上实验，发现标准变压器非局部最优，简单替代方案有优劣，暗示有改进架构可支持多种能力。

Comments Published as a conference paper at ICLR 2026. https://github.com/idiap/lm-afs

Bridging the Information Gap: Semantic Densification and Hindsight Distillation for Cold-Start Prediction

弥合信息差距：冷启动预测的语义致密化与事后蒸馏

Hao Duong Le, Yifei Gao, Huan Li, Lun Jiang, Chen Bai, Ke Xing, Chen Zhang

机构 * Tsinghua University（清华大学） ； Meituan（美团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对电子商务平台新用户冷启动预测难题，SemRaD框架利用结构化语义推理管道和事后感知蒸馏网络，有效弥合信息差距，提升了LTV和CVR，减少训练数据用量，在工业数据集和在线测试中均取得良好效果。

EvoGUI: An Evolution-Aware Benchmark for GUI State-Transition Understanding

EvoGUI：用于GUI状态转换理解的进化感知基准测试

Yaohan Yang, Minglei Shi, Borui Zhang, Jie Zhou, Jiwen Lu

机构 * Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 研究GUI状态转换理解，提出EvoGUI诊断框架，将GUI轨迹转化为视觉问答探针，无需额外注释。通过Mind2Web和WebLINX实例化EvoGUI-Bench并零样本评估28种模型配置，结果显示其可补充端到端评估，揭示理解提升空间。

GeoChrono: Benchmarking and Rethinking Long-Term Temporal Understanding in Remote Sensing

GeoChrono：遥感中长期时间理解的基准测试与重新思考

Yujie Li, Jiancheng Pan, Zhiwei Wei, Jiuniu Wang, Mugen Peng, Wenjia Xu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Hunan Normal University（湖南师范大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对遥感中长期时间理解缺乏系统评估的问题，引入ChronoBench基准。基于评估结果提出GeoChrono模型，设计相关编码器和压缩器并构建训练数据集，该模型在基准测试中性能领先，压缩器有效减少视觉令牌。

Comments Accepted to ACM MM 2026

Beyond the Leaderboard: Design Lessons for Trustworthy Multimodal VQA

超越排行榜：可信多模态视觉问答的设计经验教训

Sushant Gautam, Vajira Thambawita, Michael A. Riegler, Pål Halvorsen, Steven A. Hicks

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 以MediaEval Medico 2025为案例，分析九个多模态问答系统，发现预训练主干的参数高效适应虽有挑战性能，但答案提升未转化为完整临床推理，结构化推理等方法更可靠，结果促使多方面改进，支持可信多模态医疗保健人工智能。

Comments Accepted for presentation at the 39th IEEE International Symposium on Computer-Based Medical Systems (IEEE CBMS 2026) as a regular paper

Self-Evolving Human-Centered Framework for Explainable Depression Symptom Annotation

用于可解释抑郁症症状标注的自我进化以人为中心框架

Hoang-Loc Cao, Van Pham, Truong Thanh Hung Nguyen, Phuc Truong Loc Nguyen, Phuc Ho, Veronica Whitford, Hung Cao

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对抑郁症标注质量瓶颈，提出结合大语言模型辅助与专家验证的自我进化标注框架，分三阶段运行，采用双记忆架构，能提高标注一致性和可解释性，减少人工修订，还输出多种信息实现可审计性。

Comments Accepted at IEEE International Conference on Omni-Layer Intelligent Systems (COINS) 2026

Automatic Hard Example Synthesis with Multi-Level Agentic Data Curation

基于多级智能数据管理的自动硬示例合成

Genglin Liu, Muye Zhang, Krishnamurthy Viswanathan, Nichole J. Hansen, Blaž Bratanič, Nathan L Clement, Shalini Ghosh, Ariel Fuxman

机构 * UCLA（加州大学洛杉矶分校） ； Google（谷歌） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型在内容安全审核任务中易受攻击的问题，提出自动智能红队框架，利用多智能体架构合成对抗示例，无需人工干预，提高模型鲁棒性，降低公共图像安全基准中的误报率。

Comments 23 pages; work in progress

High-Order Question Generation in a Multilingual Educational Context

多语言教育背景下的高阶问题生成

Suna-Şeyma Uçar, Itziar Aldabe, Nora Aranberri, Orphée De Clercq

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究在多语言教育背景下，针对高阶问题生成的挑战，引入基于主张-证据-推理和发散性提问的提示，对比布鲁姆分类法。结果显示开源和专有模型能生成多语言问题，部分问题被教师认可为高阶，替代框架可补充布鲁姆分类法。

Comments This paper was accepted at the 15th edition of the Language Resources and Evaluation Conference (LREC 2026)

Journal ref Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pp. 760-769

How Far Can Root Cause Analysis Go on Real-World Telemetry Data?

根因分析在实际遥测数据上能走多远？

Athira Gopal, Ashwanth Krishnan

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究生产微服务故障根因分析难题，提出结构化多智能体RCA管道，性能超现有方法。引入反向推理智能体和自动规则挖掘管道，发现故障证据多，瓶颈在智能体推理能力，模型推理和领域知识是主要限制，进步需模型改进。

Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks

无需基础的准确性：诊断视频语言模型基准测试中的视觉依赖解离

Jae Joong Lee

机构 * Purdue University（普渡大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究视频语言模型基准测试中视觉依赖问题，引入视觉依赖差距（VDG），通过实验表明准确性与视觉依赖可分离，任务类型排名稳定，帧多样性贡献大，H.264实验有新发现，VDG可作标准审查，推动相关研究。

Comments Accepted, ACM International Conference on Multimedia 2026 (ACM MM)

Epistemic Stance Flexibility Probing: Measuring Prompt-Conditioned Register Shift in Large Language Models

认知立场灵活性探测：测量大语言模型中提示条件下的语域转换

Binwen Liu, Yilin Ren

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究大语言模型在不同归因提示下的认知立场灵活性，引入ESFP基准，涵盖多类别多模板项目，从四个维度评估模型响应，发现认知灵活性与模型能力正交，立场内容密度信号最强。

Auditing Data Leakage in Whole-Slide Image Multimodal Benchmarks

全切片图像多模态基准测试中的数据泄露审计

Wenhao Zhang, Zhongliang Zhou, John Kang, Sheng Li

机构 * University of Virginia（弗吉尼亚大学） ； Merck & Co., Inc.（默克公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究针对计算病理学中WSI VQA基准测试数据泄露问题，通过追踪标识符发现患者级和机构级泄露，证明其可从基础模型特征空间解码，导致准确率差距，当前评估无法区分推理与检索，最后给出无污染评估建议。

Evidence-Backed Video Question Answering

有证据支持的视频问答

Shijie Wang, Honglu Zhou, Ziyang Wang, Ran Xu, Caiming Xiong, Silvio Savarese, Chen Sun, Juan Carlos Niebles

机构 * Salesforce, Palo Alto, CA, USA（Salesforce公司） ； Brown University, Providence, RI, USA（布朗大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究视频问答中模型缺乏可视化依据的问题，提出E-VQA任务及ST-Evidence基准，开发数据集ST-Evidence-Instruct，通过微调提高模型表现，为可解释的视频理解建立基线。

Journal ref ECCV 2026

Vinci2: Providing Proactive Assistance in Continuous Egocentric Videos

Vinci2：在连续自我中心视频中提供主动协助

Gong Sitong, Tianyu Yan, Caixin Kang, Bo Zheng, Xiang Ruan, Huchuan Lu, Kaipeng Zhang, Yoichi Sato, Yifei Huang

机构 * Dalian University of Technology（大连理工大学） ； Alaya Lab（阿莱雅实验室） ； The University of Tokyo（东京大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究连续自我中心视频中智能助手的主动协助问题，提出Vinci2系统，包含EgoServe基准测试和EgoMemo智能体，通过依赖上下文决策及相关技术，在新基准测试上建立强大基线且在现有测试中具竞争力。

Comments Accepted by ECCV 2026

Cross-Architecture LLM Ensembles, Feature-Based Reranking and Retrieval-Augmented Prompting for Legal Information Processing

用于法律信息处理的跨架构大语言模型集成、基于特征的重新排序和检索增强提示

Amal Saad Alshehri, Nelly Bencomo, Amir Atapour-Abarghouei

机构 * Durham University（杜伦大学） ； Jazan University（吉赞大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该研究参与COLIEE 2026五项法律信息处理任务，采用开放权重系统。核心方法包括跨架构模型集成、基于特征重新排序及检索增强提示。在多任务中取得不同成果，如法规蕴含任务准确率高，展示了不同方法在不同任务设置下的有效性。

Comments 10 pages. Team DU participation in all five tasks of COLIEE 2026

Are LLMs Ready for Scientific Discovery? A Capability-Oriented Benchmark for AI Scientists

大语言模型准备好进行科学发现了吗？面向能力的人工智能科学家基准测试

Chuhan Shi, Xiaoquan Ren, Sicheng Song, Haobo Li, Rui Sheng, Yushi Sun

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究围绕科学发现评估大语言模型的能力，引入SDABench基准，涵盖多领域多能力的真实和合成数据实例，评估15个模型，发现其在描述性分析好但在特定任务下降，还提供错误分析框架定位失败之处。

Imaging-101: Benchmarking LLM Coding Agents on Scientific Computational Imaging

成像101：在科学计算成像上对大语言模型编码智能体进行基准测试

Siyi Chen, Jiahe Ying, Yixuan Jia, Yuxuan Gu, Enze Ye, Weimin Bai, Zhijun Zeng, Shaochi Ren, Binhong Gao, Yubing Li, Tianhan Zhang, He Sun

机构 * College of Future Technology and the National Biomedical Imaging Center, Peking University（北京大学未来技术学院和国家生物医学成像中心） ； AI for Science Institute (AISI)（科学人工智能研究所） ； University of Michigan（密歇根大学） ； State Key Laboratory of Acoustics and Marine Information, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所声场声信息国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Astronautics, Beihang University（北京航空航天大学宇航学院） ； Key Laboratory of Spacecraft Design Optimization and Dynamic Simulation Technologies, Ministry of Education（教育部航天器设计优化与动态仿真技术重点实验室） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 研究针对计算成像构建正确重建管道费力的问题，引入含57个任务的Imaging-101基准及三个评估轨道，评估七个前沿大语言模型，发现应用编码智能体于计算成像存在系统性挑战，指出技能增强、领域专业化智能体是可靠成像辅助的途径。