大模型推理能力

DexFuture: Hierarchical Future-State Visuomotor Targeting for Bimanual Dexterous Tool Use

DexFuture: 用于双手灵巧工具使用的分层未来状态视觉运动目标

Runfa Blark Li, Kuang-Ting Tu, Nikola Raicevic, Dwait Bhatt, Xinshuang Liu, Keito Suzuki, Ki Myung Brian Lee, Nikolay Atanasov, Truong Nguyen

机构 * UC San Diego（圣迭戈大学） 纠错

专题命中 复杂问题求解 ：planning(abstract)

AI总结 提出DexFuture分层系统，通过高层未来状态视觉运动目标预测器和低层目标条件结构化灵巧策略，实现双手灵巧工具使用，达到90%的特权oracle性能，运行速度60Hz，比DexWM式CEM规划快约250倍。

Causal Scaffolding for Physical Reasoning: A Benchmark for Causally-Informed Physical World Understanding in VLMs

物理推理的因果支架：面向视觉语言模型中因果启发的物理世界理解基准

Tianyi Tang, Zhuoyi Lin, Zeyu Feng, Tianyi Ma, Yew-Soon Ong, Ivor Tsang, Haiyan Yin

机构 * CFAR（因果推理研究所） ； IHPC（信息技术研究所） ； Agency for Science, Technology and Research (A*STAR)（科技研究局） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 提出CausalPhys基准（含3000+视频/图像问题及因果图），并设计因果图度量评估VLM推理，进一步提出因果理性微调（CRFT）提升推理准确性与可解释性。

Comments Accepted by KDD 2026 Dataset and Benchmark Track

PlanBench-V: A Spatial Planning Map Benchmark for Vision-Language Models

PlanBench-V: 面向视觉语言模型的空间规划地图基准

Minxin Chen, He Zhu, Junyou Su, Wen Wang, Yijie Deng, Wenjia Zhang

机构 * Behavioral and Spatial AI Lab（行为与空间人工智能实验室） ； Tongji University（同济大学） ； Peking University（北京大学） ； College of Architecture and Urban Planning（建筑与城市规划学院） 纠错

专题命中 推理评测 ：planning(title,abstract)；reasoning(abstract)；分类 cs.CL

AI总结 为评估视觉语言模型在空间规划地图解读中的能力，构建了专家标注数据集SPMD，并提出基于感知、推理、关联、实施四阶段认知框架的基准PlanBench-V，实验表明当前模型在实施类任务上存在显著局限。

GRADE: Generalizable Reasoning-Aware Dialogue Evaluation for AI Tutors

GRADE: 面向AI导师的通用推理感知对话评估

Parth Bhalerao, Jeromy Chang, David Chou, Oana Ignat

机构 * Santa Clara University（圣克拉拉大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；CoT(abstract)；分类 cs.CL

AI总结 提出GRADE框架，通过系统比较五种开源模型的零样本推理、LoRA微调、合成增强及思维链推理等配置，证明精心选择的LoRA流水线在关键教学维度上可媲美专有系统。

Comments 16 pages, 7 figures

Facial-R1: Aligning Reasoning and Recognition for Facial Emotion Analysis

Facial-R1: 通过推理与识别对齐实现面部情绪分析

Jiulong Wu, Yucheng Shen, Lingyong Yan, Haixin Sun, Deguo Xia, Jizhou Huang, Min Cao

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本文提出Facial-R1框架，通过三阶段对齐方法解决面部情绪分析中推理与识别不一致及推理幻觉的问题，并引入FEA-20K基准数据集，验证了其在多个标准基准上的最佳性能。

Comments Withdrawn by the authors due to pending intellectual property considerations. The authors have determined that the current version contains material that should not have been publicly disseminated at this stage

GenTI: Benchmarking LLMs for Autonomous IDPS Rule Generation for Unseen Attacks

GenTI: 针对未知攻击的自主IDPS规则生成的LLM基准测试

Hassan Jalil Hadi, Rehana Yasmin, Ali Shoker

机构 * Cyber Security and Resilience Technology (CyberSaR), King Abdullah University of Science and Technology (KAUST)（网络安全与韧性技术（CyberSaR），国王阿卜杜勒·阿齐兹大学科学与技术学院（KAUST）） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 提出GenTI框架，通过构建包含15万条检测与防御规则的数据集GTI，并设计基于LLM的流水线（含结构化提示工程、思维链推理和验证循环），实现针对未知攻击的IDPS规则自动生成，将未知攻击检测率从45%提升至87.4%，误报率从8.5%降至2.3%。

DocHop-QA: Towards Multi-Hop Reasoning over Multimodal Document Collections

DocHop-QA: 向多跳推理多模态文档集合迈进

Jiwon Park, Seohyun Pyeon, Jinwoo Kim, Rina Carines Cabal, Zhenyuan He, Yihao Ding, Soyeon Caren Han

机构 * Pohang University of Science and Technology（釜山科学技术大学） ； The University of Sydney（悉尼大学） ； The University of Western Australia（西澳大学） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出DocHop-QA基准，通过多模态、多文档、多跳科学问答评估多模态证据综合能力，揭示当前模型在长上下文和多证据需求下的局限性。

UltraVR: A Diagnostic Ultra-Resolution Image-VQA Benchmark for Evidence-Grounded Reasoning

UltraVR：面向证据推理的诊断性超分辨率图像VQA基准

Gexin Huang, Yanting Yang, Myeongkyun Kang, Beidi Zhao, Jun Zhou, Chen Zhou, Gang Wang, Zu-hua Gao, Xiaoxiao Li

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； BC Cancer Agency（不列颠哥伦比亚癌症中心） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 提出UltraVR基准，通过结构化思维链标注诊断视觉语言模型在超分辨率图像上的证据推理能力，发现模型在证据定位和局部感知环节错误集中。

Comments 10 pages, 1 figure

CLEAR: Cognition and Latent Evaluation for Adaptive Routing in End-to-End Autonomous Driving

CLEAR：端到端自动驾驶中的认知与潜在评估自适应路由

Yining Xing, Zehong Ke, Zhiyuan Liu, Yanbo Jiang, Wenhao Yu, Jianqiang Wang

机构 * Qwen 3.5 0.8B 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 提出CLEAR框架，通过单步条件漂移替代扩散模型的多步去噪，结合视觉编码器Drive-JEPA和微调Qwen 3.5 0.8B进行语义推理，实现高效多模态规划，在NAVSIM v1上达到93.7 PDMS。

DisasterBench: A Multimodal Benchmark for UAV-Based Disaster Response in Complex Environments

DisasterBench: 复杂环境中基于无人机灾害响应的多模态基准

Tan Zhang, Quanyou Li, Lu Zhang, Jun Liu, Xiaofeng Zhu, Ping Hu

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 提出DisasterBench多模态基准，涵盖14种灾害场景和9个响应任务，并设计轻量级模型DisasterVL通过三阶段优化在边缘设备上实现高效推理。

CollabBench: Benchmarking and Unleashing Collaborative Ability of LLMs with Diverse Players via Proactive Engagement

CollabBench: 通过主动参与与多样化玩家基准测试和释放LLMs的协作能力

Hong Qian, Yuanhao Liu, Zihan Zhou, Zongbao Zhang, Hanjie Ge, Haotian Shi, Liang Dou, Xiangfeng Wang, Jingwen Yang, Aimin Zhou

机构 * Shanghai Institute of AI for Education（上海人工智能教育研究院） ； School of Computer Science（计算机科学学院） ； East China Normal University（东华大学） ； Tencent Inc.（腾讯公司） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CollabBench基准，通过多样化玩家模拟和协作智能体训练范式，提升LLM在合作游戏中的任务效率和情感适应能力。

Comments Accepted by ICML 2026

Almieyar-Oryx-BloomBench: A Bilingual Multimodal Benchmark for Cognitively Informed Evaluation of Vision-Language Models

Almieyar-Oryx-BloomBench：一个用于视觉语言模型认知知情评估的双语多模态基准

Mohammad Mahdi Abootorabi, Omid Ghahroodi, Anas Madkoor, Marzia Nouri, Doratossadat Dastgheib, Mohamed Hefeeda, Ehsaneddin Asgari

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Zuse School（Zuse学校） ； Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所） ； Hamad Bin Khalifa University（哈马德·本·哈利法大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有基准无法诊断视觉语言模型真实推理能力的问题，提出基于Bloom认知分类学的双语多模态基准BloomBench，系统评估六个认知层次，揭示模型在事实回忆和创造性合成方面的深层局限。

Comments Accepted to ACL 2026 Findings

Harnessing Structural Context for Entity Alignment Foundation Models

利用结构上下文进行实体对齐基础模型

Xingyu Chen, Yuanning Cui, Zequn Sun, Wei Hu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（南京大学新型软件技术国家重点实验室） ； Nanjing University of Information Science and Technology, Nanjing, China（南京信息科学技术大学） ； National Institute of Healthcare Data Science, Nanjing University, Nanjing, China（南京大学健康数据科学国家研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出ContextEA框架，通过交叉KG交互编码器和结构校准解码器增强结构上下文的构建与利用，在29个数据集上超越强基线，实现更强的跨KG迁移能力。

Towards Unified and Data-Efficient Prognostics and Health Management with Tabular Foundation Models

面向统一且数据高效的预测与健康管理：基于表格基础模型

Raffael Theiler, Lev Telyatnikov, Leandro Von Krannichfeldt, Olga Fink

机构 * IMOS Lab, EPFL（IMOS实验室，瑞士联邦理工学院） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 提出利用表格基础模型通过上下文学习处理工业时间序列，实现预测与健康管理（PHM）任务，在低数据场景下表现优异，并优于序列模型和梯度提升树。

Frontier Lag: A Bibliometric Audit of Capability Misrepresentation in Academic AI Evaluation

前沿滞后：学术AI评估中能力误述的文献计量审计

David Gringras, Misha Salahshoor

机构 * Harvard University（哈佛大学） ； AISST 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 通过审计112,303篇LLM相关论文，发现中位论文评估的模型落后同期前沿10.85 ECI（约1.4倍Claude Sonnet 3.7与Claude Opus 4.5的差距），且差距以每年5.53 ECI扩大，仅3.2%的摘要披露推理模式状态，52.5%的结论将结果泛化为“AI”，并提出VERSIO-AI检查表等补救措施。

Comments v2. 65 pp, 9 figs, 8 tables, 8 appendices. Pre-registered on OSF: doi.org/10.17605/OSF.IO/7XM3D. Code+data: doi.org/10.5281/zenodo.20060457. VERSIO-AI v1.2 reporting checklist (Appendix A): doi.org/10.5281/zenodo.20060459. frontierlag package + per-DOI audit tool: frontierlag.org

Rollout-Level Advantage-Prioritized Experience Replay for GRPO

基于轨迹级别优势优先经验回放的GRPO

Gyeongtae Yoo, Sanghyeok Park, Soohyuk Jang, Ik-hwan Kim, Sungroh Yoon

机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电子与计算机工程系） ； Interdisciplinary Program in AI, Seoul National University（首尔国立大学人工智能跨学科项目） ； AIIS, ASRI, INMC, and ISRC, Seoul National University（首尔国立大学人工智能研究所、人工智能研究机构、智能网络与计算中心及人工智能科学研究中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对GRPO样本效率低的问题，提出轨迹级经验回放缓冲器，通过年龄驱逐限制陈旧性、新鲜锚定组合保持在线策略、按优势幅度优先采样，在多个数学基准上显著提升性能。

Grounded but Misleading: Evaluating Semantic Alignment in AI-Generated Security Explanations

grounded but Misleading: Evaluating Semantic Alignment in AI-Generated Security Explanations

Heajun An, Connor Ng, Sandesh Sharma Dulal, Junghwan Kim, Jin-Hee Cho

机构 * Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了AI生成的安全解释中语义对齐的问题，通过VEXA测试平台验证了词汇基础与语义风险对齐之间的差距，发现即使解释在词汇上显得合理，其语义解释可能削弱检测器的意图风险评估。

Benchmark Everything Everywhere All at Once

无处不在的基准测试

Shiyun Xiong, Dongming Wu, Peiwen Sun, Yuang Ai, Bokang Yang, Wencheng Han, Xiao-Hui Li, Xiangyu Yue

机构 * MMLab, The Chinese University of Hong Kong（中大香港实验室） ； CPII under InnoHK（创新香港 CPII） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； Shandong University（山东大学） ； Huawei Technologies（华为技术） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出Benchmark Agent，一个全自主智能体系统，自动化基准构建流程，以解决现有基准构建劳动密集、难以复用和性能饱和的问题。

Comments Project page: https://benchmarkagent.github.io/

Agent Memory: Characterization and System Implications of Stateful Long-Horizon Workloads

Agent记忆：有状态长时任务工作负载的表征与系统影响

Yasmine Omri, Ziyu Gan, Zachary Broveak, Robin Geens, Zexue He, Alex Pentland, Marian Verhelst, Tsachy Weissman, Thierry Tambe

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Stanford University（斯坦福大学） ； University of California, Berkeley（加州大学伯克利分校） ； MIT Media Lab（麻省理工学院媒体实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文首次对LLM agent记忆系统进行系统级表征，提出四轴分类法，通过阶段感知分析框架评估10种代表性系统，并给出10条系统设计建议。

Memory is Reconstructed, Not Retrieved: Graph Memory for LLM Agents

记忆是重建的，而非检索的：面向LLM智能体的图记忆

Shuo Ji, Yibo Li, Bryan Hooi

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出MRAgent框架，通过关联记忆图和主动重建机制，使LLM智能体在推理过程中动态调整记忆访问，显著提升长程记忆推理性能。

Comments Accepted at ICML 2026

CASS-RTL: Correctness-Aware Subspace Steering for RTL Generation with LLMs

CASS-RTL：面向LLM的RTL生成的正确性感知子空间引导

Mohammad Akyash, Nowfel Mashnoor, Kimia Azar, Hadi Kamali

机构 * Department of Electrical and Computer Engineering (ECE), University of Central Florida, Orlando, FL 32816, USA（电子与计算机工程系，中央佛罗里达大学，奥兰多，佛罗里达州32816，美国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出CASS-RTL框架，通过识别LLM中与RTL正确性相关的注意力头并构建低维子空间进行轻量级干预，在无需额外监督或重训练的情况下提升RTL代码生成的功能准确性。

Comments Accepted to the IEEE International Conference on LLM-Aided Design (LAD '26)

Do More Agents Help? Controlled and Protocol-Aligned Evaluation of LLM Agent Workflows

更多智能体有帮助吗？LLM智能体工作流的受控与协议对齐评估

Yuhang Fu, Ruishan Fang, Jiaqi Shao, Huiyu Zheng, Zhengtao Zhu, Bing Luo, Tao Lin

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； Duke Kunshan University（杜克大学昆山分校） ； Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University of Technology（浙江工业大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出BenchAgent框架，在统一协议下比较单智能体、固定多智能体和演化多智能体工作流，发现大多数多智能体系统在准确率上未超越单智能体基线，但运行时生成的工作流在GAIA上表现优异。

Comments https://github.com/LINs-lab/MASArena/tree/BenchAgent

Safe Embodied AI for Long-horizon Tasks: A Cross-layer Analysis of Robotic Manipulation

面向长时域任务的安全具身AI：机器人操作跨层分析

Dabin Kim, Daemin Park, Sangyub Lee, Jinsik Kim, Yeongtak Oh, Jongho Shin, Sungroh Yoon

机构 * UNIST InnoCORE AI-Space Solar Initiative（UNIST创新核心人工智能空间太阳能计划） ； Ulsan National Institute of Science and Technology (UNIST)（乌山国立科学技术研究院） ； Automation and Systems Research Institute（自动化与系统研究所） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence（人工智能跨学科项目） ； LG Electronics（LG电子） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本文从具身AI视角，系统综述长时域机器人操作中的安全问题，按干预时机（规划时、策略时、执行时）组织文献，分析证据强度，并指出当前安全保证的不足与未来方向。

Comments 63 pages, 6 figures

Exploring LLMs for South Asian Music Understanding and Generation

探索大语言模型对南亚音乐的理解与生成

Faria Binte Kader, Mohtasim Hadi Rafi, Shah Wasif Sajjad, Santu Karmaker

机构 * University of Central Florida（佛罗里达中央大学） ； Auburn University（阿伯伯大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文系统评估大语言模型在基于拉格和塔拉的南亚古典音乐理解与生成任务中的表现，发现前沿模型在理解任务上准确率达85-90%，但生成任务中风格忠实度仅40%。

Comments 19 pages, 7 figures

LEVANTE-bench: Multi-Scale Comparison of VLMs to Children Using Cognitive Tasks (or, "Is Your VLM Smarter Than a 5th Grader?")

LEVANTE-bench: 使用认知任务对VLM与儿童进行多尺度比较（或者，“你的VLM比五年级学生聪明吗？”）

Alvin Wei Ming Tan, David Cardinal, Tania Lorido-Botran, Laura Bravo-Sanchez, Sunny Yu, Michael C. Frank

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出LEVANTE-bench基准，基于儿童认知任务数据，从多个尺度系统评估视觉语言模型与5-12岁儿童在六项任务上的对齐程度，发现模型与人类认知仅部分对齐。

Search-Time Contamination in Deep Research Agents: Measuring Performance Inflation in Public Benchmark Evaluation

深度研究代理中的搜索时污染：衡量公开基准评估中的性能膨胀

Yongjie Wang, Xinyue Zhang, Kunhong Yao, Zhiwei Zeng, Kaisong Song, Jun Lin, Zhiqi Shen

机构 * Alibaba-NTU Global e-Sustainability CorpLab (ANGEL)（阿里-NTU全球可持续性科技公司实验室（ANGEL）） ； Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究深度研究代理在推理过程中通过网页搜索检索公开基准元数据、问题上下文甚至真实答案导致的搜索时污染（STC），定义三种污染类型并开发检测算法，实验表明STC可导致性能膨胀高达4%。

Comments Under Review

Reward-Decomposed Reinforcement Learning for Immersive Video Role-Playing

面向沉浸式视频角色扮演的奖励分解强化学习

Miao Wang, Yuling Shi, Yijiang Li, Yeheng Chen, Xiaodong Gu, Bin Li, Bo Gao, Jun Wang, Zengxin Han, Jingtong Wu, Yaduan Ruan

机构 * Nanjing University（南京大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； School of Information Engineering, Beijing Institute of Graphic Communication（北京印刷学院信息工程学院） ； Ant International, Ant Group（蚂蚁集团国际部） ； Independent Researcher（独立研究者） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出EBM-RL框架，通过奖励分解的强化学习优化视频角色扮演中的视觉感知、推理与生成过程，提升场景一致性与角色真实性。

MAviS: A Multimodal Conversational Assistant For Avian Species

MAviS：一种用于鸟类物种的多模态对话助手

Yevheniia Kryklyvets, Mohammed Irfan Kurpath, Sahal Shaji Mullappilly, Jinxing Zhou, Fahad Shabzan Khan, Rao Anwer, Salman Khan, Hisham Cholakkal

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出MAviS数据集和MAviS-Chat模型，通过整合图像、音频和文本信息，提升对鸟类物种的细粒度理解与多模态问答能力，并展示了在生态应用中领域适应的多模态大语言模型的重要性。

Comments EMNLP 2025

Beyond Code Pairs: Dialogue-Based Data Generation for LLM Code Translation

超越代码对：基于对话的数据生成用于LLM代码翻译

Le Chen, Nuo Xu, Winson Chen, Bin Lei, Pei-Hung Lin, Dunzhi Zhou, Rajeev Thakur, Caiwen Ding, Ali Jannesari, Chunhua Liao

机构 * Argonne National Laboratory（阿贡国家实验室） ； University of Minnesota（明尼苏达大学） ； Iowa State University（爱荷华州立大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出了一种基于对话的数据生成方法，通过双LLM架构生成验证的翻译和多轮对话，以提升LLM在低资源编程领域中的代码翻译能力。

CTIConnect: A Benchmark for Retrieval-Augmented LLMs over Heterogeneous Cyber Threat Intelligence

CTIConnect：一种用于异构网络威胁情报的检索增强大语言模型基准

Yutong Cheng, Yang Liu, Changze Li, Dawn Song, Peng Gao

机构 * Virginia Tech Department of Computer Science（弗吉尼亚理工大学计算机科学系） ； University of California, Berkeley Department of Computer Science（加州大学伯克利分校计算机科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出CTIConnect基准，用于评估检索增强型大语言模型在网络威胁情报任务中的表现，通过整合五个异构数据源构建了1860个专家验证的问答对，揭示了不同任务类别中跨源语义差距的差异以及检索策略和性能瓶颈的变化，展示了领域特定策略在提升性能上的优势。

Comments Accepted to KDD 2026