大模型推理能力

Neurosymbolic Characterization for Reliable Access Control Policy Analysis

探索大型语言模型用于访问控制策略合成与摘要

Adarsh Vatsa, Bethel Hall, William Eiers

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究LLM在访问控制策略自动生成中的有效性，发现非推理LLM仅45.8%生成等价策略，推理LLM达93.7%，并提出基于语义的请求摘要方法辅助策略分析。

Comments Accepted to ISSRE 2026. Major revision and retitling of arXiv:2510.20692v1. Refocuses the paper on reliable neurosymbolic access-control policy analysis; updates the PolicySummarizer method, multi-cloud evaluation, and user-study results. 13 pages, 6 figures. Corrected arXiv title metadata to match the accepted ISSRE version. No substantive content changes from the previous version

Is Your Benchmark Still Useful? Dynamic Benchmarking for Code Language Models

你的基准仍然有用吗？代码语言模型的动态基准测试

Batu Guan, Xiao Wu, Yuanyuan Yuan, Shaohua Li

机构 * The Chinese University of Hong Kong（香港中文大学） ； Huazhong University of Science and Technology（华中科技大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究模型评估中如何在模型训练可能已见过基准的情况下保持其有用性，提出动态基准测试框架，通过语义保留突变变换输入构建新基准，评估发现模型性能变差、排名变化及能抵抗数据污染问题。

Comments 15 pages, 7 figures

StatEval: A Comprehensive Benchmark for Large Language Models in Statistics

StatEval：大型语言模型在统计学中的综合基准

Yuchen Lu, Run Yang, Yichen Zhang, Shuguang Yu, Ziwei Wang, Jiayi Xiang, Wenxin E, Changyu Zhu, Fan Zhou

机构 * Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出StatEval基准，包含10万+问题，覆盖本科到研究级统计推理，并开发TRACE管道和自适应评分方法，揭示LLM在基础任务上表现尚可但研究级推理薄弱。

Think-Before-Speak: From Internal Evaluation to Public Expression in Multi-Agent Social Simulation

Think-Before-Speak: 从内部评估到多智能体社会模拟中的公开表达

Kaiqi Yang, Tai-Quan Peng, Sanguk Lee, Hui Liu

机构 * Michigan State University（密歇根州立大学） ； Hankuk University of Foreign Studies（韩国民法大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出TBS框架，通过分离智能体的内部推理与公开话语生成，模拟从内部评估到公开表达的路径，并在气候政策讨论中验证其机制敏感性。

Comments 8 pages of main content, 14 pages including references and appendices, 3 figures. Accepted to the KDD'26 Workshop on SciSoc Agents & LLMs

IRIS: A Real-World Benchmark for Inverse Recovery and Identification of Physical Dynamic Systems from Monocular Video

IRIS：从单目视频进行物理动态系统逆恢复与识别的真实世界基准

Rasul Khanbayov, Mohamed Rayan Barhdadi, Erchin Serpedin, Hasan Kurban

机构 * Hamad Bin Khalifa University（哈马德·本·哈利法大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出IRIS基准，包含240个4K/60fps真实视频，覆盖单体和多体动力学，提供真实参数和不确定度，定义标准化评估协议，评估多种基线方法，揭示系统失败模式。

FusionFactory: Fusing LLM Capabilities with Multi-LLM Log Data

FusionFactory: 融合多LLM日志数据中的大语言模型能力

Tao Feng, Haozhen Zhang, Zijie Lei, Pengrui Han, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Nanyang Technological University（南洋理工大学） ； Meta Monetization AI（Meta 变现人工智能） ； NVIDIA（英伟达） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出FusionFactory框架，通过查询级、思维级和模型级融合策略，利用多LLM日志数据提升模型性能，在14个基准测试中均优于最佳单模型。

Journal ref TMLR 2026

An Executable Benchmarking Suite for Tool-Using Agents

为工具使用智能体设计的可执行基准测试套件

Zhiqing Zhong, Zhijing Ye, Jiamin Wang, Xiaodong Yu

机构 * Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI

AI总结 本文提出一个可执行基准测试套件，通过共享证据准入合同明确工作负载、行动生成驱动器和系统面向声明的证据。该套件连接WebArena Verified和MiniWoB++，并提供统一的工作负载适配器、任务清单、事件模式、回放/冻结政策、声明驱动器和报告管道。

Comments Withdrawn by the authors. The authors identified substantive errors that affect the interpretation of the results and the support for the main conclusions. The current version should not be relied upon

SpecDetect4ML: Detecting Non-Local ML Code Smells with Code Property Graphs

ML代码异味：从规范到检测

Brahim Mahmoudi, Naouel Moha, Quentin Stiévenart, Florent Avellaneda

机构 * École de technologie supérieure ； Université du Québec à Montréal（魁北克大学蒙特利尔分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文研究ML代码异味问题，提出基于规范的检测工具SpecDetect4ML，通过声明式DSL和可扩展分析引擎，实现项目级的代码异味检测，提升可复现性和可维护性。

Dataset Construction for Training LLM to Learn Analog Circuit Knowledge

用于训练大语言模型学习模拟电路知识的数据集构建

Zihao Chen, Ji Zhuang, Jinyi Shen, Xiaoyue Ke, Xinyi Yang, Mingjie Zhou, Zhuoyao Du, Xu Yan, Zhouyang Wu, Zhenyu Xu, Jiangli Huang, Li Shang, Xuan Zeng, Fan Yang

机构 * Fudan University（复旦大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文构建文本数据集并定制训练技术，使大语言模型学习模拟电路知识；通过多智能体框架生成结构化四元组，结合SFT与KL散度正则化提升性能。

Edit-R2: Context-Aware Reinforcement Learning for Multi-Turn Image Editing

Edit-R2：面向多轮图像编辑的上下文感知强化学习

Yuxiao Ye, Haoran He, Fangyuan Kong, Xintao Wang, Pengfei Wan, Kun Gai, Ling Pan

机构 * Hong Kong University of Science and Technology（香港理工大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出Edit-R2框架，通过重构会话意图和联合优化推理与生成的强化学习，解决多轮图像编辑中的长上下文稀释和状态污染问题，并在MICE-Bench基准上取得领先性能。

When the Prompt Becomes Visual: Vision-Centric Jailbreak Attacks for Large Image Editing Models

当提示变为视觉：面向大型图像编辑模型的以视觉为中心的越狱攻击

Jiacheng Hou, Yining Sun, Ruochong Jin, Haochen Han, Fangming Liu, Wai Kin Victor Chan, Alex Jinpeng Wang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出首个视觉到视觉的越狱攻击VJA，通过纯视觉输入传递恶意指令，并构建安全基准IESBench，在商业模型上攻击成功率高达80.9%，同时提出无需训练的内省多模态推理防御方法。

Comments Accepted for spotlight and oral presentation at ICML 2026 (Project: https://csu-jpg.github.io/vja.github.io/)

Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs

Just Ask: 好奇的代码代理揭示前沿大语言模型中的系统提示

Xiang Zheng, Yutao Wu, Hanxun Huang, Yige Li, Xingjun Ma, Bo Li, Yu-Gang Jiang, Cong Wang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出JustAsk框架，利用代码代理的自主交互能力，通过在线探索策略自动提取大语言模型的隐藏系统提示，揭示了系统提示作为新兴安全漏洞。

Comments Accepted at ICML 2026

SciFig: Towards Automating Editable Figure Generation for Scientific Papers

SciFig：面向科学论文的可编辑图形自动生成

Siyuan Huang, Yifan Zhou, Yutong Gao, Zi Yin, Juyang Bai, Xinxin Liu, Rama Chellappa, Chun Pong Lau, Cheng Peng, Sayan Nag, Shraman Pramanick

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Zhejiang University（浙江大学） ； Independant Researcher（独立研究者） ； Tsinghua University（清华大学） ； University of Central Florida（佛罗里达中央大学） ； City University of Hong Kong（香港城市大学） ； Adobe Research（Adobe研究） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 提出SciFig多智能体框架，从科学文本自动生成可编辑的高质量方法图，通过分解规划、布局、渲染和迭代优化，在435个基准上优于基线，平均10分钟生成可编辑图形。

DMind Benchmark: Toward a Holistic Assessment of LLM Capabilities across the Web3 Domain

DMind Benchmark：面向Web3领域LLM能力的全面评估

Enhao Huang, Pengyu Sun, Shuxun Wang, Zixin Lin, Alex Chen, Kaichun Hu, Joey Ouyang, Frank Li, Zhiyu Zhang, Haobo Wang, Yiming Li, Zhan Qin, James Yi, Gang Zhao, Ziang Ling, Lowes Yang

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出DMind Benchmark，覆盖Web3九个子领域，结合客观知识与开放推理任务，评估31个LLM，发现模型在安全审计等高推理任务中存在显著弱点。

OI-Bench: An Option Injection Benchmark for Evaluating LLM Susceptibility to Directive Interference

OI-Bench：用于评估大语言模型对指令干扰敏感性的选项注入基准

Yow-Fu Liou, Yu-Chien Tang, Yu-Hsiang Liu, An-Zi Yen

机构 * Department of Computer Science, National Yang Ming Chiao Tung University（国家阳明交通大学计算机科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出选项注入基准OI-Bench，通过在多选题界面中嵌入误导性指令，系统评估12个LLM对16种指令干扰的脆弱性，揭示模型存在显著漏洞。

Plausible but Wrong: A case study on Agentic Failures in Astrophysical Workflows

可能但错误：天体物理工作流中代理失败的案例研究

Shivam Rawat, Lucie Flek

机构 * Bonn-Aachen International Center for Information Technology, University of Bonn, Germany（波恩-阿森国际信息科技中心，波恩大学，德国） ； Lamarr Institute for Machine Learning and Artificial Intelligence, Germany（拉马尔机器学习与人工智能研究所，德国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究评估了CMBAgent在两种工作流范式和十八个天体物理任务中的表现，发现代理在缺乏上下文时性能提升显著，但常出现静默错误，产生看似合理却不准确的结果，揭示了代理科学工作流中最危险的失败模式是自信生成错误结果。

How Small Can 6G Reason? Scaling Tiny-to-Small Language Models for AI-Native Networks

6G 推理能有多小？面向 AI 原生网络的微小型语言模型缩放

Mohamed Amine Ferrag, Abderrahmane Lakas, Merouane Debbah

机构 * Department of Computer and Network Engineering, United Arab Emirates University, UAE（计算机与网络工程系，阿联酋大学） ； Research Institute for Digital Future, Khalifa University, UAE（未来数字研究院，哈利法大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文系统研究小型语言模型在 6G 网络语义推理中的缩放行为与部署效率，发现 1.5B-3B 参数的中等模型在确定性稳定性和计算效率间取得最佳平衡。

CausalRAG2: Hierarchical Causal Knowledge Graph Design for RAG

CausalRAG2: 面向RAG的分层因果知识图谱设计

Nengbo Wang, Tuo Liang, Vikash Singh, Chaoda Song, Van Yang, Yu Yin, Jing Ma, Jagdip Singh, Vipin Chaudhary

机构 * Department of Computer and Data Sciences, Case Western Reserve University, Cleveland, OH, USA（计算机与数据科学系，凯斯西储大学，克利夫兰，OH，USA） ； Design and Innovation Department, Case Western Reserve University, Cleveland, OH, USA（设计与创新部门，凯斯西储大学，克利夫兰，OH，USA） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出CausalRAG2框架，通过分层模块间的因果门控机制显式建模因果关系，抑制虚假相关，实现大规模知识图谱上的可扩展推理，并引入HolisQA基准，实验表明其优于现有图基RAG方法。

Comments Accepted at ICML 2026

AMVICC: A Novel Benchmark for Cross-Modal Failure Mode Profiling for VLMs and IGMs

AMVICC: 一种用于VLM和IGM跨模态故障模式分析的新型基准

Aahana Basappa, Pranay Goel, Anusri Karra, Anish Karra, Asa Gilmore, Kevin Zhu

机构 * Centennial High School, Frisco, Texas, USA（Centennial High School, Texas, USA） ； Lebanon Trail High School, Frisco, Texas, USA（Lebanon Trail High School, Texas, USA） ； West Windsor-Plainsboro High School, Princeton Junction, New Jersey, USA（West Windsor-Plainsboro High School, New Jersey, USA） ； Algoverse AI Research, Palo Alto, California, USA（Algoververse AI Research, California, USA） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出AMVICC基准，通过图像到文本和文本到图像任务系统比较多模态大模型和图像生成模型的视觉推理失败模式，发现故障模式在模型和模态间共享，但存在特定于模型和模态的失败。

Comments 14 pages, 4 figures, 8 tables. Presented at the 39th Conference on Neural Information Processing Systems Workshop: VLM4RWD. Presented at the 43th International Conference on Machine Learning Workshops: ICML 2026 CTB, ICML 2026 FAGEN, ICML 2026 EMM-QA. Authors Aahana Basappa and Pranay Goel contributed equally. Code: https://github.com/AahanaB24/AMVICC, Data: https://doi.org/10.5281/zenodo.17646068

Business as Rulesual: A Benchmark and Framework for Business Rule Flow Modeling with LLMs

业务即规则：面向LLM的业务规则流建模基准与框架

Chen Yang, Ruping Xu, Ruizhe Li, Bin Cao, Jing Fan

机构 * Zhejiang University of Technology（浙江工业大学） ； Zhejiang Key Laboratory of Visual Information Intelligent Processing（浙江省视觉信息智能处理重点实验室） ； University of Aberdeen（阿伯丁大学） ； University of Birmingham（伯明翰大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出BREX基准（409份真实业务文档与2855条专家标注规则）和ExIde框架，通过可执行伪代码生成显式建模规则依赖，在13个LLM上验证了可执行接地作为归纳偏置的有效性。

MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference

MERGE: 自然语言推理的最小表达式替换泛化测试

Mădălina Zgreabăn, Tejaswini Deoskar, Lasha Abzianidze

机构 * Utrecht Institute of Linguistics OTS（乌得勒支语言研究所OTS） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出MERGE测试，通过最小表达式替换（MERE）生成高质量变体，评估NLI模型在非对抗性变体上的泛化能力，发现LLM和微调模型泛化较差。

Comments Pre-print

DeepResearch-9K: A Challenging Benchmark Dataset of Deep-Research Agent

DeepResearch-9K：一个具有挑战性的深度研究智能体基准数据集

Tongzhou Wu, Yuhao Wang, Xinyu Ma, Xiuqiang He, Shuaiqiang Wang, Dawei Yin, Xiangyu Zhao

机构 * Shenzhen Technology University（深圳技术大学） ； City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 为解决深度研究智能体缺乏大规模挑战性数据集和开源训练框架的问题，构建了DeepResearch-9K数据集，包含9000个多难度问题、搜索轨迹和可验证答案，并开发了开源训练框架DeepResearch-R1，实验表明训练后的智能体在基准测试上达到最优。

Comments 6 pages, 4 figures

Learning More from Less: Unlocking Internal Representations for Benchmark Compression

从更少中学习更多：解锁内部表示以实现基准压缩

Yueqi Zhang, Jin Hu, Shaoxiong Feng, Peiwen Yuan, Xinglin Wang, Yiwei Li, Jiayi Shi, Chuyi Tan, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

机构 * School of Computer Science, Beijing Institute of Technology（北京理工大学计算机科学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出RepCore方法，通过对齐异构隐藏状态构建代表性核心集，仅需少量源模型即可精确估计大语言模型在完整基准上的性能，显著优于基于输出的基线方法。

Enhancing Diversity of LLM-Generated Educational Tasks

增强大语言模型生成教育任务的多样性

Manh Hung Nguyen, Sebastian Tschiatschek, Adish Singla

机构 * MPI-SWS（马克斯·普朗克研究所-斯图加特研究所） ； University of Vienna（维也纳大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对大语言模型生成教育任务时内容同质化的问题，提出基于发散-收敛思维的两阶段提示框架CreativeDC，在Python编程领域生成的任务多样性提升约1.6倍，同时保持高实用性。

Comments EDM 2026 Poster Paper

AlgoSimBench: Identifying Algorithmically Similar Problems for Competitive Programming

AlgoSimBench: 识别算法相似问题的竞赛编程基准

Jierui Li, Raymond Mooney

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出AlgoSimBench基准，通过对抗性设计的多选题评估大语言模型识别算法相似问题的能力，并引入尝试解决方案匹配方法提升准确率。

Comments 14 pages, accepted to IJCAI 2026

VitalAgent: A Tool-Augmented Agent for Reactive and Proactive Physiological Monitoring over Wearable Health Data

VitalAgent: 一种工具增强型代理，用于对可穿戴健康数据进行反应性和主动式生理监测

Di Zhu, Yu Yvonne Wu, Hong Jia, Aaqib Saeed, Vassilis Kostakos, Ting Dang

机构 * The University of Melbourne, Australia（墨尔本大学） ； Dartmouth College, US（达特茅斯学院） ； University of Auckland, New Zealand（奥克兰大学） ； Eindhoven University of Technology, Netherlands（埃因霍温理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出VitalAgent框架，通过工具增强推理和纵向生理记忆，实现对ECG/PPG信号的反应性问答与主动监测，在VitalBench基准上相比基线提升超30%。

Comments Minor revisions; results unchanged

FutureOmni: Evaluating Future Forecasting from Omni-Modal Context for Multimodal LLMs

FutureOmni：从全模态上下文中评估多模态大语言模型的未来预测能力

Qian Chen, Jinlan Fu, Changsong Li, Min Zhang, See-Kiong Ng, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出FutureOmni基准，评估多模态大模型从音视频线索预测未来的能力，发现现有模型在语音密集场景下表现差，并设计OFF训练策略提升性能。

Comments Accepted by ICML 2026

UniECG: Understanding and Generating ECG in One Unified Model

UniECG: 在一个统一模型中理解与生成心电图

Jiarui Jin, Haoyu Wang, Xiang Lan, Jun Li, Hongyan Li, Shenda Hong

机构 * Peking University（北京大学） ； Shanghai Ocean University（上海海洋大学） ； the Second Hospital of Tianjin Medical University（天津医科大学第二医院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出UniECG模型，通过两阶段设计实现心电图信号/图像生成解释性文本及根据文本目标生成对应心电图信号，支持交互式心电图教育。

Large Language Models for Agentic NetOps and AIOps: Architectures, Evaluation, and Safety

用于代理网络运维和AI运维的大型语言模型：架构、评估与安全

Muhammad Bilal, Jon Crowcroft, Ruizhi Wang, Xiaolong Xu, Schahram Dustdar

机构 * School of Computing and Communications（计算与通信学院） ； University of Cambridge（剑桥大学） ； School of Software（软件学院） ； Nanjing University of Information Science and Technology（南京信息科技大學） ； TU Wien（维也纳技术大学） ； ICREA 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本文探讨了大型语言模型在网络运维和AI运维中的应用，分析了代理架构、评估方法及安全挑战，强调系统可靠性依赖于模型周边机制，而非模型本身。

Comments 49 pages, 15 figures, 6 tables; survey article

When Tables Go Crazy: Evaluating Multimodal Models on French Financial Documents

当表格失控：评估多模态模型在法语金融文档上的表现

Virginie Mouilleron, Théo Lasnier, Anna Mosolova, Djamé Seddah

机构 * Inria Paris（巴黎国家信息与自动化研究所） ； Sorbonne Université（索邦大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出Scribe Finance基准，评估多模态模型在法语金融文档上的文本、表格、图表及多轮对话理解能力，发现模型在图表和多轮对话中表现脆弱。

Comments 16 pages, 13 figures