大模型推理能力

Assessing Language Models for Salient Class Identification

评估语言模型在显著类识别中的表现

Bo Xiong, Chaoran Cai, Kaipeng Xiong, Chong Wang, Peng Liang

专题命中 推理评测 ：chain-of-thought(abstract)

AI总结 研究语言模型能否直接从代码提交中识别显著类，无需特征工程或图构建，发现小模型在少样本提示下性能接近大模型，可降低成本和隐私障碍。

Comments 22 pages, 1 images, 8 tables, Manuscript submitted to a Journal (2026)

WeGenBench: A Multidimensional Diagnostic Benchmark towards Text-to-Image Model Optimization

WeGenBench：面向文本到图像模型优化的多维诊断基准

Qian Liang, Xiaomin Li, Ying Zhang, Jia Xu, Lihao Ni, Hongrui Li, Jingjing Li, Jing Lyu, Chen Li

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Dalian University of Technology（大连理工大学） ； Weixin, Tencent（腾讯微信） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出WeGenBench基准，包含4000个中英双语提示，通过场景分类和多维标签实现跨维度评估，并设计基于视觉语言模型的新颖指标，精准定位模型在特定生成类别中的缺陷。

A Unified Framework for Efficient Remote Sensing Visual Question Answering: Adapting Dual, Hybrid, and Encoder-Decoder Architectures

高效遥感视觉问答的统一框架：适配双编码器、混合架构和编码器-解码器架构

Timothy Agboada, Shikha Chandel, Yadav Raj Ghimire, Leila Hashemi-Beni

机构 * Computational Data Science and Engineering（计算数据科学与工程） ； College of Science and Technology（科学与技术学院） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出RS Adapter参数高效微调策略，在三种视觉语言模型架构上注入轻量瓶颈适配器，仅用不到5%可训练参数实现遥感VQA，混合架构FLAVA在多模态推理与检索间取得最佳平衡。

Comments 4 pages, 2 figures, accepted and to be presented at 2026 IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2026), scheduled for 9 to 14 August 2026 in Washington D.C

Benchmarking Large Vision-Language Models on Fine-Grained Image Tasks: From Evaluation to Diagnosis

大规模视觉-语言模型在细粒度图像任务上的基准测试：从评估到诊断

Hong-Tao Yu, Chen-Wei Xie, Yuxin Peng, Serge Belongie, Xiu-Shen Wei

机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院，中国） ； Alibaba Group（阿里巴巴集团） ； School of Computer Science and Engineering, School of Intelligence Science and Engineering, and Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Southeast University, China（东南大学计算机科学与工程学院、智能科学与工程学院以及新一代人工智能技术及其交叉应用关键实验室，中国） ； Wangxuan Institute of Computer Technology, National Key Laboratory for Multimedia Information Processing, Peking University, China（北京大学王轩计算机技术研究所、多媒体信息处理国家重点实验室，中国） ； University of Copenhagen, Denmark（丹麦哥本哈根大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出FG-BMK基准，含101万问题和28万图像，通过人机双范式评估LVLM的细粒度语义识别与视觉判别能力，诊断失败原因，发现视觉表示、语义对齐等瓶颈。

PowerAgentBench-SS: A Benchmark for Agentic AI in Power System Steady-State Studies

PowerAgentBench-SS：电力系统稳态研究中智能体AI的基准测试

Costas Mylonas, Magda Foti, Andrea Pomarico, Matheus Duarte, Qian Zhang, Emmanouel Varvarigos

专题命中 推理评测 ：planning(abstract)

AI总结 提出PowerAgentBench-SS基准框架，用于评估LLM智能体在电力系统稳态研究中执行工程工作流的能力，通过工具API、验证预算和风险敏感指标区分智能体性能。

ShellGames: Speculative LLM-Driven SSH Deception

ShellGames: 基于LLM的推测性SSH欺骗

Umberto Salviati, Fabio De Gaspari, Mauro Conti, Luigi Vincenzo Mancini

专题命中 推理评测 ：chain-of-thought(abstract)

AI总结 针对LLM在欺骗系统中缺乏持久状态、输出不一致等问题，提出ShellGames，结合思维链、记忆管理、推测执行等五种技术，在正确性、一致性、状态跟踪和鲁棒性上显著优于基线。

ICBCBench: An Industry Consortium Benchmark for Financial Deep Research

ICBCBench：面向金融深度研究的行业联盟基准

Weiya Li, Zhiwei Tang, Yizhou He, Chenghao Wang, Liang Feng, Xiao Sun, Dongrui Liu, Zichen Wen, Hu Wei, Jinghang Wang, Yi Luo, Li Guo, Linfeng Zhang

专题命中 推理评测 ：reasoning(abstract)

AI总结 针对金融领域深度研究代理评估标准缺失的问题，提出ICBCBench基准，采用客观任务与主观报告评估双轨范式，揭示当前模型在复杂推理、事实依据和报告质量上的显著差距。

Comments 33 pages, 14 figures. Preprint. Under review

CIAN: Multi-Stage Framework for Event-Enriched Image Captioning via Retrieval-Augmented Generation

CIAN：基于检索增强生成的事件丰富图像描述的多阶段框架

Trinh Thi Thu Hien, Trung-Nghia Le

机构 * University of Science, Ho Chi Minh City（胡志明市理科大学） ； Vietnam National University, Ho Chi Minh City（越南国家大学胡志明市分校） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出多阶段框架CIAN，通过检索相关文章并利用LoRA微调Qwen模型生成叙事，结合N-Gram精炼，在OpenEvents-V1上提升CIDEr从0.030到0.094，实现事件丰富的图像描述。

Comments SOICT 2025

Abstention-Aware Personalized Object Rearrangement via Uncertainty-Guided LLM Assistance

基于不确定性引导的LLM辅助的弃权感知个性化物体重排

Sam Collin, Ali Ayub

机构 * Concordia University（康考迪亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出APOLLO框架，结合轻量级个性化嵌入模型与选择性大语言模型辅助，通过不确定性估计在模糊决策时调用LLM，实现高效、隐私保护的弃权感知物体重排。

Comments Accepted at the 2026 IEEE 35th International Conference on Robot and Human Interactive Communication (RO-MAN 2026)

GeoDisaster: Benchmarking Orchestrated Agents for Operational Disaster Geo-Intelligence

GeoDisaster: 用于操作化灾害地理智能的编排智能体基准测试

Maram Hasan, Aman Verma, Savitra Roy, Hariseetharam Gunduboina, Daksh Jain, Muhammad Haris Khan, Subhasis Chaudhuri, Biplab Banerjee

机构 * Indian Institute of Technology Bombay（印度理工学院孟买分校） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出GeoDisaster基准，包含2921个实例和43种问题类型，用于评估遥感视觉语言模型在工具化空间推理和结构化决策方面的能力，并设计多智能体框架RCEA提升工具使用和证据基础。

Comments 28 pages, 11 Figures

IndustryBench-MIPU: Benchmarking Multi-Image Attribute Value Extraction for Industrial Products

IndustryBench-MIPU：面向工业产品的多图像属性值提取基准

Haonan Qi, Jin Cao, Yongqi Zhang, Xintong Wang, Weidong Tang, Bin Chen, Chengfu Huo, Haojun Pan, Hengyu You, Jing Li, Yingde Wang, Liang Ding

机构 * Multimodal and Industrial AI Team（多模态与工业AI团队） ； Taobao&Tmall, Alibaba Group（淘宝&天猫，阿里巴巴集团） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出首个多图像工业产品理解基准IndustryBench-MIPU，通过结构化属性提取任务评估多模态大模型在规格表、铭牌、技术图纸上的文本识别、视觉推理、领域知识和跨图像证据整合能力，发现多图像完整性是核心瓶颈。

GRACE: Boosting Video MLLMs with Grounded Action-Centric Evidence for Viewer Sentiment Prediction

GRACE: 基于接地动作中心证据增强视频多模态大语言模型用于观众情感预测

Ruoxuan Yang, Tieyuan Chen, Xiaofeng Huang, Haibing Yin, Jun Wang, Xiping Chen, Jun Yin, Xuesong Gao, Weiyao Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； The 52nd Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第五十二研究所） ； Hangzhou Bywin Technology Co., Ltd.（杭州百威科技有限公司） ； Zhejiang Dahua Technology Co., Ltd.（浙江大华技术股份有限公司） ； School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院） ； Haihe Laboratory of Information Technology Application Innovation（海河信息技术应用创新实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出GRACE框架，通过提取时间有序的主谓宾三元组和视觉实体裁剪，增强视频MLLM对细粒度情感线索的提取与推理，在Pitts数据集上提升Qwen2.5-VL和Qwen3-VL性能。

Comments 13 pages, 5 figures

Trusting Right Predictions for Wrong Reasons: A LIME Based Analysis of Deep Learning Interpretability in Lung Cancer Diagnosis

信任错误理由的正确预测：基于LIME的肺癌诊断深度学习可解释性分析

Samarpan Poudel, Vladislav D Veksler

机构 * Caldwell University School of Business and Computer Science（考德威尔大学商业与计算机科学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 本研究通过LIME分析三种深度学习模型（CNN、ResNet50、ViT）在肺癌CT分类中的决策一致性，发现预测高度一致但解释区域差异显著，表明预测一致性不能替代推理一致性。

AttackonCTF: Defending Hardware Security Competition Benchmarks in the Age of LLMs

AttackonCTF: 在LLM时代捍卫硬件安全竞赛基准

Mohamadreza Rostami, Nikhilesh Singh, Stephen Muttathil, Lichao Wu, Chen Chen, Huimin Li, Jeyavijayan Rajendran, Ahmad-Reza Sadeghi

专题命中 推理评测 ：reasoning(abstract)

AI总结 针对LLM利用语法比较破解硬件安全竞赛基准的问题，提出首个面向LLM的语义保持混淆框架，将检测准确率降低78.6%，恢复基准可靠性。

Conditional Multi-Event Temporal Grounding in Long-Form Video

长视频中的条件多事件时间定位

Yuanhao Zou, Arthad Kulkarni, Lucas Tonanez, Lincoln Spencer, Guangyu Sun, Tianxingjian Ding, Andong Deng, Yi Li, Shuangjun Liu, Yuan Li, Dashan Gao, Ning Bi, Taotao Jing, Shuai Zhang, Chen Chen

机构 * University of Central Florida（中佛罗里达大学） ； Qualcomm AI Research（高通人工智能研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出CoMET-Bench基准和CoMET-Agent框架，解决长视频中基于组合时空条件定位所有事件的任务，F1@0.5提升6.1%。

Self-Driving Negotiator: An interactive, verifiable benchmark for social negotiation and theory of mind under hidden intent

自动驾驶谈判者：一个在隐藏意图下进行社会谈判和心理理论的交互式可验证基准

Ashutosh Kumar

机构 * Owl Autonomous Imaging, Inc（Owl 自动成像公司） 纠错

专题命中 推理评测 ：planning(abstract)

AI总结 提出一个文本多轮程序化生成环境，用于衡量自动驾驶中基于隐藏意图推断的隐式社会协调能力，通过特权模拟器状态计算奖励和诊断，当前最佳模型平均成功率仅0.68。

LLMs have Visualization Literacy: Now What? Experiments Exploring LLM Visualization Evaluation Capabilities

LLMs 具备可视化素养：现在呢？探索 LLM 可视化评估能力的实验

Christian Seto, Jacqueline Nguyen, Jiayi Hong, Ross Maciejewski

专题命中 推理评测 ：chain-of-thought(abstract)

AI总结 通过实验评估最新 LLM 在可视化素养、指令遵循和图形完整性方面的能力，发现其可视化素养超越人类，但在指令遵循和识别误导性可视化方面仍有不足。

Semantic Integrity Failures in Document-to-LLM Supply Chains

文档到LLM供应链中的语义完整性失败

Side Liu, Jiang Ming

专题命中 推理评测 ：reasoning(abstract)

AI总结 研究文档到LLM应用中的隐藏提取层导致的split-view PDF攻击，发现25种提取间隙，评估16个处理栈和7个商业LLM服务，提出静态扫描工具。

DynaHMRC: Decentralized Heterogeneous Multi-Robot Collaboration for Dynamic Tasks with Large Language Models

DynaHMRC: 基于大语言模型的动态任务去中心化异构多机器人协作

Wenhao Yu, Yu'ang Xie, Yifan Duan, Jie Peng, Guanting Ye, Ka-Veng Yuen, Yanyong Zhang, Jianmin Ji

机构 * University of Science and Technology of China (USTC)（中国科学技术大学） ； University of Macau (UM)（澳门大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出DynaHMRC去中心化框架，每个机器人作为角色感知的LLM智能体，通过四阶段闭环流程（自我描述、任务分配与领导竞标、领导者选举、反思执行）实现动态异构多机器人协作，并构建基准测试验证其高效性和可扩展性。

HSQ-VLM: A Novel Spatially-Constrained Quadrant Segmentation VLM Model for Explainability in Diabetic Retinopathy

HSQ-VLM: 一种用于糖尿病视网膜病变可解释性的新型空间约束象限分割VLM模型

Shivum Telang

机构 * Pittsburgh, Pennsylvania（宾夕法尼亚州匹兹堡） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出HSQ-VLM，利用地标锚定笛卡尔交叉注意力机制和四象限拓扑潜在分割，实现眼底图像中病变的解剖精确量化与自然语言报告生成，在出血和微动脉瘤检测上达到99.6%和96.4%的灵敏度。

GridVQA-X: A Framework for Evaluating Multimodal Explainability Methods

GridVQA-X: 评估多模态可解释性方法的框架

Sujay Belsare, Sudarshan Nikhil, Sushant Kumar, Ponnurangam Kumaraguru, Chirag Agarwal

机构 * IIIT Hyderabad（印度海得拉巴国际信息技术学院） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出GridVQA-X诊断框架，通过合成数据生成数学保证的解释，并训练纯推理与捷径依赖的配对模型，揭示现有可解释性方法无法区分真实跨模态推理与浅层捷径。

Comments 23 pages, 15 Figures, Accepted for poster presentation at CVPR 2026 TRUE-V Workshop

Evaluating LLMs for Obfuscation Detection and Classification in Android Apps

评估LLMs在Android应用中的混淆检测与分类能力

Luca Ferrari, Marco Alecci, Jordan Samhi, Tegawende' F. Bissyande', Jacques Klein, Mariano Ceccato, Luca Verderame

专题命中 推理评测 ：reasoning(abstract)

AI总结 本研究通过大规模实验评估大型语言模型（LLMs）在无需手工规则或训练的情况下，通过语义推理检测Android应用中的代码混淆，并与现有SAST方法对比。

SkillMutator: Benchmarking and Defending Language-and-Code Cross-modal Attacks on LLM Agent Skills

SkillMutator: 基准测试与防御针对LLM代理技能的语言与代码跨模态攻击

Youngduk Kim, Minkyoo Song, Seungwon Shin

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出SkillMutator基准，模拟13类跨模态攻击，并设计四阶段推理轨迹蒸馏框架，将检测率从17.1%提升至88.2%，超越GPT-4o-mini。

Counterintuitive problems in discrete probability

离散概率中的反直觉问题

Luca Avena, Gianmarco Bet, Bernardo Busoni

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文收集了一系列离散概率中的反直觉问题及详细解答，旨在挑战启发式推理，评估大语言模型在概率推理中的认知偏差。

Comments Feedback on possible mistakes or typos and suggested additions to the list of problems are welcome at the email address of the authors

Bridging the sim2real gap in the table tennis robot with a transformer-based ball states predictor

基于Transformer的乒乓球状态预测器弥合仿真到现实的差距

Yin Bi, Christian Conti, Bilan Yang, Alexander Sigrist, Peter Dürr, Naoya Takahashi

机构 * Sony AI, Zürich, Switzerland（索尼AI，苏黎世，瑞士） ； Sony AI, Tokyo, Japan（索尼AI，东京，日本） 纠错

专题命中 推理评测 ：planning(abstract)

AI总结 提出基于Transformer的乒乓球状态预测框架，利用注意力机制建模长程时间依赖，结合大规模真实数据集，并引入SPAD策略替换仿真器，无需重新训练即可缩小sim2real差距。

Exploring and Complementing End Users' Requirements in IoT enabled System

探索与补充物联网系统中终端用户的需求

Haotian Li, Xiaohong Chen, Zhi Jin, Shuyuan Xiao, Chenxu Wang, Haoxiang Yan, Xiaoyi Chen

专题命中 推理评测 ：reasoning(abstract)

AI总结 针对终端用户通过触发动作编程创建物联网规则时表达碎片化的问题，提出一种基于意图的需求补全方法，利用双向需求可追溯树和多智能体框架，结合大语言模型推理与结构化可追溯性，实现功能完整且内在安全的规则补全，将规则补全率提升43%，逻辑冲突减少21%以上。

Human-Centred Risk Mitigation for AI-Mediated Information Manipulation: A SOCMINT Framework Based on Information Manipulation Sets

以人为中心的AI中介信息操纵风险缓解：基于信息操纵集的SOCMINT框架

Antonio Scala

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出基于信息操纵集（IMS）的SOCMINT框架，作为事件级分析与归因优先分析之间的中间操作单元，实现结构化推理与风险缓解。

Comments 15 pages; supplementary material available as ancillary file

InquiTree: Evaluating AI Agents in the Scientific Inquiry Loop with Paper-Derived Research Trees

InquiTree: 在论文衍生研究树中评估科学探究循环中的AI智能体

Shaoyang Cui

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出InquiTree诊断环境，将科学探究形式化为交互式研究树，揭示AI智能体在长周期交互中关键判断退化（认知隧道）及对训练数据外论文性能下降的局限性。

Comments 17 pages, 4 figures, 5 tables

PRPO: Perception-Reinforced Policy Optimization via Token-Level Dynamic Advantage Reshaping

PRPO: 通过令牌级动态优势重塑的感知强化策略优化

Qiming Li, Tianlun Li, Xiaolong Cheng, Hangyu Li, Ruiyan Gong, Kangning Niu, Kaitao Jiang, Mu Xu

机构 * Amap CV Lab, Alibaba Group（阿里巴巴集团高德地图计算机视觉实验室） ； Peking University（北京大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出令牌级强化学习框架PRPO，通过鲁棒视觉依赖（RVD）指标识别关键感知令牌，并利用感知优势重塑（PAR）技术增强其学习信号，在7个多模态推理基准上平均提升23.3%（3B模型）和21.1%（7B模型）。

OmniCap-IF: Benchmarking and Improving Instruction Following Abilities for Omni-Video Captioning

OmniCap-IF：全视频字幕遵循指令能力的基准测试与改进

Jiahao Wang, An Ping, Yanghai Wang, Yuanxing Zhang, Shihao Li, Hanyan Bian, Yichi Ren, Yize Zhang, Han Wang, Haowen Chen, Junze Li, Jiaqi Wang, Yiyang Hu, Zhuze Xu, Zijie Zhang, Jiaheng Liu

机构 * NJU-LINK Team, Nanjing University（南京大学 NJU-LINK 团队） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出首个全模态字幕指令遵循基准OmniCap-IF，通过格式与内容正确性评估50种约束类型，揭示格式-内容权衡，并构建54K指令微调数据集OmniCap-IF-54K及模型OmniCaptioner-IF。