多模态大模型

PDF-WuKong: A Large Multimodal Model for Efficient Long PDF Reading with End-to-End Sparse Sampling

PDF-WuKong：一种用于高效长PDF阅读的大型多模态模型，采用端到端稀疏采样

Xudong Xie, Hao Yan, Liang Yin, Yang Liu, Jing Ding, Minghui Liao, Yuliang Liu, Wei Chen, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； Huawei Inc.（华为公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出PDF-WuKong，一种针对长PDF文档的多模态大语言模型，通过端到端稀疏采样提升多模态问答效率，实验表明其在长文档理解任务中优于其他模型，F1得分平均高出8.6%。

Comments Accepted by International Journal of Computer Vision (IJCV)

Can Multimodal Large Language Models Truly Understand Small Objects?

多模态大语言模型真的能理解小物体吗？

Fujun Han, Junan Chen, Xintong Zhu, Jingqi Ye, Xuanjie Mao, Tao Chen, Peng Ye

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） ； MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出SOUBench基准，评估现有多模态大语言模型对小物体的理解能力，发现其能力有限，并通过SOU-Train数据集提升模型表现。

Comments Under Peer Review (26 pages, 9 figures, 6 tables)

ShredBench: Evaluating the Semantic Reasoning Capabilities of Multimodal LLMs in Document Reconstruction

ShredBench：评估多模态大语言模型在文档重建中的语义推理能力

Zichun Guo, Yuling Shi, Wenhao Zeng, Chao Hu, Haotian Lin, Terry Yue Zhuo, Jiawei Chen, Xiaodong Gu, Wenping Ma

机构 * Xidian University（西安电子科技大学） ； Shanghai Jiao Tong University（上海交通大学） ； Alibaba Qwen（阿里巴巴量子计算实验室） ； Old Dominion University（旧 Dominion 大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出ShredBench基准，用于评估多模态大语言模型在文档重建任务中的语义推理能力，发现现有模型在处理破碎文档时存在显著性能差距。

Comments ACL 2026 Findings. Code available at https://github.com/ythere-y/ShredBench

EmoBench-M: Benchmarking Emotional Intelligence for Multimodal Large Language Models

EmoBench-M：多模态大语言模型情感智能评估基准

He Hu, Lianzhong You, Hongbo Xu, Qianning Wang, Fei Richard Yu, Fei Ma, Zebang Cheng, Zheng Lian, Yucheng Zhou, Laizhong Cui

机构 * Shenzhen University（深圳大学） ； Guangdong Laboratory of Artificial Intelligence（广东人工智能与数字经济实验室） ； Auckland University of Technology（奥克兰理工大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； SKL-IOTSC, CIS, University of Macau（澳门科学技术大学SKL-IOTSC、CIS） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出EmoBench-M，通过建立心理理论基础，评估多模态大语言模型在13种场景中的情感识别、理解及社会复杂情感分析能力，揭示模型在情感智能方面的性能差距。

Hierarchical Prototype-based Domain Priors for Multiple Instance Learning in Multimodal Histopathology Analysis

层次化原型域先验用于多实例学习的多模态病理分析

Xuemei Qiu, Dawei Fan, Yebin Huang, Yanping Chen, Lifang Wei

机构 * College of Computer and Information Science, Fujian Agriculture and Forestry University（福建农林大学计算机与信息科学学院） ； College of Future Technology, Fujian Agriculture and Forestry University（福建农林大学未来技术学院） ； Digital Fujian Institute of Agricultural Big Data, Fujian Agriculture and Forestry University（福建农业大数据数字福建研究院） ； Department of Pathology, Clinical Oncology School of Fujian Medical University, and Fujian Cancer Hospital（福建医科大学临床肿瘤学院病理科及福建癌症医院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出HPDP框架，通过引入形态锚定原型系统和正弦位置编码，解决多实例学习中数据驱动黑箱问题，提升病理诊断与预后分析的鲁棒性和可解释性。

QEVA: A Reference-Free Evaluation Metric for Narrative Video Summarization with Multimodal Question Answering

QEVA：一种基于多模态问答的无参考视频文本摘要评估指标

Woojun Jung, Junyeong Kim

机构 * Department of Artificial Intelligence, Chung-Ang University（Chung-Ang大学人工智能系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出QEVA，一种无参考视频摘要评估指标，通过多模态问答直接评估候选摘要与源视频，从覆盖性、事实性和时间顺序三个维度进行评估，引入MLVU(VS)-Eval基准数据集，实验表明QEVA与人类判断的关联性更高。

Comments Accepted to Findings of EMNLP 2025

EmoTrans: A Benchmark for Understanding, Reasoning, and Predicting Emotion Transitions in Multimodal LLMs

EmoTrans：一个多模态大语言模型中情感过渡理解、推理和预测的基准测试

He Hu, Tengjin Weng, Zebang Cheng, Yu Wang, Jiachen Luo, Björn Schuller, Zheng Lian, Laizhong Cui

机构 * Shenzhen University（深圳大学） ； Guangdong Laboratory of Artificial Intelligence（广东人工智能与数字经济实验室） ； Queen Mary University of London（女王学院伦敦大学） ； Technical University of Munich（慕尼黑技术大学） ； Imperial College London（伦敦帝国学院） ； Tongji University（同济大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 EmoTrans旨在评估多模态视频中情感动态理解能力，包含1000个手工标注的视频片段和3000多个任务特定问题-答案对，通过四个任务形成从粗粒度检测到深度推理的评估框架，发现当前大语言模型在细粒度情感动态建模上仍存在挑战。

VitaminP: cross-modal learning enables whole-cell segmentation from routine histology

VitaminP: 跨模态学习实现常规组织学图像的全细胞分割

Yasin Shokrollahi, Karina B. Pinao Gonzales, Elizve N. Barrientos Toro, Paul Acosta, Patient Mosaic Team, Pingjun Chen, Yinyin Yuan, Xiaoxi Pan

机构 * Department of Translational Molecular Pathology, Division of Pathology and Laboratory Medicine, The University of Texas MD Anderson Cancer Center（转化分子病理学部门，病理与实验室医学分会，德克萨斯大学MD安德森癌症中心） ； Institute for Data Science in Oncology, The University of Texas MD Anderson Cancer Center（肿瘤数据科学研究所，德克萨斯大学MD安德森癌症中心） ； The University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 VitaminP通过跨模态学习从常规H&E图像实现全细胞分割，利用配对的H&E-mIF数据迁移分子边界信息以克服H&E的细胞质对比度限制，构建了跨模态监督策略，并在14个公开数据集上训练，超越了四种最新方法并在未见数据集上泛化。

Comments 44 pages, 10 figures. Code and models available

MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples

MuSc-V2：基于未标记样本互评分的零样本多模态工业异常分类与分割

Xurui Li, Feng Xue, Yu Zhou

机构 * Huazhong University of Science and Technology（华中科技大学） ； University of Trento（特伦特大学） 纠错

专题命中 多模态评测 ：multimodal(title)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出MuSc-V2框架，通过改进3D表示、融合多尺度特征及互评分机制，实现零样本多模态工业异常检测，提升MVTec 3D-AD和Eyecandies数据集性能。

Comments TPAMI2026

Flood-DamageSense: Multimodal Mamba with Multitask Learning for Building Flood Damage Assessment using SAR Remote Sensing Imagery

Flood-DamageSense: 多模态Mamba与多任务学习用于基于SAR遥感图像的建筑物洪水损害评估

Yu-Hsuan Ho, Ali Mostafavi

机构 * Urban Resilience.AI Lab（城市韧性人工智能实验室） ； Zachry Department of Civil and Environmental Engineering（扎克里土木与环境工程系） ； Texas A&M University（德克萨斯A&M大学） ； College Station, TX（学院站, 德克萨斯） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出Flood-DamageSense模型，结合多模态Mamba架构与多任务学习，利用SAR遥感图像实现建筑物洪水损害评估，通过融合前后事件影像与洪水风险层，提升洪水损害识别精度，实验显示在Hurricane Harvey数据集上F1值提升显著。

Journal ref Comput. Aided Civ. Infrastruct. Eng. 40.26 (2025) 4401-4424

RareCollab: an LLM-powered framework for multimodal reasoning in Mendelian disease diagnosis

RareCollab: 一种基于大语言模型的多模态推理框架，用于孟德尔疾病诊断

Guantong Qi, Jiasheng Wang, Mei Ling Chong, Zahid Shaik, Shenglan Li, Shinya Yamamoto, Maura R. Z. Ruzhnikov, Devon E. Bonner, Jennefer N. Carter, Kevin S. Smith, Matthew T. Wheeler, Stephen B. Montgomery, Jonathan A. Bernstein, Sasidhar Pasupuleti, Undiagnosed Diseases Network, Pengfei Liu, Hu Chen, Zhandong Liu

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 RareCollab通过整合基因组、表型和转录组证据，提升孟德尔疾病诊断的多模态推理能力，其在890名患者中实现了对94%诊断基因的高优先级识别，优于现有方法。

OS-SPEAR: A Toolkit for the Safety, Performance,Efficiency, and Robustness Analysis of OS Agents

OS-SPEAR：一个用于操作系统代理安全、性能、效率和鲁棒性分析的工具包

Zheng Wu, Yi Hua, Zhaoyuan Huang, Chenhao Xue, Yijie Lu, Pengzhou Cheng, Zongru Wu, Lingzhong Dong, Gongshen Liu, Xinghao Jiang, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 OS-SPEAR通过四个维度系统分析操作系统代理，解决现有评估方法在安全、效率和多模态鲁棒性方面的不足，揭示代理在效率与安全之间的权衡及不同模态的鲁棒性差异。

ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents

ClawMark：多轮、多日、多模态同事代理的活体世界基准

Fanqing Meng, Lingxiao Du, Zijian Wu, Guanzheng Chen, Xiangyan Liu, Jiaqi Liao, Chonghe Jiang, Zhenglin Wan, Jiawei Gu, Pengfei Zhou, Rui Huang, Ziqi Zhao, Shengyuan Ding, Ailing Yu, Bo Peng, Bowei Xia, Hao Sun, Haotian Liang, Ji Xie, Jiajun Chen, Jiajun Song, Liu Yang, Ming Xu, Qionglin Qiu, Runhao Fu, Shengfang Zhai, Shijian Wang, Tengfei Ma, Tianyi Wu, Weiyang Jin, Yan Wang, Yang Dai, Yao Lai, Youwei Shu, Yue Liu, Yunzhuo Hao, Yuwei Niu, Jinkai Huang, Jiayuan Zhuo, Zhennan Shen, Linyu Wu, Cihang Xie, Yuyin Zhou, Jiaheng Zhang, Zeyu Zheng, Mengkang Hu, Michael Qizhe Shieh

机构 * ClawMark Team（ClawMark团队） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 ClawMark基准通过多轮多日任务和状态化沙盒环境评估同事代理在动态环境中的表现，包含100个专业场景任务，测试七种前沿代理系统，揭示部分进展常见但完整流程完成罕见。

Comments github repo: https://github.com/evolvent-ai/ClawMark

CrossGuard: Safeguarding MLLMs against Joint-Modal Implicit Malicious Attacks

CrossGuard: 保护大规模多模态语言模型免受联合模态隐式恶意攻击

Xu Zhang, Hao Li, Zhichao Lu

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Department of Computer Science & Engineering, Washington University in St. Louis（华盛顿大学圣路易斯分校计算机科学与工程系） 纠错

专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出CrossGuard，一种意图感知的防护系统，通过生成隐式样本和实验验证，有效防御显式和隐式攻击，提升大规模多模态语言模型的安全性与实用性。

Comments Accepted by ACL 2026 main conference

K-MetBench: A Multi-Dimensional Benchmark for Fine-Grained Evaluation of Expert Reasoning, Locality, and Multimodality in Meteorology

K-MetBench：一个多维基准，用于细粒度评估气象学中的专家推理、局部性和多模态能力

Soyeon Kim, Cheongwoong Kang, Myeongjin Lee, Eun-Chul Chang, Jaedeok Lee, Jaesik Choi

机构 * KAIST（韩国科学技术院） ； INEEJI ； Kongju National University（康久国立大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出K-MetBench，一个基于韩国资格考试的多维基准，揭示了专家推理、逻辑有效性、韩国地理文化理解及领域分析四个维度的差距，发现韩国模型在本地情境中优于大模型。

Comments 39 pages, 32 figures, 14 tables, including appendices. Accepted to Findings of the Association for Computational Linguistics (ACL 2026)

ParkingScenes: A Structured Dataset for End-to-End Autonomous Parking in Simulation Scenes

ParkingScenes: 一个用于模拟场景中端到端自动驾驶泊车的结构化数据集

Haonan Chen, Kaiwen Xiao, Bin Tian, Jun Fu

机构 * Institute of Automation（自动化研究所） ； Chinese Academy of Sciences（中国科学院） ； School of Art and Design（艺术与设计学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ParkingScenes数据集，通过结构化轨迹生成提升泊车性能，展示结构化监督对自主泊车政策学习的有效性。

Comments Accepted by CAC 2025

DO-Bench: An Attributable Benchmark for Diagnosing Object Hallucination in Vision-Language Models

DO-Bench: 一种用于诊断视觉语言模型中物体幻觉的可归因基准

JiYang Wang, Jiawei Chen, Mengqi Xiao, Yu Cheng, Yangfu Li, Zhaoxia Yin

机构 * Shanghai Key Laboratory of Multidimensional Information Processing, East China Normal University（多维信息处理上海市重点实验室，东华大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DO-Bench，通过结构化多模态干预隔离错误来源，评估模型对文本先验和感知能力的鲁棒性，揭示物体幻觉的异质性失败模式。

SolarFCD: A Large-Scale Dataset and Benchmark for Solar Fault Classification in Photovoltaic Systems

SolarFCD: 一个大规模数据集和基准，用于光伏系统中的太阳能故障分类

Misbah Ijaz, Saif Ur Rehman Khan, Abd Ur Rehman, Arooj Zaib, Sebastian Vollmer, Andreas Dengel, Muhammad Nabeel Asim

机构 * Rhineland-Palatinate Technical University of Kaiserslautern-Landau（凯泽斯劳滕-兰道技术大学） ； German Research Center for Artificial Intelligence（德国人工智能研究中心） ； Intelligentx GmbH ； Department of Core Informatics, Graduate School of Informatics ,Osaka Metropolitan University（信息学系，大阪 Metropolitan 大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出SolarFCD数据集，通过整合多个公开数据集，为太阳能板故障分类提供大规模、多模态的基准测试，验证了ResNet101V2在故障检测中的高准确率和平衡性能。

Can MLLMs "Read" What is Missing?

LLMs能否

Jindi Guo, Chaozheng Huang, Xi Fang

机构 * DP Technology（DP技术） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 MMTR-Bench评估多模态大语言模型从视觉上下文直接重建遮蔽文本的能力，通过单页或多页输入测试，聚焦布局理解、视觉关联和知识整合。

Detecting and Evaluating Medical Hallucinations in Large Vision Language Models

在大型视觉语言模型中检测和评估医学幻觉

Jiawei Chen, Dingkang Yang, Tong Wu, Yue Jiang, Xiaolu Hou, Mingcheng Li, Shunli Wang, Dongling Xiao, Ke Li, Lihua Zhang

机构 * Academy for Engineering and Technology, Fudan University（复旦大学工程与技术学院） ； Tencent Youtu Lab（腾讯优图实验室） ； Cognition and Intelligent Technology Laboratory（认知与智能技术实验室） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出Med-HallMark基准，用于医疗多模态领域中的幻觉检测与评估，引入MediHall Score和MediHallDetector，通过多任务训练提升模型可靠性，实验表明其在医疗应用中更有效。

IoT-Enhanced CNN-Based Labelled Crack Detection for Additive Manufacturing Image Annotation in Industry 4.0

物联网增强型CNN基于标记裂缝检测用于工业4.0增材制造图像标注

Mohsen Asghari Ilani, Yaser Mike Banad

机构 * School of Management, Swansea University（斯旺西大学管理学院） ； School of Electrical and Computer Engineering, University of Oklahoma（俄克拉荷马大学电气与计算机工程学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种物联网增强型深度学习框架，利用卷积神经网络进行增材制造表面裂缝检测，通过实时监控、高分辨率成像和边缘计算实现连续现场缺陷检测与分类，提升质量控制的准确性和效率。

Comments 6 Figures, 23 Pages

Real-time windrow detection from onboard tractor sensors for automated following

从车载拖拉机传感器实时检测风堆

Lorenz Gunreben, Nico Heider, Sebastian Zürner, Martin Schieck, Bogdan Franczyk

机构 * Leipzig University（莱比锡大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 本文提出一个结合立体视觉和激光雷达的多模态数据集，用于实时风堆跟随，展示了低成本立体相机与激光雷达的性能一致性，提供开源ROS 2管道以支持自主牧草收获系统开发。

Comments Published in the proceedings of the 46th GIL Annual Conference (GIL-Jahrestagung 2026)

WISE-FM:Operation-Aware, Engineering-Informed Foundation Model for Multi-Task Well Design

WISE-FM：面向多任务井设计的多任务基础模型

Carine de Menezes Rebello, Anderson Rapello dos Santos, Idelfonso B. R. Nogueira

机构 * Department of Chemical Engineering, Norwegian University of Science and Technology (NTNU)（挪威科学技术大学化学工程系） 纠错

专题命中 多模态评测 ：cross-modal(abstract)

AI总结 本文提出WISE-FM，一种结合设计意识、物理约束和多任务学习的多任务模型，用于提升井设计预测精度与完整性监控能力。

EgoLive: A Large-Scale Egocentric Dataset from Real-World Human Tasks

EgoLive：一个大规模的第一人称视角数据集，源自现实世界的人类任务

Yihang Li, Xuelong Wei, Jingzhou Luo, Yingjing Xiao, Yibo Bai, Guangyuan Zhou, Teng Zou, Chenguang Gui, Jiajun Wen, He Zhang, Kangliang Chen, Xing Pan, Shuaiyan Liu, Daming Wang, Tao An, Jiayi Li, Shibo Jin, Wanwan Zhang, Tianyu Wang, Boren Wei, Zhixuan Huang, Fangsheng Liu, Ruodai Li, Hui Zhang, Anson Li, Yicheng Gong, Peng Cao, Jiaming Liang, Liang Lin

机构 * Joy Future Academy, JD（京东探索研究院） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 本文提出EgoLive数据集，用于机器人操作学习，具有大规模、高质量、真实场景采集等优势，推动通用机器人模型突破和实际应用。