多模态大模型

GDP.pdf: Benchmarking Grounded Multimodal Reasoning over Professional PDF Documents

GDP.pdf：针对专业PDF文档的基础多模态推理基准测试

Suhaas Garre, Emily Ritchie, Sushant Mehta, Edwin Chen

机构 * Surge AI 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对专业PDF文档构建多模态推理基准测试GDP.pdf，由专业人员编写问题-文档对，通过严格筛选保留问题，有详细评分标准和能力分类。评估七个前沿模型，发现多数错误源于特定模式，公开了完整基准测试。

Comments 9 pages. v2: results updated to July 2026 leaderboard (17 models). Accepted at the 2nd Workshop on Knowledge-Intensive Multimodal Reasoning (KnowledgeMR) at CVPR 2026 (non-archival), under the former title "PDFParse: A Benchmark for Grounded Multimodal Reasoning over Professional PDF Documents". Dataset: https://huggingface.co/datasets/surgeai/GDP.pdf ; Code: https://github.com/surge-ai/gdp-pdf

MELLA: Bridging Linguistic Capability and Cultural Groundedness for Low-Resource Language MLLMs

MELLA：弥合低资源语言多模态大语言模型的语言能力与文化根基

Yufei Gao, Jiaying Fei, Nuo Chen, Ruirui Chen, Guohang Yan, Yunshi Lan, Botian Shi

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； East China Normal University（东华大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Institute of High Performance Computing, A*STAR（高性能计算研究所，A*STAR） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对低资源语言MLLMs文化内涵不足问题，提出MELLA数据集，采用双源策略，结合母语网络图像-替代文本对与生成翻译的图像描述进行监督，经实验表明能减轻文化幻觉，强调数据对齐对低资源语言文化基础多模态理解的重要性。

Multimodal QUD: Inquisitive Questions from Scientific Figures

多模态QUD：来自科学图表的探究性问题

Yating Wu, William Rudman, Venkata S Govindarajan, Alexandros G. Dimakis, Junyi Jessy Li

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Ithaca College（伊萨卡学院） ； UC Berkeley, BespokeLabs.ai（伯克利大学，BespokeLabs.ai） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出多模态QUD数据集，通过结合图表与文本上下文生成探究性问题，提升多模态推理能力，实现更高质量的视觉 grounding。

StructReward: Efficient Structured Process Rewards for Self-Correcting Multimodal Reasoning

StructReward：用于自修正多模态推理的高效结构化过程奖励

Yifan Li, Ruxin Sun, Tongzhou Zhao

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究提出StructReward框架，通过结构化步骤级奖励对齐结合GRPO目标等方式，在无额外验证器的情况下降低多模态强化学习开销，实现自修正多模态推理。

Comments 9 pages, 3 figures. Yifan Li and Ruxin Sun contributed equally

Curia-MAE: Multi-Modal Multi-Anatomy MAE Pre-Training for 3D Medical Image Segmentation

Curia-MAE：面向3D医学图像分割的多模态多解剖区域掩码自编码器预训练方法

Théo Danielou, Antoine Saporta, Léo Alberge, Corentin Dancette

机构 * Raidium（雷迪厄姆） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出Curia-MAE，通过改进MAE预训练目标，在30万张CT和MRI图像上预训练的多模态多解剖区域模型，可提升冻结编码器下的3D医学图像分割性能，尤其适用于标注数据稀缺的病灶任务。

Comments Accepted at ECCV 2026 Workshop AI4M3D

Panoramic Multimodal Semantic Occupancy Prediction for Quadruped Robots

四足机器人全景多模态语义占用预测

Guoqiang Zhao, Zhe Yang, Sheng Wu, Fei Teng, Mengfei Duan, Yuanfan Zheng, Kai Luo, Kailun Yang

机构 * School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出PanoMMOcc数据集和VoxelHound框架，通过垂直抖动补偿和多模态信息融合提升四足机器人全景多模态3D感知性能。

Comments The dataset and code will be publicly released at https://github.com/SXDR/PanoMMOcc

RESPClinBench: Benchmarking Multimodal Clinical Decision-Making and Longitudinal Disease Management in Respiratory Specialty Care

RESPClinBench：呼吸专科医疗中的多模态临床决策与纵向疾病管理基准测试

Mouxiao Bian, Zhi Chen, Ruiyao Chen, Lu Lu, Hengrui Liang, Chaoyi Huang, Yiluo Lin, Jingru Ding, Yun Zhong, Yueming Su, Jie Xu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Macau University of Science and Technology（澳门科技大学） ； First Affiliated Hospital of Guangzhou Medical University（广州医科大学附属第一医院） ； Guangzhou Institute of Respiratory Health（广州呼吸健康研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 该研究开发了呼吸专科多模态临床决策与纵向疾病管理基准RESPClinBench，在两个数据集上评估7种大模型，识别模型在肺结节评估和COPD管理的局限，为模型选择提供临床依据。

HalluScope: Fine-grained Hallucination Diagnosis for Multimodal Large Language Models

HalluScope：多模态大语言模型的细粒度幻觉诊断

Weilin Jin, Mingyu Wang, Wenbo Li, Haoyang Huang, Yifan Wu, Ying Li, Gang Huang, Zhonghai Wu

机构 * Peking University（北京大学） ； Joy Future Academy（京东探索研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型的幻觉问题，提出细粒度幻觉诊断任务，开发数据集并设计奖励函数，训练HalluScope-4B和HalluScope-8B模型，在多个基准测试中达最优，其诊断解释能有效指导目标模型纠正幻觉。

Comments Accepted to ACM Multimedia 2026 (ACM MM 2026)

LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content

LiveXiv —— 基于 arXiv 论文内容的多模态实时基准测试集

Nimrod Shabtay, Felipe Maia Polo, Sivan Doveh, Wei Lin, M. Jehanzeb Mirza, Leshem Choshen, Mikhail Yurochkin, Yuekai Sun, Assaf Arbelle, Leonid Karlinsky, Raja Giryes

机构 * Faculty of Engineering Tel-Aviv University（特拉维夫大学工程学院） ； IBM Research（IBM研究院） ； Department of Statistics, University of Michigan（密歇根大学统计学系） ； JKU Linz, Austria（林茨大学，奥地利） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； MIT-IBM（麻省理工学院-IBM） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 针对多模态模型训练中测试数据污染问题，提出基于 arXiv 论文的 LiveXiv 实时基准，自动生成 VQA 对，用部分模型评估降低成本，验证了其性能差异极小，数据集已在 HuggingFace 公开。

ICU-Bench:Benchmarking Continual Unlearning in Multimodal Large Language Models

ICU-Bench: 多模态大语言模型持续反学习基准测试

Yuhang Wang, Wenjie Mei, Junkai Zhang, Guangyu He, Zhenxing Niu, Haichang Gao

机构 * School of Computer Science and Technology（计算机科学与技术学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出ICU-Bench，用于评估多模态大语言模型在持续隐私删除中的性能，包含1000个敏感资料和9500张图像，引入新指标分析遗忘效果与稳定性，揭示现有方法在持续场景下的局限。

Comments 21 pages, 11 figures, and 9 tables

Missing-by-Design: Certifiable Modality Deletion for Revocable Multimodal Sentiment Analysis

缺失-by-设计：可撤销多模态情感分析的可验证模态删除

Rong Fu, Ziming Wang, Chunlei Meng, Jiekai Wu, Kangan Qian, Hao Zhang, Simon Fong

机构 * University of Macau（澳门大学） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Juntendo University（立命馆大学） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出MBD框架，通过结构化表示学习和可验证参数修改流程，实现可撤销多模态情感分析中的模态删除，实验表明其在不完整输入下具有强预测性能，并实现隐私与效用的平衡。

Comments 21 pages, 6 figures. In the previous version, Juntendo University was erroneously listed as the affiliation; we must clarify that this paper has absolutely no relation to Juntendo University. Therefore, we have replaced this affiliation in the new version

On-Device Inference versus Wireless Streaming: Energy-Efficient Multi-Modal Deep Learning for Wearable Cardiovascular Patches

面向心血管传感器贴片的端到端多模态微型CNN原型设计

Mustafa Fuad Rifet Ibrahim, Tunc Alkanat, Felix Manthey, Maurice Meijer, Alexander Schlaefer, Peer Stelldinger

机构 * CTO System Innovation, NXP Semiconductors Germany GmbH（NXP半导体德国系统创新部） ； Advanced Chip Engineering, NXP Semiconductors（NXP半导体先进芯片工程部） ； Business Line Secure Connected Edge, NXP Semiconductors（NXP半导体安全连接边缘业务线） ； Institute of Medical Technology and Intelligent Systems, Hamburg University of Technology（汉堡技术大学医学技术与智能系统研究所） ； Department of Informatics, Hamburg University of Applied Sciences（汉堡应用科学大学信息学院） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 针对资源受限的医疗边缘设备，提出一种早期融合心电图和心音图数据的卷积神经网络，实现二分类，相比现有技术将内存和计算成本降低约三个数量级，并验证了在微控制器上的能效优势。

Comments 16 pages, 2 figures. Extended version of our 2024 IEEE PerCom paper, with direct on-device energy measurements, a BLE communication benchmark, architecture comparisons, and an extended evaluation. Submitted to Pervasive and Mobile Computing; Measurement-method clarifications and minor editorial corrections; results and conclusions unchanged

Bridging the Gap in Ophthalmic AI: MM-Retinal-Reason Dataset and OphthaReason Model toward Dynamic Multimodal Reasoning

缩小眼科人工智能的差距：MM-Retinal-Reason数据集与OphthaReason模型用于动态多模态推理

Ruiqi Wu, Yuang Yao, Tengfei Ma, Chenran Zhang, Na Su, Tao Zhou, Geng Chen, Wen Fan, Yi Zhou

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Department of Ophthalmology, The First Affiliated Hospital of Nanjing Medical University（南京医科大学第一附属医院眼科学系） ； School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究针对现有眼科AI仅聚焦基础推理的问题，构建首个眼科多模态数据集MM-Retinal-Reason，并提出带UADT方法的OphthaReason模型，实现眼科多模态推理性能的显著提升。

DOSE-I: A Multimodal Biosignal Dataset of Procedural Sedation for Endoscopy -- Technical Report

DOSE-I：用于内镜操作镇静的多模态生理信号数据集——技术报告

Jakob Garbe, Jan W. Kantelhardt, Katja Seeliger, Thomas Schmid

机构 * Universitätsmedizin Halle (Saale)（哈勒（萨勒）大学医学院） ； Universitätsklinikum Halle (Saale)（哈勒（萨勒）大学医院） ； Universitätsklinik und Poliklinik für Innere Medizin I（内科学I大学医院和多科医院） ； Martin‑Luther‑Universität Halle‑Wittenberg（哈勒-维滕贝格马尔伯特大学） ； Medizinische Fakultät（医学系） ； Ernst‑Grube‑Straße 40（埃尔斯特-格鲁布街40号） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文介绍内镜镇静多模态生理信号数据集DOSE-I的构建细节，提供标注数据、预处理方案与开源代码，支撑相关医疗AI研究。

Comments Dataset can be accessed via zenodo DOI https://doi.org/10.5281/zenodo.18483292 For citation use the primary academic reference: Garbe J et al. Towards predicting sedation depth in endoscopy with large clinically annotated EEG data of continuous Propofol sedation. In: P. Andreevetal (Eds.): AIME2026, LNAI 16749, p.1-6, Springer, 2026. https://doi.org/10.1007/978-3-032-30813-9_58

PixDLM: A Dual-Path Multimodal Language Model for UAV Reasoning Segmentation

PixDLM：一种用于无人机推理分割的双路径多模态语言模型

Shuyan Ke, Yifan Mei, Changli Wu, Yonghan Zheng, Jiayi Ji, Liujuan Cao, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出PixDLM，一种用于无人机推理分割的多模态语言模型，通过构建DRSeg基准数据集，验证了该模型在处理高分辨率无人机图像中的有效性。

Comments Accepted to CVPR 2026 (highlight)

An Intelligent-Cloud Edge Multimodal Interaction System for Robots

一种用于机器人的智能云边缘多模态交互系统

Zihan Guo, Xiaoqi Li

机构 * Hainan University（海南大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对复杂环境下资源受限机器人的交互问题，提出云边缘多模态交互框架，集成增强YOLO手势检测器与LLM、VLM智能体，改进手势检测方法，经实验验证该系统在手势检测精度、任务成功率及用户满意度方面表现良好，证明了方法的可行性。

Learning Sparse Latent Predictive Foundation Model for Multimodal Neuroimaging

学习用于多模态神经影像的稀疏潜在预测基础模型

Haoxu Huang, Long Chen, Jingyun Chen, Jinu Hyun, James Ryan Loftus, Kara Melmed, Daniel Orringer, Jennifer Frontera, Seena Dehkharghani, Arjun Masurkar, Narges Razavian

机构 * New York University, Center for Data Science（纽约大学数据科学中心） ； NYU Grossman School of Medicine, Department of Radiology（纽约大学格罗斯曼医学院放射学系） ； State University of New York at Binghamton, School of Computing（纽约州立大学宾汉姆顿分校计算机学院） ； NYU Grossman School of Medicine, Department of Neurology（纽约大学格罗斯曼医学院神经病学系） ； NYU Grossman School of Medicine, Department of Neurosurgery（纽约大学格罗斯曼医学院神经外科学系） ； NYU Grossman School of Medicine, Department of Pathology（纽约大学格罗斯曼医学院病理学系） ； School of Medicine, Department of Radiology, Stanford（斯坦福大学医学院放射学系） ； NYU Grossman School of Medicine, Department of Neuroscience（纽约大学格罗斯曼医学院神经科学系） ； NYU Grossman School of Medicine, Neuroscience Institute（纽约大学格罗斯曼医学院神经科学研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出Neuro-JEPA模型，结合潜在预测目标和专家混合架构，学习T1w、T2w和FLAIR三种MRI序列的统一表示，在25项临床任务和22项公开数据集任务上优于现有基础模型和CNN基线。

Comments Under Review Preprint

CARV: A Diagnostic Benchmark for Compositional Analogical Reasoning in Multimodal LLMs

CARV：多模态大语言模型中组合类比推理的诊断基准

Yongkang Du, Xiaohan Zou, Minhao Cheng, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出CARV任务及5500样本数据集，评估多模态大语言模型在组合类比推理中的能力，发现Gemini-2.5 Pro准确率仅为40.4%，远低于人类水平，揭示模型在规则提取与组合变换上的局限。

Data-Efficient Curation for Multimodal Reasoning under Fixed Training Protocols

固定训练协议下多模态推理的数据高效整理

Yosub Shin, Michael Buriek, Boris Sobolev, Pavel Bushuyeu, Vikas Kumar, Haoyang Xu, Samuel Watson, Igor Molybog

机构 * University of Hawai'i at M\=anoa, Honolulu, HI, USA 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究固定协议微调下多模态推理的数据整理，以NeurIPS 2025 DCVLR挑战为测试平台，分析多种因素对推理准确性的影响，发现对齐源语料库的难度过滤增益最强，为数据受限的多模态推理微调提供经验方法。

PolyInterview: An LLM-based Platform for Immersive Mock Interview Practice with Comprehensive Multimodal Assessment

PolyInterview：一个基于大语言模型的沉浸式模拟面试平台，具备全面的多模态评估

Zhiyuan Wen, Jiannong Cao, Kelly Chan, Zijian Wang, Chen Chen, Xiaoyun Liu, Jianing Yin, Zhuo Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 PolyInterview平台利用大语言模型，基于职位描述和简历为求职者生成定制面试问题，通过数字人类面试官进行多轮口语面试，全面评估回答内容、语音表达和非语言行为，提供结构化反馈，助力求职者更好地准备面试。

Comments 10 pages, 7 figures, and 4 tables

Paired Uterine Whole-Slide Images and Pathology Reports for Multimodal Computational Pathology

用于多模态计算病理学的配对子宫全切片图像和病理报告

Han Li, Jingsong Liu, Ayako Ura, Junlin Hou, Zhengyang Xu, Azar Kazemi, Oskar Thaeter, Christian Grashei, Fabian Gülhan, Reza Nasirigerdeh, Xun Ma, Rui Yan, Hao Chen, S. Kevin Zhou, Nassir Navab, Carolin Mogler, Peter Schüffler

机构 * Institute of Pathology, Technical University of Munich（慕尼黑工业大学病理研究所） ； Computer Aided Medical Procedures (CAMP), Technical University of Munich（慕尼黑工业大学计算机辅助医疗程序（CAMP）） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Department of Human Pathology, Juntendo University Graduate School of Medicine（顺天堂大学医学研究生院人体病理学部） ； The Hong Kong University of Science and Technology（香港科技大学） ； Munich Data Science Institute (MDSI)（慕尼黑数据科学研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究子宫疾病病理诊断，针对全切片图像与病理报告配对数据集稀缺问题，引入TUM-Uteria数据集，含多对病例及切片级配对，经验证，为计算病理学研究提供支持。

Beyond Medical Diagnostics: How Medical Multimodal Large Language Models Think in Space

超越医学诊断：医学多模态大语言模型如何在空间中思考

Quoc-Huy Trinh, Xi Ding, Yang Liu, Zhenyue Qin, Xingjian Li, Gorkem Durak, Halil Ertugrul Aktas, Andrea M. Bejar, Ulas Bagci, Min Xu

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出SpatialMed基准，通过自主合成空间视觉问答数据评估医学MLLMs的3D空间智能，发现现有模型在医学影像空间推理能力不足。

MMEarth-Bench: Global Model Adaptation via Multimodal Test-Time Training

MMEarth-Bench：通过多模态测试时训练进行全局模型适配

Lucia Gordon, Serge Belongie, Christian Igel, Nico Lang

机构 * Harvard University, USA（哈佛大学，美国） ； University of Copenhagen, Denmark（哥本哈根大学，丹麦） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对地理空间机器学习中现有基准数据集不足，引入含多模态任务的MMEarth-Bench，通过多模态测试时训练方法提升模型性能，改善地理泛化能力。

Comments Published at ECCV 2026

A Spatial-Spectral-Frequency Interactive Network for Multimodal Remote Sensing Classification

一种空间-光谱-频率交互网络用于多模态遥感分类

Hao Liu, Yunhao Gao, Wei Li, Mingyang Zhang, Maoguo Gong, Lorenzo Bruzzone

机构 * Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系） ； School of Information and Electronics, Beijing Institute of Technology（北京理工大学信息与电子学院） ； Beijing Key Laboratory of Fractional Signals and Systems, Beijing Institute of Technology（北京理工大学分数域信号与系统北京市重点实验室） ； School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院） ； Key Laboratory of Collaborative Intelligent Systems of Ministry of Education, Xidian University（西安电子科技大学教育部协同智能系统重点实验室） ； Academy of Artificial Intelligence, Inner Mongolia Normal University（内蒙古师范大学人工智能研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出S$^2$Fin网络，通过空间、光谱和频率域的交互模块，提升多模态遥感图像分类性能，实验表明其在有限标注数据下表现优于现有方法。

Journal ref Pattern Recognition, Vol. 180, 2026, 114309

ZeroBench: An Impossible Visual Benchmark for Contemporary Large Multimodal Models

ZeroBench：当代大型多模态模型的一个不可能的视觉基准测试

Jonathan Roberts, Mohammad Reza Taesiri, Ansh Sharma, Akash Gupta, Samuel Roberts, Ioana Croitoru, Simion-Vlad Bogolin, Jialu Tang, Florian Langer, Vyas Raina, Vatsal Raina, Hanyi Xiong, Vishaal Udandarao, Jingyi Lu, Shiyang Chen, Sam Purkis, Tianshuo Yan, Wenye Lin, Gyungin Shin, Qiaochu Yang, Anh Totti Nguyen, David I. Atkinson, Aaditya Baranwal, Alexandru Coca, Mikah Dang, Sebastian Dziadzio, Jakob D. Kunz, Kaiqu Liang, Alexander Lo, Brian Pulfer, Steven Walton, Charig Yang, Kai Han, Samuel Albanie

机构 * University of Cambridge（剑桥大学） ； University of Alberta（阿尔伯塔大学） ； The University of Hong Kong（香港大学） ； University of Oxford（牛津大学） ； Northeastern University（东北大学） ； Astadeus ； College of Southern Maryland（马里兰州南部学院） ； University of Geneva（日内瓦大学） ； University of Oregon（俄勒冈大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对大型多模态模型在图像解释方面不足但在现有视觉基准测试中优势易逝的问题，引入通过对抗过滤策划的ZeroBench基准测试，评估多个模型，展现其潜力并公开测试内容，为模型视觉能力评估提供长期有效的新基准。

Comments Accepted at ICML 2026

TeachObs: A Human-Validated Benchmark for Multimodal Teaching Observation and Model Evaluation

TeachObs：多模态教学观察与模型评估的人工验证基准

Yeil Jeong, Youngjin Yoo, Jiyoung Bae, Seobin Sohn, Hyejin Han, Jinseo Lee, Howard Scott, Unggi Lee

机构 * Indiana University Bloomington（印第安纳大学布卢明顿分校） ； Pai Chai University（培才大学） ； Seoul National University（首尔国立大学） ； Ewha Womans University（成均馆大学） ； University of Wolverhampton（沃尔夫汉普顿大学） ； Korea University Sejong Campus（韩国大学世宗校区） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 提出TeachObs基准，包含30节公开课视频的5158个15秒场景，由7名研究者标注39个二值观察码，并评估5个前沿视觉大语言模型在三种任务上的表现。

MUSON: A Reasoning-oriented Multimodal Dataset for Socially Compliant Navigation in Urban Environments

MUSON：用于城市环境中社会合规导航的面向推理的多模态数据集

Zhuonan Liu, Xinyu Zhang, Zishuo Wang, Runji Cai, Tomohito Kawabata, Qianyi Li, Xuance Peng, Tianze Yu, Zhen Xiong, Xuesu Xiao, Ling Xiao

机构 * Graduate School of Information Science and Technology, Hokkaido University（北海道大学信息科学研究生院） ； Graduate School of Computer Science, George Mason University（乔治·马歇尔大学计算机科学研究生院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究社会合规导航问题，利用视觉语言模型，引入含10110个自我中心样本的多模态数据集MUSON，采用五步注释框架，为推进该导航提供有效基准。

VKnowU: Evaluating Visual Knowledge Understanding in Multimodal LLMs

VKnowU：评估多模态语言模型中的视觉知识理解

Tianxiang Jiang, Sheng Xia, Yicheng Xu, Linquan Wu, Xiangyu Zeng, Limin Wang, Yu Qiao, Yi Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Shanghai Innovation Institute（上海创新研究院） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究多模态大语言模型视觉知识理解能力，提出VKnowU基准测试。评估28个模型，发现与人类表现有差距。引入新数据集和VideoKnow+基线模型，采用结构化范式和强化学习，提升模型表现。

Comments Accepted by ECCV 2026. https://github.com/OpenGVLab/VKnowU

The P$^3$ Dataset: Pixels, Points and Polygons for Multimodal Building Vectorization

P$^3$数据集：用于多模态建筑物矢量化的像素、点和多边形

Raphael Sulzer, Liuyun Duan, Nicolas Girard, Florent Lafarge

机构 * Université Côte d’Azur, INRIA（法国里沃利大学、INRIA） ； LuxCarta Technology（LuxCarta技术公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 介绍用于建筑物矢量化的多模态P$^3$数据集，由多源数据构建，含大量高精度激光雷达点等。证明激光雷达点云可用于预测建筑物多边形，融合激光雷达和图像能提高预测精度与几何质量，数据集公开。

Omni-DuplexEval: Evaluating Real-time Duplex Omni-modal Interaction

Omni-DuplexEval: 评估实时双工全模交互

Chaoqun He, Mingyang Xiang, Yingjing Xu, Bokai Xu, Junbo Cui, Jie Zhou, Yuan Yao, Lijie Wen

机构 * Tsinghua University（清华大学） ； Tongji University（同济大学） ； ModelBest Inc.（ModelBest公司） 纠错

专题命中 多模态评测 ：omni-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出Omni-DuplexEval基准，用于系统评估实时双工交互能力，通过两个互补场景评估模型生成连续响应和主动提醒的能力，并揭示现有模型在平衡响应及时性和内容连贯性方面的局限性。

Comments 21 pages, 6 figures