多模态大模型

CARV: A Diagnostic Benchmark for Compositional Analogical Reasoning in Multimodal LLMs

CARV：多模态大语言模型中组合类比推理的诊断基准

Yongkang Du, Xiaohan Zou, Minhao Cheng, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出CARV任务及5500样本数据集，评估多模态大语言模型在组合类比推理中的能力，发现Gemini-2.5 Pro准确率仅为40.4%，远低于人类水平，揭示模型在规则提取与组合变换上的局限。

Data-Efficient Curation for Multimodal Reasoning under Fixed Training Protocols

固定训练协议下多模态推理的数据高效整理

Yosub Shin, Michael Buriek, Boris Sobolev, Pavel Bushuyeu, Vikas Kumar, Haoyang Xu, Samuel Watson, Igor Molybog

机构 * University of Hawai'i at M\=anoa, Honolulu, HI, USA 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究固定协议微调下多模态推理的数据整理，以NeurIPS 2025 DCVLR挑战为测试平台，分析多种因素对推理准确性的影响，发现对齐源语料库的难度过滤增益最强，为数据受限的多模态推理微调提供经验方法。

Multi-Modal Semantic Segmentation of Electrolyzer Components for Sustainable Hydrogen Technologies: A Dual-Branch Deep Learning Approach

用于可持续氢能技术的电解槽组件多模态语义分割：一种双分支深度学习方法

Wasimul Karim, Nur Mohammad Fahad, Abdul Hasib Siddique, Md Rafiqul Islam, Hooman Mehdizadeh-Rad, Asif Karim, Sami Azam

机构 * Applied Artificial Intelligence and INtelligent Systems (AAIINS) Laboratory（应用人工智能与智能系统（AAIINS）实验室） ； University of Scholars（学者大学） ； Murdoch University（莫道克大学） ； Charles Darwin University（查尔斯达尔文大学） 纠错

专题命中 多模态评测 ：multi-modal(title)；cross-modal(abstract)；分类 cs.CV

AI总结 针对电解槽材料分割难题，提出双分支深度学习框架HREM-Net，结合高光谱和RGB图像，通过创新模块、融合模块及损失函数，在相关数据集上取得良好效果，有望用于工业提升电解槽效率和制氢预测性维护。

PolyInterview: An LLM-based Platform for Immersive Mock Interview Practice with Comprehensive Multimodal Assessment

PolyInterview：一个基于大语言模型的沉浸式模拟面试平台，具备全面的多模态评估

Zhiyuan Wen, Jiannong Cao, Kelly Chan, Zijian Wang, Chen Chen, Xiaoyun Liu, Jianing Yin, Zhuo Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 PolyInterview平台利用大语言模型，基于职位描述和简历为求职者生成定制面试问题，通过数字人类面试官进行多轮口语面试，全面评估回答内容、语音表达和非语言行为，提供结构化反馈，助力求职者更好地准备面试。

Comments 10 pages, 7 figures, and 4 tables

Paired Uterine Whole-Slide Images and Pathology Reports for Multimodal Computational Pathology

用于多模态计算病理学的配对子宫全切片图像和病理报告

Han Li, Jingsong Liu, Ayako Ura, Junlin Hou, Zhengyang Xu, Azar Kazemi, Oskar Thaeter, Christian Grashei, Fabian Gülhan, Reza Nasirigerdeh, Xun Ma, Rui Yan, Hao Chen, S. Kevin Zhou, Nassir Navab, Carolin Mogler, Peter Schüffler

机构 * Institute of Pathology, Technical University of Munich（慕尼黑工业大学病理研究所） ； Computer Aided Medical Procedures (CAMP), Technical University of Munich（慕尼黑工业大学计算机辅助医疗程序（CAMP）） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Department of Human Pathology, Juntendo University Graduate School of Medicine（顺天堂大学医学研究生院人体病理学部） ； The Hong Kong University of Science and Technology（香港科技大学） ； Munich Data Science Institute (MDSI)（慕尼黑数据科学研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究子宫疾病病理诊断，针对全切片图像与病理报告配对数据集稀缺问题，引入TUM-Uteria数据集，含多对病例及切片级配对，经验证，为计算病理学研究提供支持。

TikStance: A Multimodal and Hierarchical Dataset for Multi-target Stance Analysis in TikTok Political Conversations

TikStance：用于TikTok政治对话中多目标立场分析的多模态分层数据集

Yazhi Zhang, Fuqiang Niu, Bowen Zhang

机构 * School of Artificial Intelligence, Shenzhen Technology University（深圳技术大学人工智能学院） ； School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络空间安全学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究针对TikTok政治对话中多目标立场分析，提出多模态分层数据集TikStance，涵盖2024年美国选举周期三位政治人物，结合多目标覆盖、分层对话与人工注释，支持多模态立场检测等多领域研究。

MM-IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Repository-Level Issue Localization

MM-IssueLoc：用于评估多模态仓库级问题定位中视觉证据的可控基准

Shaoxiong Zhan, Shi Hu, Boyu Feng, Hai Lin, Andrew Gong, Zhengda Zhou, Jiaying Zhou, Yunyun Hou, Hao Su, Hai-Tao Zheng

机构 * Tsinghua University（清华大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对仓库级问题定位多为文本任务，视觉证据作用不明的情况，引入MM-IssueLoc基准和评估协议，含多语言实例与标注等。评估LLM和检索系统，发现现有系统距可靠多模态定位有差距，该基准让视觉证据成评估变量，助于后续研究。

InCarEmo: A Multimodal Dataset for In-Cabin Emotion Recognition and Driver State Monitoring

InCarEmo：用于车内情感识别和驾驶员状态监测的多模态数据集

Hao Yang, Yanyan Zhao, Kewei Zhao, Hongbo Zhang, Tian Zheng, Yusheng Liu, Xing Fu, Bichen Wang, Yu Zhang, Hao He, Zhen Wu, Xuda Zhi, Yongbo Huang, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； SERES（赛力斯） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对现有车内情感计算数据集局限，引入多模态InCarEmo数据集，整合多种数据支持情感识别、疲劳检测和分心监测等任务，构建中英文基准并给出基线结果，证明多模态融合优势，为车内情感理解奠基，推动人车交互发展。

Reinforcing Egocentric Spatial Perception in Multimodal Large Language Models via Ego Scene Augmentation

通过自我场景增强在多模态大语言模型中强化自我中心空间感知

Chi Kit Wong, Ye Pan, Yuanhuiyi Lyu, Xu Zheng, Zidong Cao, Lutao Jiang, Zixin Zhang, Huiyu Zhou, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Guangxi Zhuang Autonomous Region Information Center（广西壮族自治区信息中心） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究如何强化多模态大语言模型的自我中心空间感知，提出自我场景增强框架ESA，利用自我元素图作为中间表示，通过视觉基础模型增强空间感知，在EgoTextVQA基准上取得显著性能提升。

Comments 14 pages, 8 figures. Chi Kit Wong and Ye Pan contributed equally. Code: https://github.com/Chikit-WONG/spatialGraph

Beyond Medical Diagnostics: How Medical Multimodal Large Language Models Think in Space

超越医学诊断：医学多模态大语言模型如何在空间中思考

Quoc-Huy Trinh, Xi Ding, Yang Liu, Zhenyue Qin, Xingjian Li, Gorkem Durak, Halil Ertugrul Aktas, Andrea M. Bejar, Ulas Bagci, Min Xu

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出SpatialMed基准，通过自主合成空间视觉问答数据评估医学MLLMs的3D空间智能，发现现有模型在医学影像空间推理能力不足。

Auditing Data Leakage in Whole-Slide Image Multimodal Benchmarks

全切片图像多模态基准测试中的数据泄露审计

Wenhao Zhang, Zhongliang Zhou, John Kang, Sheng Li

机构 * University of Virginia（弗吉尼亚大学） ； Merck & Co., Inc.（默克公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对计算病理学中WSI VQA基准测试数据泄露问题，通过追踪标识符发现患者级和机构级泄露，证明其可从基础模型特征空间解码，导致准确率差距，当前评估无法区分推理与检索，最后给出无污染评估建议。

A Multimodal Dataset for Large Language Model Applications in the Energy Domain

用于能源领域大语言模型应用的多模态数据集

Costas Mylonas, Magda Foti

机构 * UBITECH 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 介绍mAIEnergy多模态数据集，整合文本、图像、时间序列及地理空间等数据，统一为结构化格式并伴有元数据与工作流程，可作能源知识库，遵循FAIR原则，助力能源领域大语言模型应用的研究、建模和决策。

Triple-Phase Multimodal Knowledge Aggregation Framework for Microbial Keratitis Subtype Diagnosis on Slit-Lamp Photography

基于裂隙灯摄影的微生物性角膜炎亚型诊断三相多模态知识聚合框架

Yiqing Wang, Maria A. Woodward, Ziyun Yang, N. Venkatesh Prajna, Chunming He, Leslie M. Niziol, Mercy Pawar, Ming-Chen Lu, Guillermo Amescua, Rachel Wozniak, Sejal Amin, Abinaya Krishnan, Prabhleen Kochar, Sina Farsiu

机构 * Department of Biomedical Engineering, Duke University（杜克大学生物医学工程系） ； Kellogg Eye Center, Department of Ophthalmology and Visual Sciences, University of Michigan（密歇根大学凯洛格眼科中心，眼科学与视觉科学系） ； Department of Cornea and Refractive Surgery Services, Aravind Eye Care System（阿瓦因眼科医疗系统角膜与屈光手术部） ； Bascom Palmer Eye Institute, Department of Ophthalmology, University of Miami Miller School of Medicine（迈阿密大学米勒医学院巴斯科姆·帕勒眼科研究所，眼科学系） ； Flaum Eye Institute, Department of Ophthalmology, University of Rochester Medical Center（罗切斯特大学医学中心弗劳姆眼科研究所，眼科学系） ； Department of Ophthalmology, Henry Ford Hospital（亨利福特医院眼科部） ； Duke Eye Center, Duke University School of Medicine（杜克大学医学院杜克眼科中心） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对传统微生物性角膜炎病原体鉴定慢、成本高的问题，提出融合多模态信息的三相框架实现角膜炎亚型分类，经多中心验证性能优异，跨站点泛化评估更具参考性。

MMEarth-Bench: Global Model Adaptation via Multimodal Test-Time Training

MMEarth-Bench：通过多模态测试时训练进行全局模型适配

Lucia Gordon, Serge Belongie, Christian Igel, Nico Lang

机构 * Harvard University, USA（哈佛大学，美国） ； University of Copenhagen, Denmark（哥本哈根大学，丹麦） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对地理空间机器学习中现有基准数据集不足，引入含多模态任务的MMEarth-Bench，通过多模态测试时训练方法提升模型性能，改善地理泛化能力。

Comments Published at ECCV 2026

Pluralis v0.1: Towards a Multicultural, Multimodal, Multilingual Benchmark for AI Risk and Reliability

Pluralis v0.1：迈向用于人工智能风险与可靠性的多元文化、多模态、多语言基准测试

Alicia Parrish, Rajat Shinde, Sanket Badhe, Xinyi Bai, Sree Bhargavi Balija, Hua-Rong Chu, Emilio Ferrara, Armstrong Foundjem, Rajat Ghosh, Aakash Gupta, Xuanli He, Ong Chen Hui, Minji Jung, Madhangi Karimanal, Faiza Khan Khattak, Boryoung Kim, Eugenia Kim, Liliya Lavitas, Seok Min Lim, Victor Lu, Jim Moirangthem, Dhivya Nagasubramanian, Deepak Pandita, Sita Rajagopal, Geetha Raju, Evgeniia Razumovskaia, Aravind Reddy, Federico Ricciuti, Nobin Sarwar, Sungpil Shin, Sunayana Sitaram, Snehal Thorat, Tharindu Cyril Weerasooriya, Jasmijn Bastings, Joachim Baumann, Kongtao Chen, Murali Emani, Mariya Hendriksen, Jiho Jin, Jun Seong Kim, Younghoon Ko, Alicja Kwasniewska, Minjae Lee, Tom Wei-cyuan Lin Kashyap Ramanandula Manjusha, Junho Myung, Junyeong Park, Roma Patel, Shyam Ratan, Sudarsun Santhiappan, Priyanka Suresh, Tuesday, Ksheeraj Sai Vepuri Laura Amortegui-Ordonez, Claire Dennis, Minsuk Kahng, Chris Knotz, Alice Oh, Balaraman Ravindran, Soojung Ryu William Bartholomew, Hiwot Tesfaye, Lora Aroyo

机构 * Google DeepMind（谷歌DeepMind） ； University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校） ； Google（谷歌） ； University of Missouri Columbia（密苏里大学哥伦比亚分校） ； Chunghwa Telecom Laboratories（春木电信实验室） ； University of Southern California（南加州大学） ； Polytechnique Montreal（蒙特利尔理工学院） ； Nutanix ； ThinkEvolve Labs（ThinkEvolve实验室） ； UCL（伦敦大学学院） ； Infocomm Media Development Authority（信息通信媒体发展局） ； Monark Health（Monark健康） ； Seoul National University（首尔国立大学） ； Microsoft（微软） ； Centre for Responsible AI (CeRAI), Wadhwani School of Data Science and AI (WSAI), Indian Institute of Technology Madras（负责任人工智能中心（CeRAI）、瓦达威人工智能学校（WSAI）、印度理工学院马德拉斯分校） ； University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） ； Microsoft Research India（微软印度研究院） ； Stanford University（斯坦福大学） ； Argonne National Laboratory（阿贡国家实验室） ； University of Oxford（牛津大学） ； KAIST（韩国科学技术院） ； Yonsei University（延世大学） ； Amazon（亚马逊） ； UIUC（伊利诺伊大学香槟分校） ； Rochester Institute of Technology（罗切斯特理工学院） ； Xenoscube Inc.（Xenoscube公司） ； Korea AI Safety Institute (K-AISI)（韩国人工智能安全研究所（K-AISI）） ； MLCommons ； CommonGround ； Artifex Labs（Artifex实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究针对现有AI安全评估框架忽视文化差异问题，构建多语言多模态数据集Pluralis v0.1，从文化优先视角引入新评估范式，提出Judge - Pluralis集成，揭示特定地区失败模式，为多语言多元文化评估提供基础和创新起点。

A Spatial-Spectral-Frequency Interactive Network for Multimodal Remote Sensing Classification

一种空间-光谱-频率交互网络用于多模态遥感分类

Hao Liu, Yunhao Gao, Wei Li, Mingyang Zhang, Maoguo Gong, Lorenzo Bruzzone

机构 * Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系） ； School of Information and Electronics, Beijing Institute of Technology（北京理工大学信息与电子学院） ； Beijing Key Laboratory of Fractional Signals and Systems, Beijing Institute of Technology（北京理工大学分数域信号与系统北京市重点实验室） ； School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院） ； Key Laboratory of Collaborative Intelligent Systems of Ministry of Education, Xidian University（西安电子科技大学教育部协同智能系统重点实验室） ； Academy of Artificial Intelligence, Inner Mongolia Normal University（内蒙古师范大学人工智能研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出S$^2$Fin网络，通过空间、光谱和频率域的交互模块，提升多模态遥感图像分类性能，实验表明其在有限标注数据下表现优于现有方法。

Journal ref Pattern Recognition, Vol. 180, 2026, 114309

ZeroBench: An Impossible Visual Benchmark for Contemporary Large Multimodal Models

ZeroBench：当代大型多模态模型的一个不可能的视觉基准测试

Jonathan Roberts, Mohammad Reza Taesiri, Ansh Sharma, Akash Gupta, Samuel Roberts, Ioana Croitoru, Simion-Vlad Bogolin, Jialu Tang, Florian Langer, Vyas Raina, Vatsal Raina, Hanyi Xiong, Vishaal Udandarao, Jingyi Lu, Shiyang Chen, Sam Purkis, Tianshuo Yan, Wenye Lin, Gyungin Shin, Qiaochu Yang, Anh Totti Nguyen, David I. Atkinson, Aaditya Baranwal, Alexandru Coca, Mikah Dang, Sebastian Dziadzio, Jakob D. Kunz, Kaiqu Liang, Alexander Lo, Brian Pulfer, Steven Walton, Charig Yang, Kai Han, Samuel Albanie

机构 * University of Cambridge（剑桥大学） ； University of Alberta（阿尔伯塔大学） ； The University of Hong Kong（香港大学） ； University of Oxford（牛津大学） ； Northeastern University（东北大学） ； Astadeus ； College of Southern Maryland（马里兰州南部学院） ； University of Geneva（日内瓦大学） ； University of Oregon（俄勒冈大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对大型多模态模型在图像解释方面不足但在现有视觉基准测试中优势易逝的问题，引入通过对抗过滤策划的ZeroBench基准测试，评估多个模型，展现其潜力并公开测试内容，为模型视觉能力评估提供长期有效的新基准。

Comments Accepted at ICML 2026

Framework and Multi-modal Dataset for Roadwork Zone Detection and Geo-localization

道路施工区域检测与地理定位的框架和多模态数据集

Zhiran Yan, Yutong Xin, S Shyam Shenoi, Rui Song, Gordon Elger

机构 * Institute of Innovative Mobility (IIMo), Technical University Ingolstadt of Applied Sciences（应用科学英戈尔施塔特技术大学创新移动研究所） ； Fraunhofer Institute for Transportation and Infrastructure Systems IVI（弗劳恩霍夫交通与基础设施系统研究所IVI） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 针对自动驾驶中高清地图缺乏道路施工区域等半静态信息的问题，提出包含模拟和真实数据的多模态数据集及检测与地理定位管道，经实验验证该方法在检测及坐标转换上效果良好。

Comments Accepted to IEEE IV25. The RZDG dataset and code can be found at: https://github.com/chrisyan/RZDG

EgoInertia-MI: A Multimodal Egocentric Vision and IMU Benchmark for Motor Impairment Assessment

EgoInertia-MI：用于运动障碍评估的多模态自我中心视觉与惯性测量单元基准测试

Fatemah Alhamdoosh, Pietro Pala, Abduallah Mohamed, DK Arvind

机构 * University of Florence（佛罗伦萨大学） ； Meta Reality Labs（元现实实验室） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对运动障碍评估，结合自我中心视觉与惯性测量单元信号创建EgoInertia-MI数据集，设动作识别等任务并评估基线，发现多模态融合性能最佳，凸显两者结合用于运动评估的潜力。

An Automated Multimodal Glaucoma Detection Framework Using ViT and a Stacking-Based Ensemble

使用ViT和基于堆叠的集成方法的自动多模态青光眼检测框架

Ishrat Jahan, Muhammad E. H Chowdhury, Murugappan Murugappan, Kanchon Kanti Podder, Tawsifur Rahman, Shrestha Datta, Md Sakib Abrar Hossain, Md Mosarrof Hossen, Yosra Magdi Salih Mekki, Sanjiban Sekhar Roy

机构 * Department of Computer Science and Engineering, Shahjalal University of Science and Technology（肖哈尔大学科学与技术学院计算机科学与工程系） ； Department of Electrical Engineering, Qatar University（卡塔尔大学电气工程系） ； Department of Electronics and Communication Engineering, Kuwait College of Science and Technology（科威特科学与技术学院电子与通信工程系） ； Department of Interdisciplinary Engineering, Kennesaw State University（肯尼斯州立大学跨学科工程系） ； Department of Biomedical Engineering, School of Medicine, Johns Hopkins University（约翰霍普金斯大学医学院生物医学工程系） ； Department of Biomedical Engineering, University of Oxford（牛津大学生物医学工程系） ； Department of Computer Science and Engineering, Vellore Institute of Technology（维洛雷理工学院计算机科学与工程系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究在样本级和患者级设置下的青光眼检测，提出整合眼底图像与临床数据的自动多模态框架，用ViT提取特征，经典机器学习模型分类，堆叠集成优化性能，实验验证其高性能并部署为网络平台。

MedBench v5: A Dynamic, Process-Oriented, and Hallucination-Aware Benchmark for Clinical Multimodal Models

MedBench v5：面向临床多模态模型的动态、过程导向且幻觉感知的基准

Jinru Ding, Chuchu Jiang, Lu Lu, Wenrao Pang, Mouxiao Bian, Zhuangzhi Gao, Jiangyuan Chen, Xinwei Peng, Ruiyao Chen, Sijie Ren, Renjie Lu, Yun Zhong, Bin Han, Meiling Liu, Jie Xu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 提出MedBench v5，通过双维框架、可切换信息流压力源、动态过程审计协议和幻觉传播监控，实现临床多模态模型的动态过程评估与幻觉检测。

TeachObs: A Human-Validated Benchmark for Multimodal Teaching Observation and Model Evaluation

TeachObs：多模态教学观察与模型评估的人工验证基准

Yeil Jeong, Youngjin Yoo, Jiyoung Bae, Seobin Sohn, Hyejin Han, Jinseo Lee, Howard Scott, Unggi Lee

机构 * Indiana University Bloomington（印第安纳大学布卢明顿分校） ； Pai Chai University（培才大学） ； Seoul National University（首尔国立大学） ； Ewha Womans University（成均馆大学） ； University of Wolverhampton（沃尔夫汉普顿大学） ； Korea University Sejong Campus（韩国大学世宗校区） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 提出TeachObs基准，包含30节公开课视频的5158个15秒场景，由7名研究者标注39个二值观察码，并评估5个前沿视觉大语言模型在三种任务上的表现。

MUSON: A Reasoning-oriented Multimodal Dataset for Socially Compliant Navigation in Urban Environments

MUSON：用于城市环境中社会合规导航的面向推理的多模态数据集

Zhuonan Liu, Xinyu Zhang, Zishuo Wang, Runji Cai, Tomohito Kawabata, Qianyi Li, Xuance Peng, Tianze Yu, Zhen Xiong, Xuesu Xiao, Ling Xiao

机构 * Graduate School of Information Science and Technology, Hokkaido University（北海道大学信息科学研究生院） ； Graduate School of Computer Science, George Mason University（乔治·马歇尔大学计算机科学研究生院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究社会合规导航问题，利用视觉语言模型，引入含10110个自我中心样本的多模态数据集MUSON，采用五步注释框架，为推进该导航提供有效基准。

VKnowU: Evaluating Visual Knowledge Understanding in Multimodal LLMs

VKnowU：评估多模态语言模型中的视觉知识理解

Tianxiang Jiang, Sheng Xia, Yicheng Xu, Linquan Wu, Xiangyu Zeng, Limin Wang, Yu Qiao, Yi Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Shanghai Innovation Institute（上海创新研究院） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究多模态大语言模型视觉知识理解能力，提出VKnowU基准测试。评估28个模型，发现与人类表现有差距。引入新数据集和VideoKnow+基线模型，采用结构化范式和强化学习，提升模型表现。

Comments Accepted by ECCV 2026. https://github.com/OpenGVLab/VKnowU

The P$^3$ Dataset: Pixels, Points and Polygons for Multimodal Building Vectorization

P$^3$数据集：用于多模态建筑物矢量化的像素、点和多边形

Raphael Sulzer, Liuyun Duan, Nicolas Girard, Florent Lafarge

机构 * Université Côte d’Azur, INRIA（法国里沃利大学、INRIA） ； LuxCarta Technology（LuxCarta技术公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 介绍用于建筑物矢量化的多模态P$^3$数据集，由多源数据构建，含大量高精度激光雷达点等。证明激光雷达点云可用于预测建筑物多边形，融合激光雷达和图像能提高预测精度与几何质量，数据集公开。

Descriptor: LYNRED Mobility Dataset Multimodal Detection Subset (LYNRED-MDS)

描述符：LYNRED 移动数据集多模态检测子集 (LYNRED-MDS)

Loïc Arbez, Jessy Matias, Xavier Brenière, Jocelyn Chanussot, Ronald Phlypo

机构 * INRIA center at University Grenoble Alpes（法国格勒诺布尔阿尔卑斯大学INRIA中心） ； Lynred（Lynred公司） ； Univ Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab（法国格勒诺布尔阿尔卑斯大学、CNRS、格勒诺布尔INP、GIPSA实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对现有RGB-红外数据集场景简单、天气单一的问题，提出LYNRED-MDS多模态检测子集，包含4000对不同天气、光照和道路条件下的RGB-红外图像对，覆盖多种驾驶场景，通过YOLOv8n基线跨数据集评估验证了其在行人检测中的泛化潜力。

Journal ref IEEE Data Descriptions, 3, pp.1-10

Omni-DuplexEval: Evaluating Real-time Duplex Omni-modal Interaction

Omni-DuplexEval: 评估实时双工全模交互

Chaoqun He, Mingyang Xiang, Yingjing Xu, Bokai Xu, Junbo Cui, Jie Zhou, Yuan Yao, Lijie Wen

机构 * Tsinghua University（清华大学） ； Tongji University（同济大学） ； ModelBest Inc.（ModelBest公司） 纠错

专题命中 多模态评测 ：omni-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出Omni-DuplexEval基准，用于系统评估实时双工交互能力，通过两个互补场景评估模型生成连续响应和主动提醒的能力，并揭示现有模型在平衡响应及时性和内容连贯性方面的局限性。

Comments 21 pages, 6 figures

Retrieved Images as Visual Thought: Training-Free Multimodal In-Context Learning for the Open-vs-Closed Gap

检索图像作为视觉思维：面向开放与封闭差距的无训练多模态上下文学习

Bingchen Huang, Zhiling Wang, Yifu Chen, Yuanchao Du

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出无训练框架ReVisIT，通过检索图像-标签对作为视觉思维单元，结合结构化类定义、多模态检索和交替注入示例，在多个基准上显著提升性能，弥合开放与封闭任务差距。

Comments 12 pages, 6 figures. Includes appendix. Introduces the MAAC-Bench benchmark

From Technical Metrics to User Perception: A User Study of a Multimodal Human-Robot Interaction System for Object Detection and Grasping

从技术指标到用户感知：面向物体检测与抓取的多模态人机交互系统用户研究

Jian Song, Tian Zi, Shen Guanting

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 通过24名用户的受试内实验，验证了端到端任务成功率从75%提升至90%的技术改进能显著提升用户对速度、可靠性和整体能力的感知，且70.83%的用户偏好改进系统。

Comments 8 pages

Multiplicity is an Inevitable and Inherent Challenge in Multimodal Learning

多重性是多模态学习中不可避免且固有的挑战

Sanghyuk Chun, Olga Russakovsky

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文论证多模态数据固有的多对多映射关系（多重性）是影响数据构建、模型训练和评估的根本瓶颈，并呼吁发展多重性感知的学习框架与评估协议。

Comments ICML 2026 Position Track