多模态大模型

Rethinking Ground Truth: A Case Study on Human Label Variation in MLLM Benchmarking

重新审视真实标签：在大语言模型基准测试中的人类标签变异案例研究

Tomas Ruiz, Tanalp Agustoslu, Carsten Schwemmer

机构 * Bavarian Research Institute for Digital Transformation（巴伐利亚数字转型研究所） 纠错

专题命中 多模态评测 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CL

AI总结 研究探讨了人类标注差异对大语言模型基准测试的影响，发现大模型在高一致性子集表现最佳，但在高分歧情况下表现不佳，表明参数数量不决定对模糊性和主观性的敏感度。

Comments 6 pages, 3 tables, 1 figure

Journal ref 2025 IEEE International Conference on Big Data (BigData), 2025

CURE: A Multimodal Benchmark for Clinical Understanding and Retrieval Evaluation

CURE：临床理解和检索评估的多模态基准

Yannian Gu, Zhongzhen Huang, Linjie Mu, Xizhuo Zhang, Shaoting Zhang, Xiaofan Zhang

机构 * Shanghai Jiao Tong University, Shanghai, China（上海交通大学） ； SenseTime Research, China（商汤研究院） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 CURE基准通过控制证据环境评估多模态模型的推理与检索能力，揭示模型在依赖权威文献时性能显著下降，强调整合临床证据与精确检索的挑战。

Can Large Multimodal Models Inspect Buildings? A Hierarchical Benchmark for Structural Pathology Reasoning

大型多模态模型能否检查建筑？一种用于结构病理推理的分层基准

Hui Zhong, Yichun Gao, Luyan Liu, Hai Yang, Wang Wang, Haowei Zhang, Xinhu Zheng

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Hong Kong University（香港大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出DefectBench基准，评估大型多模态模型在建筑表面检测中的能力，发现其在拓扑理解和语义理解方面表现优异，但在精确定位方面存在不足，并验证了零样本生成分割的可行性。

DataProphet: Demystifying Supervision Data Generalization in Multimodal LLMs

DataProphet：解开多模态大语言模型监督数据泛化之谜

Xuan Qi, Luxi He, Dan Roth, Xingyu Fu

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Tsinghua University（清华大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出DataProphet，一种无需训练的指标，通过结合多模态困惑度、相似性和数据多样性，有效评估监督数据对目标基准的影响，实现更优的数据选择。

Comments 14 pages

ACT as Human: Multimodal Large Language Model Data Annotation with Critical Thinking

ACT作为人类：多模态大语言模型数据标注中的批判性思维

Lequan Lin, Dai Shi, Andi Han, Feng Chen, Qiuzheng Chen, Jiawen Li, Zhaoyang Li, Jiyuan Li, Zhenbang Sun, Junbin Gao

机构 * University of Sydney（悉尼大学） ； University of Cambridge（剑桥大学） ； Riken AIP（理化学研究所AIP分所） ； University of Adelaide（阿德莱德大学） ； ByteDance Australia（字节跳动澳大利亚） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出ACT标注框架，利用大语言模型作为评判者提高标注效率，通过批判性思维识别潜在错误，减少人工成本，提升标注质量。

Comments NeurIPS 2025

Subject-Adaptive Sparse Linear Models for Interpretable Personalized Health Prediction from Multimodal Lifelog Data

面向可解释个性化健康预测的主体适应稀疏线性模型

Dohyun Bu, Jisoo Han, Soohwa Kwon, Yulim So, Jong-Seok Lee

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出SASL框架，结合普通最小二乘回归与主体特定交互，通过迭代后向特征消除构建稀疏模型，并结合LightGBM提升预测性能，实现可解释的个性化健康预测。

Comments 6 pages, ICTC 2025

Benchmarking Cross-Scale Perception Ability of Large Multimodal Models in Material Science

对材料科学中大多模态模型跨尺度感知能力的基准测试

Yuting Zheng, Zijian Chen, Qi Jia

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出CSMBench，通过评估多尺度下的图像描述和标题匹配任务，揭示了现有模型在不同物理尺度上的性能差异，强调了实现材料研究层次化准确理解的关键方向。

Strategic Navigation or Stochastic Search? How Agents and Humans Reason Over Document Collections

策略导航还是随机搜索？智能体和人类如何在文档集合上进行推理

Łukasz Borchmann, Jordy Van Landeghem, Michał Turski, Shreyansh Padarha, Ryan Othniel Kearns, Adam Mahdi, Niels Rogge, Clémentine Fourrier, Siwei Han, Huaxiu Yao, Artemis Llabrés, Yiming Xu, Dimosthenis Karatzas, Hao Zhang, Anupam Datta

机构 * Snowflake\,AI\,Research ； University\,of\,Oxford ； Computer\,Vision\,Center 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过MADQA基准测试，探讨智能体与人类在文档检索中的策略性推理与随机搜索差异，揭示最佳智能体在准确性上接近人类，但依赖暴力搜索而非有效策略规划。

How to Enable LLM with 3D Capacity? A Survey of Spatial Reasoning in LLM

如何使LLM具备3D能力？LLM中空间推理的综述

Jirong Zha, Yuxuan Fan, Xiao Yang, Chen Gao, Xinlei Chen

机构 * Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology (Guang Zhou)（香港科学与技术大学（广州）） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了将LLM与3D空间理解结合的方法，提出分类体系，涵盖图像、点云和混合模态方法，并讨论了当前限制与未来研究方向。

Comments 9 pages, 5 figures

Journal ref IJCAI 2025

DEAF: A Benchmark for Diagnostic Evaluation of Acoustic Faithfulness in Audio Language Models

DEAF：用于音频语言模型声音忠实度诊断评估的基准

Jiaqi Xiong, Yunjia Qi, Qi Cao, Yu Zheng, Yutong Zhang, Ziteng Wang, Ruofan Liao, Weisheng Xu, Sichen Liu

机构 * University of Oxford（牛津大学） ； XJTLU ； HNU（湖南大学） ； CUHK(SZ)（香港中文大学（深圳）） ； PKU（北京大学） ； HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 DEAF基准通过2700多个冲突刺激，评估音频语言模型对声音信号的真实处理能力，揭示模型在语音基准测试中的表现与真实声音理解间的差距。

Comments 14 pages,6 figures

MedQ-Engine: A Closed-Loop Data Engine for Evolving MLLMs in Medical Image Quality Assessment

MedQ-Engine：一种用于医疗图像质量评估中进化多模态大语言模型的闭环数据引擎

Jiyao Liu, Junzhi Ning, Wanying Qu, Lihao Liu, Chenglong Ma, Junjun He, Ningsheng Xu

机构 * Fudan University, Shanghai, China（复旦大学，上海，中国） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出MedQ-Engine，通过闭环数据引擎迭代评估模型，发现失败原型，利用人类在循环注释提升模型性能，使8B参数模型在医疗图像质量评估中超越GPT-4o 13%并接近人类专家水平。

One Model, Two Minds: Task-Conditioned Reasoning for Unified Image Quality and Aesthetic Assessment

一个模型，两种思维：任务条件推理用于统一的图像质量与审美评估

Wen Yin, Cencen Liu, Dingrui Liu, Bing Su, Yuan-Fang Li, Tao He

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Faculty of Information Technology, Monash University（莫纳什大学信息科技学院） ； The Laboratory of Intelligent Collaborative Computing of UESTC（UESTC智能协同计算实验室） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出TATAR框架，通过任务感知的异步奖励机制，解决图像质量评估与审美评估的推理与优化不匹配问题，实验证明其在多个基准上的优越性能。

Comments 10 pages,7 figures

FREAK: A Fine-grained Hallucination Evaluation Benchmark for Advanced MLLMs

FREAK：一种用于高级MLLMs细粒度幻觉评估的基准测试

Zhihan Yin, Jianxin Liang, Yueqian Wang, Yifeng Yao, Huishuai Zhang, Dongyan Zhao

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王学苑计算机技术研究所） ； State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出FREAK基准测试，通过高质量图像评估MLLMs在细粒度视觉感知中的幻觉问题，揭示了现有模型在详细视觉感知上的严重幻觉问题。

Comments 34 pages

FORWARD: Dataset of a forwarder operating in rough terrain

FORWARD：在崎岖地形中操作的前送机数据集

Mikael Lundbäck, Erik Wallin, Carola Häggström, Mattias Nyström, Andreas Grönlund, Mats Richardson, Petrus Jönsson, William Arnvik, Lucas Hedström, Arvid Fälldin, Martin Servin

机构 * Umeå University（乌梅亚大学） ； Swedish University of Agricultural Sciences（瑞典农业科学大学） ； Skogforsk, Swedish Forest Research Institute（森林研究所，瑞典） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 本文介绍了FORWARD数据集，包含在瑞典中部两个森林地区崎岖地形中操作的前送机的高分辨率多模态数据，用于开发森林机械的交通性、感知和自主控制算法。

Comments 33 pages, 24 figures

RealUnify: Do Unified Models Truly Benefit from Unification? A Comprehensive Benchmark

RealUnify: 统一模型真的能从统一中受益吗？一个全面的基准测试

Yang Shi, Yuhao Dong, Yue Ding, Yuran Wang, Xuanyu Zhu, Sheng Zhou, Wenting Liu, Haochen Tian, Rundong Wang, Huanqian Wang, Zuyan Liu, Bohan Zeng, Ruizhe Chen, Qixun Wang, Zhuoran Zhang, Xinlong Chen, Chengzhuo Tong, Bozhou Li, Qiang Liu, Haotian Wang, Wenjing Yang, Yuanxing Zhang, Pengfei Wan, Yi-Fan Zhang, Ziwei Liu

机构 * PKU（北京大学） ； Kling Team（Kling团队） ； NTU（国立台湾大学） ； CASIA（中国科学院自动化研究所） ； NUS（国立新加坡大学） ； USTC（中国科学技术大学） ； THU（清华大学） ； ZJU（浙江大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 RealUnify基准测试旨在评估统一模型中理解与生成能力的双向协同效应，通过10类32子任务的1000个人工标注实例，揭示现有统一模型在协同能力上的不足，强调需新的训练策略来提升统一建模潜力。

Comments Accepted by CVPR 2026

ReXInTheWild: A Unified Benchmark for Medical Photograph Understanding

ReXInTheWild：医疗照片理解的统一基准

Oishi Banerjee, Sung Eun Kim, Alexandra N. Willauer, Julius M. Kernbach, Abeer Rihan Alomaish, Reema Abdulwahab S. Alghamdi, Hassan Rayhan Alomaish, Mohammed Baharoon, Xiaoman Zhang, Julian Nicolas Acosta, Christine Zhou, Pranav Rajpurkar

机构 * Department of Biomedical Informatics, Harvard Medical School（哈佛医学院生物医学信息学系） ； National Strategic Technology Research Institute, Seoul National University Hospital（首尔国立大学医院国家战略技术研究所） ； Department of Medicine, Division of Gastroenterology, Massachusetts General Hospital（麻省总医院内科与消化内科部门） ； Department of Neuroradiology, Heidelberg University Hospital（海德堡大学医院神经放射科部门） ； King Abdulaziz Medical City, National Guard Health Affairs（国王阿卜杜勒-阿齐兹医疗城，国民守卫健康事务局） ； Division of Pulmonary, Critical Care, and Sleep Medicine, University of Cincinnati（辛辛那提大学肺科、重症医学及睡眠医学部门） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出ReXInTheWild基准，通过484张医学文献来源的照片和7个临床主题的955个多项选择问题，评估视觉-语言模型对医疗照片内容的理解能力，揭示不同模型在细粒度图像理解和医学推理上的性能差异。

Comments 11 pages, 4 figures

LED Benchmark: Diagnosing Structural Layout Errors for Document Layout Analysis

LED基准：诊断文档布局分析中的结构性布局错误

Inbum Heo, Taewook Hwang, Jeesu Jung, Sangkeun Jung

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出LED基准，用于评估文档布局预测的结构鲁棒性，通过定义八种标准错误类型和三个互补任务，解决传统指标无法检测的结构性错误问题。

Comments This work has been substantially revised, including updates to the title and content. The revised version is available as arXiv:2603.17265

Sense4HRI: A ROS 2 HRI Framework for Physiological Sensor Integration and Synchronized Logging

Sense4HRI: 一种基于ROS 2的人机交互框架，用于生理传感器集成与同步日志记录

Manuel Scheibl, Julian Leichert, Sinem Görmez, Britta Wrede

机构 * Medical Assistance Systems, Medical School OWL, Bielefeld University（比勒菲尔德大学医疗援助系统，医学学校OWL） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文提出Sense4HRI框架，用于在ROS 2中整合生理信号并提供标准化的多模态分析，支持可扩展的生理传感器集成与同步日志记录。

Comments 6 pages, 3 figures, submitted at IEEE RO-MAN 2026