多模态大模型

PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models

感知基准：评估多模态大语言模型中的原子视觉感知

Zichao Lin, Yifeng Xie, Bowen Qu, Haiming Wang, Jia Li, Haoning Wu, Yuhao Dong, Zuhao Yang, Jinguo Zhu, Haoyu Lu, Zijia Zhao, Tongtian Yue, Zhangyang Qi, Junwei Yang, Mengfan Dong, Peizhou Cao, Chenzhuang Du, Zaida Zhou, Haotian Yao, Hao Yang, Hongcheng Gao, Lin Sui, Weihong Li, Xinxing Zu, Jia Chen, Yao Wang, Xiaoxue Wu, Yalin Wang, Y. Charles, Yiping Bao, Yangyang Liu, Zhiqi Huang, Xinyu Zhou

机构 * Moonshot AI（登月人工智能） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(summary_cn,abstract_cn)；分类 cs.CV

AI总结 介绍用于评估多模态大语言模型原子视觉感知能力的PerceptionBench基准，通过自下而上方法构建错误分类法及相关问题，测试16个前沿模型，发现原子感知待解决，该基准为衡量MLLM视觉感知边界提供标准。

DisasterTD: Disaster Toponym Disambiguation Using Multimodal LLMs and Cross-View Geolocalization

DisasterTD：使用多模态大语言模型和跨视角地理定位的灾害地名消歧

Wenping Yin, Ziqi Liu, Naixia Mou, Weijia Li, Danfeng Hong, Hao Li

机构 * College of Geodesy and Geomatics, Shandong University of Science and Technology（山东科技大学测绘与地理信息学院） ； School of Environmental Science and Spatial Informatics, China University of Mining and Technology（中国矿业大学环境与测绘学院） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； School of Automation, Southeast University（东南大学自动化学院） ； Department of Geography, National University of Singapore（新加坡国立大学地理系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 研究针对社交媒体图像地理参考模糊问题，提出DisasterTD框架，集成多模态大语言模型语义推理与跨视角地理定位，在飓风哈维数据集上评估，该方法优于基线，能有效进行细粒度灾害地理定位，提升不同距离下的定位准确率并减少误差。

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

ClinFusion：用于整体医学理解的以视觉为中心的多模态大语言模型系统

Hangjie Yuan, Yichen Qian, Zhiwei Tang, Xianzhe Xu, Lirong Wu, Sicheng Yang, Jinwang Wang, Pengju Wang, Zhitao Zeng, Yizeng Han, Yan Xing, Shengxuan Luo, Tao Feng, Qing Xie, Weigen Yao, Yi Yang, Zuozhu Liu, Jiasheng Tang, Shaocheng Wang, Jitao Wang, Jiahong Dong, Weihua Chen, Feng Xu, Fan Wang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Laboratory（湖畔实验室） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Department of Radiology, The Affiliated Yangming Hospital of Ningbo University（宁波大学附属阳明医院放射科） ； Zhejiang University-University of Illinois Urbana-Champaign Institute, Zhejiang University（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院，浙江大学） ； Hepato-Pancreato-Biliary Center, Beijing Tsinghua Changgung Hospital, School of Clinical Medicine, Tsinghua Medicine, Tsinghua University（清华长庚医院肝胆胰中心，清华大学临床医学院，清华医学，清华大学） ； School of Software, Tsinghua University（清华大学软件学院） ； Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对多模态大语言模型在医学领域部署的挑战，提出ClinFusion，采用组合级联视觉编码器架构和视觉基础评估框架，在多模态医学基准测试中表现优异，超越开源和专有模型，经专家盲评验证效果良好。

Comments Code: https://github.com/alibaba-damo-academy/ClinFusion Models: https://huggingface.co/collections/Alibaba-DAMO-Academy/clinfusion

CLBench-V: Evaluating Multimodal Context Learning from Grounding to Knowledge Acquisition

CLBench-V：评估从基础到知识获取的多模态上下文学习

Lai Wei, Chengqi Li, Jiapeng Li, Ruina Hu, Yue Wang, Weiran Huang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院） ； Zhongguancun Academy（中关村科学城创新中心） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究多模态上下文学习问题，引入CLBench-V基准，围绕上下文基础、新信息应用和新知识学习三个维度组织任务，结合公共基准与新数据集，经自动化程序构建，测试六个模型，分析相关因素，揭示多模态上下文学习远未饱和及各模型表现情况。

KuaiLive-M3: A Multi-Modal, Multi-Domain, and Multi-Feedback Dataset for Live Streaming Recommendation

KuaiLive-M3：用于直播推荐的多模态、多领域和多反馈数据集

Ke Guo, Changle Qu, Jiayaqi Cheng, Xiao Zhang, Shijun Wang, Xiaoyu Zhang, Xueliang Wang, Le Zhang, Lantao Hu, Jun Xu

专题命中 多模态评测 ：multi-modal(title,abstract)；multimodal(abstract)

AI总结 针对现有直播数据集的局限，引入KuaiLive-M3数据集，它涵盖多领域用户交互及多模态内容，有丰富反馈记录。基于此建立多种推荐基准，经实验验证其为直播推荐研究提供了有挑战且现实的基准，凸显相关研究要点。

A Cost-Effective Multimodal LLM Reasoning Framework for Question Answering over Irregular Clinical Time Series

一种用于不规则临床时间序列问答的经济高效多模态大语言模型推理框架

Frank Nie, Ethan B Liu, Yuan Zhu, Wei Fan, Jindong Han

机构 * Shandong University（山东大学） ； University of Auckland（奥克兰大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对不规则临床时间序列问答，提出ClinPRISM框架。该框架含不规则感知多尺度编码器、时间证据蒸馏器和渐进对齐策略，通过构建训练数据，在40亿参数大语言模型主干上实现最优性能，兼具低时间序列令牌数和低推理延迟。

Evaluating Multi-Turn Multimodal Diagnostic Reasoning on Challenging Real-World Clinical Cases

评估具有挑战性的真实世界临床病例中的多轮多模态诊断推理

Rui Yang, Weihao Xuan, Yi Lin, Zhuhan Bao, Jonathan Chong Kai Liew, Matthew Yu Heng Wong, Nicolás Lescano, Nikita R. Paripati, Emily Ling-Lin Pai, Jiarui Liu, Heli Qi, Heng-Jui Chang, Benny Kai Guo Loo, Huitao Li, Kunyu Yu, Yufan Wang, Chuan Hong, Shijian Lu, Douglas Teodoro, Naoto Yokoya, Ross Koppel, Mona Diab, Hua Xu, David W. Bates, Nan Liu, Yifan Peng

机构 * Center for Biomedical Data Science, Duke-NUS Medical School（生物医学数据科学中心，杜克 - 新加坡国立大学医学院） ； Duke-NUS AI + Medical Sciences Initiative, Duke-NUS Medical School（杜克 - 新加坡国立大学人工智能与医学科学计划，杜克 - 新加坡国立大学医学院） ； Department of Population Health Sciences, Weill Cornell Medicine（人口健康科学系，威尔康奈尔医学院） ； System Engineering, College of Engineering, Cornell University（系统工程，康奈尔大学工程学院） ； Graduate School of Frontier Sciences, The University of Tokyo（前沿科学研究生院，东京大学） ； RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心） ； Department of Biostatistics and Bioinformatics, Duke University（生物统计学与生物信息学系，杜克大学） ； Perelman School of Medicine, University of Pennsylvania（佩雷尔曼医学院，宾夕法尼亚大学） ； School of Clinical Medicine, University of Cambridge（临床医学学院，剑桥大学） ； Hospital of the University of Pennsylvania（宾夕法尼亚大学医院） ； Children’s Hospital of Philadelphia (CHOP)（费城儿童医院） ； Department of Anatomic Pathology and Laboratory Medicine, Hospital of the University of Pennsylvania（解剖病理学与检验医学系，宾夕法尼亚大学医院） ； Department of Pathology and Laboratory Medicine, University of California, San Francisco（病理学与检验医学系，加州大学旧金山分校） ； Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有多模态大语言模型评估难以捕捉现实临床诊断复杂性的问题，开发ClinMM-Bench基准，用两级框架评估15个模型，发现专有模型诊断准确性最高，但各模型完全正确诊断比例有限，当前模型诊断推理有局限并明确了失败模式。

DynaBridge: Dynamic Summary-Guided Cross-Task Multimodal Fusion for DASS-Structured Mental Health Assessment

DynaBridge：用于DASS结构心理健康评估的动态摘要引导跨任务多模态融合

Shiyu Teng, Haichen Yu, Jiaqing Liu, Hao Sun, Yu Song, Shurong Chai, Ruibo Hou, Lanfen Lin, Yen-Wei Chen

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI、cs.MM

AI总结 研究针对心理健康评估中通用融合模型忽略问卷标签心理测量结构的问题，提出DynaBridge框架，通过编码多模态线索并结合语义摘要进行评估，在官方验证分割上优于基线和其他方法，展现了多模态融合与心理测量结构结合的价值。

Leveraging ChatGPT's Multimodal Vision Capabilities to Rank Satellite Images by Poverty Level: Advancing Tools for Social Science Research

利用ChatGPT的多模态视觉能力按贫困水平对卫星图像进行排名：推进社会科学研究工具

Hamid Sarmadi, Ola Hall, Thorsteinn Rögnvaldsson, Mattias Ohlsson

机构 * Center for Applied Intelligent Systems Research (CAISR), Halmstad University, Sweden（应用智能系统研究中心（CAISR），哈马斯特德大学，瑞典） ； Department of Human Geography, Lund University, Sweden（人类地理系，吕勒奥大学，瑞典） ； Department of Earth and Environmental Sciences, Lund University, Sweden（地球与环境科学系，吕勒奥大学，瑞典） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究利用具视觉能力的大语言模型分析卫星图像预测村级贫困，通过成对比较方法证明ChatGPT能按贫困水平排名卫星图像，准确性与专家相当，凸显LLMs在社会经济研究中的前景与局限，为贫困监测等提供基础并引发对公共数据集可靠性的思考。

Comments A code and data availability statement, along with the repository address, has been added to the paper

Towards Reliable Stain Transfer: An Iterative Data-Model Co-Optimization Framework Based on Multimodal Expert-Guided Assessment

迈向可靠的染色转移：基于多模态专家指导评估的迭代数据-模型协同优化框架

Siyuan Xu, Yan Wang, Haofei Song, Lili Gao, Jiansheng Wang, Qing Zhang, Dan Huang, Boxiang Yun, Hongkai Xiong, Qingli Li

机构 * East China Normal University（华东师范大学） ； Ruijin Hospital, Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属瑞金医院） ； Hangzhou Hyperspectral Imaging Technology Co., Ltd.（杭州高光谱成像技术有限公司） ； Fudan University Shanghai Cancer Center（复旦大学附属肿瘤医院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对染色转移建模难题，提出DMCoStain框架，通过迭代优化数据与模型能力提升准确性和可解释性。基于IPE视觉语言模型构建MEGFS策略并创建ImmunoInstruction数据集，实验证明该框架达最优精度，其范式有实用价值，MEGFS可作评估工具。

Comments 10 pages, accepted by ACMMM2026 Main Track

RefBench-PRO: Perceptual and Reasoning Oriented Benchmark for Referring Expression Comprehension

RefBench-PRO：面向感知与推理的指称表达理解基准

Tianyi Gao, Hao Li, Han Fang, Xin Wei, Xiaodong Dong, Hongbo Sun, Ye Yuan, Zhongjiang He, Jinglin Xu, Jingmin Xin, Hao Sun

机构 * National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（国家人机混合增强智能重点实验室） ； National Engineering Research Center for Visual Information and Applications（国家视觉信息与应用工程技术研究中心） ； Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院） ； Xi’an Jiaotong University（西安交通大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究院（TeleAI）） ； China Telecom（中国电信） ； Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 RefBench-PRO提出一个面向感知与推理的指称表达理解基准，通过分解指称表达为感知和推理两个维度，设计六个逐步递增的挑战任务，并引入Ref-R1强化学习方案提升定位精度，实现对多模态大语言模型的可解释评估。

Enhancing Brain Age Estimation with a Multimodal 3D CNN Approach Combining Structural MRI and AI-Synthesized Cerebral Blood Volume Measures

通过多模态3D CNN方法增强脑年龄估计，结合结构性MRI和AI合成的脑血容量测量

Jordan Jomsky, Kay C. Igwe, Zongyu Li, Yiren Zhang, Max Lashley, Tal Nuriel, Andrew Laine, Jia Guo

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出了一种结合结构性MRI和AI合成脑血容量测量的多模态3D CNN方法，用于更准确地估计脑年龄差距，以检测早期神经退行性变化。

Comments 26 pages, 8 figures

Seen, Said, or Forgotten? A Causal Audit of Visual KV Memory Across Dialog Turns

看过、说过还是被遗忘了？跨对话轮次的视觉键值记忆因果审计

Hong Chen, Kang Chen, Yuxuan Fan, Bo Wang, Yubo Gao, Yuanlin Chu, Xuming Hu

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究跨对话轮次视觉键值记忆何时可安全遗忘，提出因果视觉记忆审计框架，通过在VisDial和ConvBench上实验发现当前注意力对未来有用区域排名不佳，揭示安全遗忘受低未来视觉依赖性或特定事实语言表达支持而非低当前注意力。

OPERA: Offline Policy-guided Expert Routing and Adaptation for Universal Biomedical Image Analysis

OPERA：用于通用生物医学图像分析的离线策略引导专家路由与适应

Zihan Li, Feiyang Liu, Dandan Shan, Ruibo Wang, Qingqi Hong

机构 * University of Washington（华盛顿大学） ； Delft University of Technology（代尔夫特理工大学） ； Xiamen University（厦门大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对生物医学图像分析中分布变化阻碍模型部署的问题，提出OPERA多智能体集成框架，通过离线策略学习专家权重分配，结合多种机制协调智能体，经多数据集评估，有效提升性能与校准质量，为可部署生物医学AI提供实用路径。

Comments Accepted by ACM MM 2026. 18 pages

Filling Before Advancing: Capability-Gap-Driven Post-Training for Scenario-Specialized Remote Sensing MLLMs

推进前填充：能力差距驱动的场景专用遥感多模态大语言模型的训练后处理

Yuheng Zong, Minghua Wang, Xin Zhao, Zhi-Hui Zhan, Antonio Plaza, Jon Atli Benediktsson

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对地球观测应用中遥感多模态大语言模型因高质量数据稀缺和能力覆盖不完整难以实现细粒度场景专业化的问题，提出能力差距驱动的推进前填充（FBA）方法，经实验验证其效果优于其他方法，提升了模型在相关基准上的表现。

ReDesign: Recovering Editable Design Structures from Images via Agentic Decomposition

ReDesign：通过智能分解从图像中恢复可编辑设计结构

Jooyeol Yun, Jintae Park, Hyesu Lim, Junha Hyung, Hyungjin Chung, Jaegul Choo

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Helmholtz Munich（慕尼黑亥姆霍兹中心） ； Korea University（韩国大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 研究旨在从图像恢复可编辑设计文件，提出ReDesign智能框架，通过跨模态选工具生成层层次结构，引入优雅验证与评估基准，在视觉保真度和编辑性上表现出色，超越基线和管道。

Comments Accepted to ECCV 2026

RDVSv2: A Large-scale Benchmark for RGB-D Video Salient Object Detection

RDVSv2：用于RGB-D视频显著目标检测的大规模基准测试

Tianyu Li, Jiahao He, Keren Fu, Qijun Zhao

机构 * National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University（四川大学合成视觉基础科学国家重点实验室） ； College of Computer Science, Sichuan University（四川大学计算机学院） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 介绍用于RGB-D视频显著目标检测的大规模基准测试RDVSv2，其规模大、场景多样。基于SAM2建立强大基线，采用参数高效微调策略联合编码多模态线索，该基线在RDVSv2及现有基准测试中达最优，为相关研究提供资源。

Comments Accepted to ACMMM 2026

HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research

HiEviDR-Bench：深度研究中分层证据聚合的基准测试

Yubo Sun, Chunyi Peng, Yukun Yan, Zhenghao Liu, Sen Mei, Bangrui Xu, Xuanhe Zhou, Chi Chen, Maosong Sun

专题命中 多模态评测 ：multimodal(abstract)

AI总结 针对深度研究中证据聚合评估不足问题，HiEviDR-Bench构建基准测试，涵盖多领域多模态设置，用证据图表示实例，开发评估框架及机制。含2000个问题，实验显示多模型虽报告质量好，但在引用准确性等方面欠佳，瓶颈在证据识别和中间主张构建。

Comments Code and data are available at https://ai9stars.github.io/HiEviDR-Bench.github.io