多模态大模型

VCU-Bridge: Hierarchical Visual Connotation Understanding via Semantic Bridging

VCU-Bridge: 通过语义桥梁实现层次化视觉隐喻理解

Ming Zhong, Yuanlei Wang, Liuzhou Zhang, Ruichuan An, Renrui Zhang, Hao Liang, Ming Lu, Ying Shen, Wentao Zhang

机构 * Zhejiang University（浙江大学） ； Peking University（北京大学） ； Sun Yat-sen University（中山大学） ； CUHK（香港中文大学） 纠错

专题命中 多模态评测 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 VCU-Bridge通过语义桥梁实现层次化视觉隐喻理解，构建了HVCU-Bench基准，并展示了提升MLLM能力的显著效果。

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

ClinFusion：用于整体医学理解的以视觉为中心的多模态大语言模型系统

Hangjie Yuan, Yichen Qian, Zhiwei Tang, Xianzhe Xu, Lirong Wu, Sicheng Yang, Jinwang Wang, Pengju Wang, Zhitao Zeng, Yizeng Han, Yan Xing, Shengxuan Luo, Tao Feng, Qing Xie, Weigen Yao, Yi Yang, Zuozhu Liu, Jiasheng Tang, Shaocheng Wang, Jitao Wang, Jiahong Dong, Weihua Chen, Feng Xu, Fan Wang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Laboratory（湖畔实验室） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Department of Radiology, The Affiliated Yangming Hospital of Ningbo University（宁波大学附属阳明医院放射科） ； Zhejiang University-University of Illinois Urbana-Champaign Institute, Zhejiang University（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院，浙江大学） ； Hepato-Pancreato-Biliary Center, Beijing Tsinghua Changgung Hospital, School of Clinical Medicine, Tsinghua Medicine, Tsinghua University（清华长庚医院肝胆胰中心，清华大学临床医学院，清华医学，清华大学） ； School of Software, Tsinghua University（清华大学软件学院） ； Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对多模态大语言模型在医学领域部署的挑战，提出ClinFusion，采用组合级联视觉编码器架构和视觉基础评估框架，在多模态医学基准测试中表现优异，超越开源和专有模型，经专家盲评验证效果良好。

Comments Code: https://github.com/alibaba-damo-academy/ClinFusion Models: https://huggingface.co/collections/Alibaba-DAMO-Academy/clinfusion

Robust Checkpoint Selection for Multimodal LLMs via Agentic Evaluation and Stability-Aware Ranking

通过代理评估和稳定性感知排名实现多模态大语言模型的鲁棒检查点选择

Qinwu Xu, Zhuoheng Li, Jessie Salas

机构 * Meta AI 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种多阶段框架，结合了精心挑选的现实世界数据、结构化的LLM判断和多阶段排名协议，以解决多模态大语言模型检查点选择中的鲁棒决策问题，强调数据质量（特别是OCR可读性）对评估有效性的重要性。

New York Smells: A Large Multimodal Dataset for Olfaction

纽约气味：一个大规模多模态数据集用于嗅觉

Ege Ozguroglu, Junbang Liang, Ruoshi Liu, Mia Chiquier, Michael DeTienne, Wesley Wei Qian, Alexandra Horowitz, Andrew Owens, Carl Vondrick

机构 * Columbia University（哥伦比亚大学） ； Cornell University（康奈尔大学） ； Osmo Labs（Osmo实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 New York Smells 数据集通过多模态数据提升机器对嗅觉的感知能力，展示了视觉数据在跨模态学习中的作用。

Comments Project website at https://smell.cs.columbia.edu

Towards Unified Multimodal Misinformation Detection in Social Media: A Benchmark Dataset and Baseline

面向社交媒体中统一的多模态虚假信息检测：基准数据集与基线模型

Haiyang Li, Yaxiong Wang, Shengeng Tang, Yuchen Zhang, Lianwei Wu, Lechao Cheng, Liu Liu, Chaofeng Dong, Zhun Zhong

机构 * School of Computer Science and Information Engineering, Hefei University of Technology（计算机科学与信息工程学院，合肥工业大学） ； School of Computer Science and Technology, Northwestern Polytechnical University（计算机科学与技术学院，西北工业大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究构建了含9.8万样本的OmniFake基准数据集，提出UMFDet框架，实现对人工与AI生成两类多模态虚假内容的统一检测，性能优于专用基线。

Generative Semantic Multi-Object Tracking: A Large-Scale Benchmark and an MLLM-Driven Reasoning Framework

生成式语义多目标跟踪：大规模基准和基于大型语言模型的推理框架

Pan Liao, Feng Yang, Di Wu, Jinwen Yu, Wang Zhao, Dingwen Zhang

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 多模态评测 ：MLLM(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究将语义多目标跟踪从刚性分类提升为开放式生成推理任务，引入Grand-SMOT基准，提出LLMTrack框架，通过时空融合模块压缩轨迹为语义令牌，提升了生成语义推理能力。

Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy

用于科学可视化素养的多模态大语言模型基准测试

Patrick Phuoc Do, Chau M. Ta, Chaoli Wang

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究对六个多模态大语言模型进行科学可视化素养基准测试，涵盖多种技术和任务类型。通过封闭世界协议评估闭源和开源模型，与人类参与者数据对比。发现模型表现不均，Gemini最强，开源模型低于人类基线，明确SciVis素养对评估多模态AI系统的必要性。

Overview of the NLPCC 2026 Shared Task 1: Difficulty-Aware Multilingual and Multimodal Medical Instructional Video Understanding Evaluation

NLPCC 2026共享任务1概述：难度感知多语言多模态医学教学视频理解评估

Shenxi Liu, Kan Li, Mingyang Zhao, Yuhang Tian, Bin Li

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与工程学院） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 NLPCC 2026的DA - MIVQA共享任务，通过区分问题难度扩展多语言多模态医学视频基准，含三个赛道。其数据集来自公共医学教学渠道，涵盖多种场景并经人工标注难度。该任务为评估医学教学视频问答系统提供实用基准。

Comments 19 pages, 6 figures, 6 tables

MMR-V: What's Left Unsaid? A Benchmark for Multimodal Deep Reasoning in Videos

MMR-V：未言明的是什么？视频中多模态深度推理的基准测试

Kejian Zhu, Zhuoran Jin, Hongbang Yuan, Jiachun Li, Shangqing Tu, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China（认知与决策智能复杂系统重点实验室，自动化研究所，中国科学院，北京，中国） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 针对视频多模态推理挑战，提出MMR-V基准测试，具有长程多帧推理等特点。该基准测试含317个视频和1257个任务，实验发现当前模型多模态推理困难，最佳模型准确率低，现有增强策略收益有限，旨在推动多模态推理能力研究。

Comments Accepted at ICLR 2026. Camera-ready version

SFL-Net: Source-Factorized Latent Representation Learning for Multi-Contrast MRI to Tau-PET Synthesis

基于部分信息分解指导的解耦量化半UNet的多模态T1加权和FLAIR MRI生成可解释的tau-PET

Agamdeep S. Chopra, Caitlin Neher, Tianyi Ren, Juampablo E. Heras Rivera, Hesamoddin Jahanian, Mehmet Kurt

机构 * Department of Mechanical Engineering, University of Washington（华盛顿大学机械工程系） ； Department of Radiology, University of Washington（华盛顿大学放射学系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种可解释的多模态图像合成框架，通过部分信息分解指导的解耦量化半UNet生成tau-PET，结合向量量化编码器和半UNet解码器，实现了在ADNI-3和OASIS-3数据集上的最佳性能。

AMVICC: A Novel Benchmark for Cross-Modal Failure Mode Profiling for VLMs and IGMs

AMVICC: 一种用于VLM和IGM跨模态故障模式分析的新型基准

Aahana Basappa, Pranay Goel, Anusri Karra, Anish Karra, Asa Gilmore, Kevin Zhu

机构 * Centennial High School, Frisco, Texas, USA（Centennial High School, Texas, USA） ； Lebanon Trail High School, Frisco, Texas, USA（Lebanon Trail High School, Texas, USA） ； West Windsor-Plainsboro High School, Princeton Junction, New Jersey, USA（West Windsor-Plainsboro High School, New Jersey, USA） ； Algoverse AI Research, Palo Alto, California, USA（Algoververse AI Research, California, USA） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出AMVICC基准，通过图像到文本和文本到图像任务系统比较多模态大模型和图像生成模型的视觉推理失败模式，发现故障模式在模型和模态间共享，但存在特定于模型和模态的失败。

Comments 14 pages, 4 figures, 8 tables. Presented at the 39th Conference on Neural Information Processing Systems Workshop: VLM4RWD. Presented at the 43th International Conference on Machine Learning Workshops: ICML 2026 CTB, ICML 2026 FAGEN, ICML 2026 EMM-QA. Authors Aahana Basappa and Pranay Goel contributed equally. Code: https://github.com/AahanaB24/AMVICC, Data: https://doi.org/10.5281/zenodo.17646068

ArtiFact: A Large-Scale Multi-Modal Cultural Heritage Dataset

ArtiFact: 大规模多模态文化遗产数据集

Luciano Duarte, Olga Ovcharenko, Sebastian Schelter

机构 * BIFOLD & TU Berlin（BIFOLD与柏林技术大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 提出包含65万条博物馆记录的多模态文化遗产数据集ArtiFact，用于跨模态错误检测和语义查询处理，揭示现有系统在领域特定错误和文化语义查询上的挑战。

Comments NOVAS Workshop at VLDB 2026

PRISM: Priority-aware Rubric Internalization via Structured Multimodal Data Synthesis

PRISM：基于结构化多模态数据合成的感知优先级的评分标准内化

Xiaomin He, Dongling Xiao, Jiahao Xie, Ruiqi Lu, Qianle Wang, Zhongbin Guo, Wanxuan Sun

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 该研究针对多模态指令多要求重要性不等的问题，提出PRISM四阶段数据合成框架，结合PRISM-Eval评估，提升多模态大模型的多规则优先级感知指令遵循能力。

An Analysis Focused on Womens Safety: Can VAD Models Be Enhanced by a Multi-modal Dataset?

聚焦女性安全分析：多模态数据集能否增强VAD模型？

Sangeeta ., Maddikuntla Sai Prajwal, Debi Prosad Dogra, Kamalakar Vijay Thakare, Hyungjoo Jung, Ig-Jae Kim, Heeseung Choi

机构 * Indian Institute of Technology Bhubaneswar（印度理工学院巴特那分校） ； Artificial Intelligence and Robotics Institute, Korea Institute of Science and Technology（人工智能与机器人研究所，韩国科学技术院） ； Yonsei-KIST Convergence Research Institute, Yonsei University（延世大学KIST融合研究中心） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对现有视频异常检测数据集缺乏女性中心异常样本的问题，提出包含1001个视频及文本描述的多模态基准ExtrAnom，覆盖5种犯罪类型，并验证了多模态方法在检测女性中心异常上的有效性。

Comments 15 pages, 8 figures, 6 tables

RetiBridge: Bridging Quantitative Retinal Biomarkers and Qualitative Diagnosis with a Knowledge-Guided Multimodal Large Language Model

RetiBridge：用知识引导的多模态大语言模型连接定量视网膜生物标志物与定性诊断

Zhuangzhi Gao, Hongyi Qin, He Zhao, Qinkai Yu, Feixiang Zhou, Fu Wang, Jinru Ding, Eduard Shantsila, Uazman Alam, Alena Shantsila, Wahbi El-Bouri, Gregory Y. H. Lip, Yalin Zheng

机构 * University of Liverpool（利物浦大学） ； Institute of Life Course & Medical Sciences（生命课程与医学科学研究院） ； Department of Eye and Vision Sciences（眼科与视觉科学系） ； Computer Science Department（计算机科学系） ； Cardiovascular & Metabolic Medicine（心血管与代谢医学） ； Liverpool Centre for Cardiovascular Science（利物浦心血管科学中心） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 该研究提出RetiBridge模型，结合CFP、OCT数据与文本，通过知识引导微调学习定量到定性诊断路径，在眼科理解基准上表现优于开源基线及OpenAI o3，代码数据已公开。

Comments 10 pages, 4 figures, 3 table. Equal contribution: Zhuangzhi Gao and Hongyi Qin. Corresponding author: Yalin Zheng (yzheng@liverpool.ac.uk)

Toward a Vision-Language Foundation Model for Medical Data: Multimodal Dataset and Benchmarks for Vietnamese PET/CT Report Generation

迈向医学数据的视觉-语言基础模型：越南语PET/CT报告生成的多模态数据集和基准

Huu Tien Nguyen, Dac Thai Nguyen, The Minh Duc Nguyen, Trung Thanh Nguyen, Thao Nguyen Truong, Huy Hieu Pham, Johan Barthelemy, Minh Quan Tran, Thanh Tam Nguyen, Quoc Viet Hung Nguyen, Quynh Anh Chau, Hong Son Mai, Thanh Trung Nguyen, Phi Le Nguyen

机构 * AI4LIFE, Hanoi University of Science and Technology, Vietnam（AI4LIFE，河内科学技术大学，越南） ； Nagoya University, Japan（名古屋大学，日本） ； AIST, Japan（日本国家先进工业技术研究院） ； VinUniversity, Vietnam（文园大学，越南） ； NVIDIA, USA（NVIDIA，美国） ； Griffith University, Australia（格里菲斯大学，澳大利亚） ； Hanoi Medical University, Vietnam（河内医学院，越南） ； Military Central Hospital, Vietnam（越南108中央军医院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种面向越南语医学数据的多模态数据集和基准，旨在解决医学影像领域中PET/CT数据不足和低资源语言代表性不足的问题。

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Track on Datasets and Benchmarks

GRASP: Grounded CoT Reasoning with Dual-Stage Optimization for Multimodal Sarcasm Target Identification

GRASP：基于双阶段优化的 grounded CoT 推理用于多模态讽刺目标识别

Faxian Wan, Xiaocui Yang, Yifan Cao, Shi Feng, Daling Wang, Yifei Zhang

机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 GRASP通过整合视觉定位与显式Co-T推理，解决多模态讽刺目标识别中的细粒度定位问题，提出MSTI-MAX数据集和双阶段联合优化策略，实验表明其在多模态讽刺目标识别中表现更优。

MMGraphRAG: Bridging Vision and Language with Interpretable Multimodal Knowledge Graphs

MMGraphRAG: 通过可解释的多模态知识图谱弥合视觉与语言的鸿沟

Xueyao Wan, Hang Yu

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 MMGraphRAG通过引入可解释的多模态知识图谱，解决多模态场景下的实体链接和跨模态推理问题，实现最先进的多模态信息处理性能。

Robobench: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models as Embodied Brain

Robobench：作为具身大脑的多模态大语言模型的综合评估基准

Yulin Luo, Chun-Kai Fan, Menghang Dong, Jiayu Shi, Xiangju Mi, Mengdi Zhao, Bo-Wen Zhang, Cheng Chi, Jiaming Liu, Gaole Dai, Rongyu Zhang, Ruichuan An, Kun Wu, Zhengping Che, Shaoxuan Xie, Guocai Yao, Zhongxia Zhao, Pengwei Wang, Guang Liu, Zhongyuan Wang, Tiejun Huang, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（信息多媒体国家重点实验室，计算机学院，北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute for Brain and Intelligence, Fudan University（脑与智能研究院，复旦大学） ； University of Science and Technology Beijing（北京科技大学） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 研究针对在动态非结构化环境中构建能感知、推理和行动的机器人的挑战，介绍RoboBench基准，涵盖多维度、多任务等，能评估多模态大语言模型，揭示其局限性并分析与下游控制关系，为量化高级认知提供支架。

Comments ECCV 2026 Camera Ready

NeuralBoneReg: An Instance-Specific Label-Free Point Cloud-Based Method for Multi-Modal Bone Surface Registration

NeuralBoneReg：一种用于多模态骨表面注册的实例特定无标签点云方法

Luohong Wu, Matthias Seibold, Nicola A. Cavalcanti, Yunke Ao, Roman Flepp, Aidana Massalimova, Lilian Calvet, Philipp Fürnstahl

机构 * Research in Orthopedic Computer Science, Balgrist University Hospital, University of Zurich（骨科计算机科学研究所，巴尔格里斯大学医院，苏黎世大学） ； AI Center, ETH Zurich（人工智能中心，苏黎世联邦理工学院） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出NeuralBoneReg，一种自监督的基于点云的骨表面注册框架，通过隐式神经无符号距离场和MLP注册模块实现多模态数据间的鲁棒对齐，在多个数据集上达到或超越现有方法。

Multimodal Benchmark for Safety Assessment in Industrial Inspection Scenarios

工业检测场景安全评估的多模态基准

Zeyi Liu, Shuang Liu, Jihai Min, Zhaoheng Zhang, Jun Cen, Pengyu Han, Songqiao Hu, Zihan Meng, Xiao He, Donghua Zhou

机构 * Department of Automation, Tsinghua University（清华大学自动化系） ； Institute for Embodied Intelligence and Robotics, Tsinghua University（清华大学具身智能与机器人研究所） ； TetraBOT Intelligence Co., Ltd.（天博智能科技有限公司） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； School of Automation, Southeast University（东南大学自动化学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对工业现场多模态安全评估缺乏真实数据的问题，构建了首个包含真实机器人巡检数据、像素级标注和七种同步模态的基准数据集InspecSafe-V1，覆盖五个典型场景，支持多模态异常识别与安全评估。

Comments 14 pages, 6 figures, Accepted by Scientific Data

A fine-grained attention and geometric correspondence model for musculoskeletal risk classification in athletes using multimodal visual and skeletal features

基于多模态视觉和骨骼特征的运动员肌肉骨骼风险分类的细粒度注意力与几何对应模型

Md. Abdur Rahman, Mohaimenul Azam Khan Raiaan, Tamanna Shermin, Md Rafiqul Islam, Mukhtar Hussain, Sami Azam

机构 * Department of Computer Science and Engineering, United International University（计算机科学与工程系，国际联合大学） ； Department of Data Science and Artificial Intelligence, Monash University（数据科学与人工智能系，墨尔本大学） ； Faculty of Science and Technology, Charles Darwin University（科学与技术学院，查尔斯达尔文大学） ； Applied Artificial Intelligence and Intelligent Systems (AAIINS) Laboratory, Dhaka（应用人工智能与智能系统实验室，达卡） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出ViSK-GAT多模态框架，融合图像和骨骼坐标特征，通过细粒度注意力模块和几何对应模块实现运动员肌肉骨骼风险八级分类，关键指标超93%。

Comments Published in Computers and Electrical Engineering

Journal ref Computers and Electrical Engineering, Vol. 138, 111281, 2026

Explaining is Harder Than Predicting Alone: Evaluating Concept-based Explanations of MLLMs as ICL Visual Classifiers

解释比单独预测更难：评估基于概念的MLLM解释作为ICL视觉分类器

Carmen Quiles-Ramírez, Leticia L. Rodríguez, Nicolás Martorell, Natalia Díaz-Rodríguez

专题命中 多模态评测 ：MLLM(title_cn,abstract_cn)；multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过五种形式化程度递增的条件，系统评估多模态大语言模型在少样本上下文学习中的基于概念的可解释性，发现解释比预测更难，且强制生成形式化解释会降低预测准确性。

Comments Accepted to the CompLearn Workshop at ICML 2026

When the Defense Writes the Refusal: Auditing Keyword-Scored Evaluation of Inference-Time Defenses for Multimodal Large Language Models

多模态大语言模型推理时防御方法的比较分析

Bulat Nutfullin, Vladimir Evgrafov, Dmitry Namiot

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)

AI总结 本文比较评估了三种推理时防御方法及其组合在InternVL和Qwen-VL系列共8个模型上的效果，发现无单一防御在所有设置中占优，组合防御导致良性查询过度拒绝率达97-100%，而简单安全提示在保持实用性的同时带来适度安全提升。

Comments 15 pages, 3 figures. Conditionally accepted at DAMDID/RCDL 2026; revised after peer review

MCIF: Multimodal Crosslingual Instruction-Following Benchmark from Scientific Talks

MCIF: 多模态跨语言指令遵循基准从科学讲座

Sara Papi, Maike Züfle, Marco Gaido, Beatrice Savoldi, Danni Liu, Ioannis Douros, Luisa Bentivogli, Jan Niehues

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 MCIF是首个多模态跨语言指令遵循基准，通过科学讲座数据评估模型在跨语言、多模态环境下处理不同输入长度的任务能力。

Comments Data available at https://huggingface.co/datasets/FBK-MT/MCIF | Evaluation, outputs, and baselines available at https://github.com/hlt-mt/mcif

TMTE: Effective Multimodal Graph Learning with Task-aware Modality and Topology Co-evolution

TMTE: 有效多模态图学习中的任务感知模态与拓扑共进化

Yinlin Zhu, Xunkai Li, Di Wu, Wang Luo, Miao Hu, Guocong Quan

机构 * Sun Yat-sen University（中山大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 本文提出TMTE框架，通过任务感知的模态与拓扑共进化方法，解决多模态图学习中图拓扑质量不足的问题，实现多视角度量学习与跨模态对齐，提升下游任务性能。

Comments Accepted by ACMMM 2026

Amortized Inference of Multi-Modal Posteriors using Likelihood-Weighted Normalizing Flows

利用似然加权归一化流进行多模态后验的平均推断

Rajneil Baruah

机构 * Department of Physics, SEAS, Bennett University, Greater Noida, Uttar Pradesh, India, 201310（物理系，Bennett大学，Greater Noida，印度） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；multimodal(abstract)

AI总结 本文提出利用归一化流和似然加权重要性采样进行多模态后验推断，通过高斯混合模型初始化提升重建质量。

Comments 27 pages, 11 figures, 7 tables

Unsupervised Multimodal Clustering for Semantics Discovery in Multimodal Utterances

用于多模态话语语义发现的无监督多模态聚类

Hanlei Zhang, Hua Xu, Fei Long, Xin Wang, Kai Gao

机构 * State Key Laboratory of Intelligent Technology and Systems, Department of Computer Science and Technology, Tsinghua University（智能技术与系统国家重点实验室，计算机科学与技术系，清华大学） ； School of Information Science and Engineering, Hebei University of Science and Technology（信息科学与工程学院，河北科技大学） ； Samton (Jiangxi) Technology Development Co.,Ltd（江西松通科技发展有限公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 本文针对多模态话语语义发现问题，提出无监督多模态聚类方法UMC。通过构建增强视图预训练、动态选样及自动确定参数优化样本选择，在基准数据集上实验，UMC比现有方法聚类指标提升2-7%，取得开创性成果。

Comments Accepted by ACL 2024, Main Conference, Long Paper

MedRealMM: A Real-World Multimodal Benchmark for Chinese Online Medical Consultation

MedRealMM：用于中国在线医疗咨询的真实世界多模态基准测试

Runhan Shi, Quan Zhou, Yuqian Xu, Shuai Yang, Xin Wu, Zitong Zhou, Hui Liu, Bin Zha, Zheming Wang, Liya Li, Wei Wei, Jinru Ding, Wenrao Pang, Mouxiao Bian, Haoyuan Hu, Jun Xu, Jie Xu

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对现有在线医疗咨询基准与实际临床实践契合度差的问题，构建MedRealMM基准测试，用多模态临床挑战点提取框架转化任务并设评分标准，评估多个大语言模型，指出图像信息重要，前沿模型有不足，为多模态医学推理评估提供现实可重复基准。

ProAct: A Benchmark and Multimodal Framework for Structure-Aware Proactive Response

ProAct：用于结构感知主动响应的基准和多模态框架

Xiaomeng Zhu, Fengming Zhu, Weijie Zhou, Ye Tian, Zhenlin Hu, Yufei Huang, Yuchun Guo, Xinyu Wu, Zhengyou Zhang, Fangzhen Lin, Xuantang Xiong

机构 * Department of Computer Science and Engineering, The Hong Kong University of Science and Technology (HKUST), Hong Kong SAR, China（香港科技大学计算机科学与工程系） ； Tencent, Shenzhen, China（腾讯（中国深圳）） ； Shenzhen Institute of Advanced Technology (SIAT), Chinese Academy of Sciences, Shenzhen, China（深圳先进技术研究所（SIAT），中国科学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)

AI总结 针对主动智能体开发受资源缺乏阻碍的问题，引入ProAct-75基准，提出由多模态大语言模型驱动的ProAct-Helper，其利用任务图进行行动选择，实验证明该方法在触发检测等方面优于闭源模型。