多模态大模型

Silent Failures in Multimodal Agentic Search:A Diagnostic Taxonomy and Cross-Judge Evaluation

多模态智能体搜索中的无声故障：一种诊断分类法与跨评判者评估

Zhengxian Wu, Junjie Gao, Kai Yang

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态智能体搜索中无声故障这一隐藏可靠性问题，引入六类分类法，构建轨迹级诊断管道，通过实验表明表面准确性高估真实正确性，且无声故障与能力相关、常转移。

Journal ref SIGIR 2026 SynthIR Workshop

Generative Semantic Multi-Object Tracking: A Large-Scale Benchmark and an MLLM-Driven Reasoning Framework

生成式语义多目标跟踪：大规模基准和基于大型语言模型的推理框架

Pan Liao, Feng Yang, Di Wu, Jinwen Yu, Wang Zhao, Dingwen Zhang

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 多模态评测 ：MLLM(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究将语义多目标跟踪从刚性分类提升为开放式生成推理任务，引入Grand-SMOT基准，提出LLMTrack框架，通过时空融合模块压缩轨迹为语义令牌，提升了生成语义推理能力。

Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy

用于科学可视化素养的多模态大语言模型基准测试

Patrick Phuoc Do, Chau M. Ta, Chaoli Wang

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究对六个多模态大语言模型进行科学可视化素养基准测试，涵盖多种技术和任务类型。通过封闭世界协议评估闭源和开源模型，与人类参与者数据对比。发现模型表现不均，Gemini最强，开源模型低于人类基线，明确SciVis素养对评估多模态AI系统的必要性。

Overview of the NLPCC 2026 Shared Task 1: Difficulty-Aware Multilingual and Multimodal Medical Instructional Video Understanding Evaluation

NLPCC 2026共享任务1概述：难度感知多语言多模态医学教学视频理解评估

Shenxi Liu, Kan Li, Mingyang Zhao, Yuhang Tian, Bin Li

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与工程学院） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 NLPCC 2026的DA - MIVQA共享任务，通过区分问题难度扩展多语言多模态医学视频基准，含三个赛道。其数据集来自公共医学教学渠道，涵盖多种场景并经人工标注难度。该任务为评估医学教学视频问答系统提供实用基准。

Comments 19 pages, 6 figures, 6 tables

MMR-V: What's Left Unsaid? A Benchmark for Multimodal Deep Reasoning in Videos

MMR-V：未言明的是什么？视频中多模态深度推理的基准测试

Kejian Zhu, Zhuoran Jin, Hongbang Yuan, Jiachun Li, Shangqing Tu, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China（认知与决策智能复杂系统重点实验室，自动化研究所，中国科学院，北京，中国） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 针对视频多模态推理挑战，提出MMR-V基准测试，具有长程多帧推理等特点。该基准测试含317个视频和1257个任务，实验发现当前模型多模态推理困难，最佳模型准确率低，现有增强策略收益有限，旨在推动多模态推理能力研究。

Comments Accepted at ICLR 2026. Camera-ready version

The In-Car Sign Language Corpus (ICSL): A Multi-Modal Resource for Constrained-Space Sign Language Recognition

车内手语语料库（ICSL）：用于受限空间手语识别的多模态资源

Raviteja Boddu, Guilherme Vieira Leite, Joed Lopes da Silva, Ângelo Benetti, Isabela Barbieri, Natália de Melo Afonso, Thyago Santos, Helio Pedrini, Felipe Venâncio Barbosa, José Mario De Martino, Munir Georges, Alessandro Zimmer

机构 * Technische Hochschule Ingolstadt (THI)（因戈尔施塔特技术大学） ； Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学） ； Universidade de São Paulo (USP)（圣保罗大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 研究共享出行服务中受限空间的手语识别挑战，提出ICSL数据集，含高精度实验室数据和现实多模态车内记录，为相关比较分析提供基础，描述了语料库多方面细节，助力提升聋人社区公共交通可达性及乘客生活质量。

Comments Published in the Proceedings of the LREC2026 12th Workshop on the Representation and Processing of Sign Languages: Language in Motion Original publication: https://www.sign-lang.uni-hamburg.de/lrec/pub/26.html The paper is distributed under the CC BY-NC 4.0 license. Link to paper: https://www.sign-lang.uni-hamburg.de/lrec/pub/26033.html

Journal ref Proceedings of the LREC2026 12th Workshop on the Representation and Processing of Sign Languages: Language in Motion

SFL-Net: Source-Factorized Latent Representation Learning for Multi-Contrast MRI to Tau-PET Synthesis

基于部分信息分解指导的解耦量化半UNet的多模态T1加权和FLAIR MRI生成可解释的tau-PET

Agamdeep S. Chopra, Caitlin Neher, Tianyi Ren, Juampablo E. Heras Rivera, Hesamoddin Jahanian, Mehmet Kurt

机构 * Department of Mechanical Engineering, University of Washington（华盛顿大学机械工程系） ； Department of Radiology, University of Washington（华盛顿大学放射学系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种可解释的多模态图像合成框架，通过部分信息分解指导的解耦量化半UNet生成tau-PET，结合向量量化编码器和半UNet解码器，实现了在ADNI-3和OASIS-3数据集上的最佳性能。

SingGuard: A Policy-Adaptive Multimodal LLM Guardrail with Dynamic Reasoning

SingGuard: 一种策略自适应的多模态大语言模型护栏，具有动态推理能力

SingGuard Team

机构 * AI Security Lab, Ant Group（蚂蚁集团AI安全实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 提出SingGuard，一种策略自适应的多模态护栏模型，通过将策略作为运行时输入，支持快速、混合和慢速推理模式，实现动态规则下的安全评估，在多个基准上取得最优F1。

AMVICC: A Novel Benchmark for Cross-Modal Failure Mode Profiling for VLMs and IGMs

AMVICC: 一种用于VLM和IGM跨模态故障模式分析的新型基准

Aahana Basappa, Pranay Goel, Anusri Karra, Anish Karra, Asa Gilmore, Kevin Zhu

机构 * Centennial High School, Frisco, Texas, USA（Centennial High School, Texas, USA） ； Lebanon Trail High School, Frisco, Texas, USA（Lebanon Trail High School, Texas, USA） ； West Windsor-Plainsboro High School, Princeton Junction, New Jersey, USA（West Windsor-Plainsboro High School, New Jersey, USA） ； Algoverse AI Research, Palo Alto, California, USA（Algoververse AI Research, California, USA） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出AMVICC基准，通过图像到文本和文本到图像任务系统比较多模态大模型和图像生成模型的视觉推理失败模式，发现故障模式在模型和模态间共享，但存在特定于模型和模态的失败。

Comments 14 pages, 4 figures, 8 tables. Presented at the 39th Conference on Neural Information Processing Systems Workshop: VLM4RWD. Presented at the 43th International Conference on Machine Learning Workshops: ICML 2026 CTB, ICML 2026 FAGEN, ICML 2026 EMM-QA. Authors Aahana Basappa and Pranay Goel contributed equally. Code: https://github.com/AahanaB24/AMVICC, Data: https://doi.org/10.5281/zenodo.17646068

A Quantitative Analysis of Multimodal Biomarkers in Alzheimer's Disease

阿尔茨海默病多模态生物标志物的定量分析

Antonio Scardace, Daniele Ravì

机构 * Department of Mathematics and Computer Science（数学与计算机科学系） ； University of Catania（卡塔尼亚大学） ； Department MIFT（MIFT部门） ； University of Messina（梅西纳大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 通过整合tau-PET、结构MRI、认知评分和APOE4数据，量化多模态生物标志物间的冗余与预测依赖关系，揭示tau拓扑与萎缩的关联，并分解tau-认知关联，为AD生物标志物选择提供可解释性。

Comments Accepted to ICTS4eHealth 2026

DisasterBench: A Multimodal Benchmark for UAV-Based Disaster Response in Complex Environments

DisasterBench: 复杂环境中基于无人机灾害响应的多模态基准

Tan Zhang, Quanyou Li, Lu Zhang, Jun Liu, Xiaofeng Zhu, Ping Hu

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出DisasterBench多模态基准，涵盖14种灾害场景和9个响应任务，并设计轻量级模型DisasterVL通过三阶段优化在边缘设备上实现高效推理。

Mitigating Perceptual Judgment Bias in Multimodal LLM-as-a-Judge via Perceptual Perturbation and Reward Modeling

通过感知扰动和奖励建模减轻多模态大语言模型作为评判者中的感知判断偏差

Seojeong Park, Jiho Choi, Junyong Kang, Seonho Lee, Jaeyo Shin, Hyunjung Shim

机构 * University of California, Berkeley（加州大学伯克利分校） ； KAIST（韩国科学技术院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过构建感知扰动数据集和结合GRPO奖励与批排序目标的统一训练框架，解决了多模态大语言模型作为评判者时因视觉证据与文本线索冲突而产生的感知判断偏差问题，显著提升了感知忠实度和与人类评价的一致性。

Comments ICML 2026

Structured Visual Evidence Decomposition for Evidence-Grounded Multimodal Screening of Obstructive Sleep Apnea-Hypopnea Syndrome

结构化视觉证据分解用于阻塞性睡眠呼吸暂停低通气综合征的证据驱动多模态筛查

Chen Zhan, Yingchen Wei, Xiaoyu Tan, Jingjing Huang, Xihe Qiu

机构 * School of Electronic and Electrical Engineering, Shanghai University of Engineering Science（上海工程技术大学电子与电气工程学院） ； Tencent Youtu Lab（腾讯云视频实验室） ； ENT Institute and Department of Otorhinolaryngology, Eye & ENT Hospital of Fudan University（复旦大学耳鼻喉科医院耳鼻喉科研究所） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

AI总结 提出EviOSAHS框架，通过将面部图像分解为七个解剖查询并生成结构化证据卡，结合临床信息进行高灵敏度OSAHS筛查。

MuCRASP: Multimodal Chain-of-thought Reasoning aware Structured Pruning

MuCRASP: 多模态思维链推理感知的结构化剪枝

Aritra Dutta, Somak Aditya

机构 * Indian Institute of Technology, Kharagpur（印度理工学院，哈里科普尔） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 针对视觉语言模型在结构化剪枝后思维链推理准确性下降的问题，提出MuCRASP框架，通过识别推理关键令牌并保持跨模态对齐，在压缩下维持推理质量。

Comments Preprint ver. 2

Benchmarking Large Vision-Language Models on CFMME: A Comprehensive Chinese Financial Multimodal Evaluation Dataset

大型视觉语言模型在CFMME上的基准测试：一个全面的中文金融多模态评估数据集

Qian Chen, Xianyin Zhang, Yanzhi Liu, Lifan Guo, Feng Chen, Chi Zhang

机构 * Qwen DianJin Team, Alibaba Cloud Computing（文言金团队，阿里云计算） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出CFMME，一个包含6052个实例的中文金融多模态评估基准，涵盖八种主要金融图像模态和四项核心多模态任务，用于评估LVLMs在金融业务全流程中的感知、理解、推理和认知能力。

Polymath: A Challenging Multi-modal Mathematical Reasoning Benchmark

PolyMATH：一个具有挑战性的多模态数学推理基准

Himanshu Gupta, Shreyas Verma, Ujjwala Anantheswaran, Kevin Scaria, Mihir Parmar, Swaroop Mishra, Chitta Baral

机构 * Arizona State University（亚利桑那州立大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 PolyMATH基准通过5000张高质量图像评估多模态大语言模型的推理能力，揭示其在空间关系和抽象推理上的不足，指出模型无法真正理解视觉信息，存在逻辑错误风险。

Comments Accepted in Neural Information Processing Systems (NeurIPS 2025) Workshop: Foundations of Reasoning in Language Models

EDU-CIRCUIT-HW: Evaluating Multimodal Large Language Models on Real-World University-Level STEM Student Handwritten Solutions

EDU-CIRCUIT-HW：评估多模态大语言模型在真实世界大学级STEM学生手写解答中的表现

Weiyu Sun, Liangliang Chen, Yongnuo Cai, Huiru Xie, Yi Zeng, Ying Zhang

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出EDU-CIRCUIT-HW数据集，用于评估多模态大语言模型在处理包含数学公式、图表和文本推理的大学STEM学生手写解答中的性能，揭示模型在自动评分中的可靠性问题，并提出通过纠正识别错误提升AI评分系统鲁棒性的方法。

Comments Accepted to Findings of the Association for Computational Linguistics: ACL 2026. Project Website: https://gt-learning-innovation.github.io/CIRCUIT_EDU_HW_ACL GitHub and Dataset: https://gt-learning-innovation.github.io/CIRCUIT_EDU_HW_ACL

ShredBench: Evaluating the Semantic Reasoning Capabilities of Multimodal LLMs in Document Reconstruction

ShredBench：评估多模态大语言模型在文档重建中的语义推理能力

Zichun Guo, Yuling Shi, Wenhao Zeng, Chao Hu, Haotian Lin, Terry Yue Zhuo, Jiawei Chen, Xiaodong Gu, Wenping Ma

机构 * Xidian University（西安电子科技大学） ； Shanghai Jiao Tong University（上海交通大学） ； Alibaba Qwen（阿里巴巴量子计算实验室） ； Old Dominion University（旧 Dominion 大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出ShredBench基准，用于评估多模态大语言模型在文档重建任务中的语义推理能力，发现现有模型在处理破碎文档时存在显著性能差距。

Comments ACL 2026 Findings. Code available at https://github.com/ythere-y/ShredBench

EmoBench-M: Benchmarking Emotional Intelligence for Multimodal Large Language Models

EmoBench-M：多模态大语言模型情感智能评估基准

He Hu, Lianzhong You, Hongbo Xu, Qianning Wang, Fei Richard Yu, Fei Ma, Zebang Cheng, Zheng Lian, Yucheng Zhou, Laizhong Cui

机构 * Shenzhen University（深圳大学） ； Guangdong Laboratory of Artificial Intelligence（广东人工智能与数字经济实验室） ； Auckland University of Technology（奥克兰理工大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； SKL-IOTSC, CIS, University of Macau（澳门科学技术大学SKL-IOTSC、CIS） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出EmoBench-M，通过建立心理理论基础，评估多模态大语言模型在13种场景中的情感识别、理解及社会复杂情感分析能力，揭示模型在情感智能方面的性能差距。

PRISM-XR: Empowering Privacy-Aware XR Collaboration with Multimodal Large Language Models

PRISM-XR: 通过多模态大语言模型赋能隐私感知的扩展现实协作

Jiangong Chen, Mingyu Zhu, Bin Li

机构 * Department of Electrical Engineering, The Pennsylvania State University, University Park, PA 16802, USA（电气工程系，宾夕法尼亚州立大学，University Park，PA 16802，USA） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI、cs.MM

AI总结 本文提出PRISM-XR框架，通过边缘服务器智能预处理过滤敏感数据，实现隐私保护的多用户XR协作，实验表明其在准确性和隐私保护方面表现优异。

Comments Accepted to the 2026 IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR)

Journal ref 2026 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)

CFMS: Towards Explainable and Fine-Grained Chinese Multimodal Sarcasm Detection Benchmark

CFMS：迈向可解释且细粒度的中文多模态讽刺检测基准

Junzhao Zhang, Hsiu-Yuan Huang, Chenming Tang, Yutong Yang, Yunfang Wu

机构 * National Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室） ； Peking University School of Computer Science（北京大学计算机科学学院） ； Peking University School of Software and Microelectronics（北京大学软件与微电子学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CFMS，首个针对中文社交媒体的细粒度多模态讽刺检测数据集，包含2796对高质量图像-文本对，提供三层次标注框架，并提出PGDS方法在关键任务中优于现有基线。

PersonaVLM: Long-Term Personalized Multimodal LLMs

PersonaVLM：长期个性化多模态大语言模型

Chang Nie, Chaoyou Fu, Yifan Zhang, Haihua Yang, Caifeng Shan

机构 * Nanjing University（南京大学） ； ByteDance（字节跳动） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出PersonaVLM，一种支持长期个性化多模态大语言模型框架，通过记忆、推理和响应对齐三大能力，提升个性化交互效果，并在Persona-MME基准测试中取得显著提升。

Comments Accepted by CVPR 2026. Project page: https://PersonaVLM.github.io

A Dual Cross-Attention Graph Learning Framework For Multimodal MRI-Based Major Depressive Disorder Detection

一种双交叉注意力图学习框架用于多模态MRI基于重大抑郁障碍检测

Nojod M. Alotaibi, Areej M. Alhothali

机构 * King Abdulaziz University（阿卜杜勒阿齐兹国王大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出双交叉注意力融合框架，通过建模结构性MRI与功能型MRI的双向交互，提升多模态MRI在重大抑郁障碍检测中的性能，实验显示其在多种脑图谱类型中表现优异。

Comments 19 pages, 1 figure

GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents

GameWorld: 向标准化和可验证的多模态游戏代理评估迈进

Mingyu Ouyang, Siyuan Hu, Kevin Qinghong Lin, Hwee Tou Ng, Mike Zheng Shou

机构 * National University of Singapore（新加坡国立大学） ； University of Oxford（牛津大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 GameWorld提出一个标准化且可验证的多模态游戏代理评估基准，包含34种游戏和170个任务，通过可验证的指标评估代理能力，揭示了当前代理在视频游戏中与人类能力的差距。

Comments 23 pages, 8 figures

Modality-Aware and Anatomical Vector-Quantized Autoencoding for Multimodal Brain MRI

多模态脑MRI的模态感知与解剖矢量量化自编码

Mingjie Li, Edward Kim, Yue Zhao, Ehsan Adeli, Kilian M. Pohl

机构 * Stanford University（斯坦福大学） 纠错

专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出NeuroQuant，一种基于模态感知和解剖学的3D矢量量化自编码器，用于多模态脑MRI重建，通过共享潜在表示和双流编码提升重建精度。

Comments CVPR Fingdings track

MuDD: A Multimodal Deception Detection Dataset and GSR-Guided Progressive Distillation for Non-Contact Deception Detection

MuDD：一种多模态欺骗检测数据集和GSR引导的渐进性知识蒸馏用于非接触欺骗检测

Peiyuan Jiang, Yao Liu, Yanglei Gan, Jiaye Yang, Lu Liu, Daibing Yao, Qiao Liu

机构 * School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MuDD多模态欺骗检测数据集及GSR引导的渐进蒸馏方法，通过跨模态知识蒸馏提升非接触欺骗检测性能，实验表明其在欺骗检测和隐藏数字识别上达到最优。

XModBench: Benchmarking Cross-Modal Capabilities and Consistency in Omni-Language Models

XModBench：多模态能力与一致性在多语言模型中的基准测试

Xingrui Wang, Jiang Liu, Chao Huang, Xiaodong Yu, Ze Wang, Ximeng Sun, Jialian Wu, Alan Yuille, Emad Barsoum, Zicheng Liu

机构 * Advanced Micro Devices（超威半导体） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Rochester（罗彻斯特大学） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；omni-modal(abstract)；分类 cs.CV、cs.AI

AI总结 XModBench通过大规模三模态基准测试，评估多语言模型在跨模态一致性中的能力，揭示模型在不同模态下的推理偏差和不平衡问题。

Journal ref Published as a conference paper at ICLR 2026

Understanding the Role of Hallucination in Reinforcement Post-Training of Multimodal Reasoning Models

理解强化学习在多模态推理模型后训练中幻觉的作用

Gengwei Zhang, Jie Peng, Zhen Tan, Mufan Qiu, Hossein Nourkhiz Mahjoub, Vaishnav Tadiparthi, Kwonjoon Lee, Yanyong Zhang, Tianlong Chen

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Science and Technology of China（中国科学技术大学） ； Arizona State University（亚利桑那州立大学） ； Honda Research Institute, USA（本田美国研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Hallucination-as-Cue框架，通过引入模态特异性扰动分析强化学习对多模态推理模型的影响，揭示幻觉在训练中的关键作用，挑战现有假设。

Comments CVPR 2026

FLEX: A Largescale Multimodal, Multiview Dataset for Learning Structured Representations for Fitness Action Quality Assessment

FLEX：一个大规模多模态、多视角数据集，用于学习结构化表示以评估健身动作质量

Hao Yin, Lijun Gu, Paritosh Parmar, Lin Xu, Tianxiao Guo, Xiujin Liu, Weiwei Fu, Yang Zhang, Tianyou Zheng

机构 * School of Biomedical Engineering (Suzhou), USTC（中国科学技术大学苏州生物医学工程学院） ； Suzhou Institute of Biomedical Engineering and Technology, CAS（中国科学院苏州生物医学工程技术研究所） ； Institute of High-Performance Computing, A*STAR, Singapore（新加坡科技研究局高性能计算研究所） ； School of Psychology, Beijing Sports University（北京体育大学心理学院） ； School of Competitive Sports, Beijing Sports University（北京体育大学竞技体育学院） ； Department of Robotics, University of Michigan（密歇根大学机器人系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 FLEX数据集通过多模态融合和结构化知识图谱提升健身动作质量评估的准确性与解释性，支持跨模态预测和生物力学导向的表示学习。

Comments Dataset and code are available at https://github.com/HaoYin116/FLEX . Link to Project page https://haoyin116.github.io/FLEX_Dataset

AG-VAS: Anchor-Guided Zero-Shot Visual Anomaly Segmentation with Large Multimodal Models

AG-VAS：基于大多模态模型的锚引导零样本视觉异常分割

Zhen Qu, Xian Tao, Xiaoyi Bao, Dingrong Wang, ShiChen Qu, Zhengtao Zhang, Xingang Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Casivision（中科视语） ； Weiqiao-UCAS Science and Technology Park（魏桥国科科技园） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 AG-VAS通过引入三个可学习的语义锚点，建立统一的锚引导分割范式，提升零样本视觉异常分割的精度与性能。