多模态大模型

Solution for 10th Competition on Ambivalence/Hesitancy (AH) Video Recognition Challenge using Divergence-Based Multimodal Fusion

第十届Ambivalence/Hesitancy（AH）视频识别挑战赛中基于分歧的多模态融合解决方案

Aislan Gabriel O. Souza, Agostinho Freire, Leandro Honorato Silva, Igor Lucas B. da Silva, João Vinícius R. de Andrade, Gabriel C. de Albuquerque, Lucas Matheus da S. Oliveira, Mário Stela Guerra, Luciana Machado

机构 * Universidade de Pernambuco（巴伊亚大学） ； Escola Politécnica de Pernambuco（巴伊亚理工学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出基于分歧的多模态融合方法，通过测量视觉、音频和文本通道间的跨模态冲突，提升AH识别性能，在BAH数据集上达到0.6808的宏F1分数，优于基准线。

Surg$Σ$: A Spectrum of Large-Scale Multimodal Data and Foundation Models for Surgical Intelligence

Surg$Σ$: 一种大规模多模态数据和基础模型的光谱，用于外科智能

Zhitao Zeng, Mengya Xu, Jian Jiang, Pengfei Guo, Yunqiu Xu, Zhu Zhuo, Chang Han Low, Yufan He, Dong Yang, Chenxi Lin, Yiming Gu, Jiaxin Guo, Yutong Ban, Daguang Xu, Qi Dou, Yueming Jin

机构 * NUS（新加坡国立大学） ； CUHK（香港中文大学） ； SJTU（上海交通大学） ； NVIDIA（英伟达） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 本文提出Surg$Σ$，通过大规模多模态数据和基础模型提升外科智能，解决现有框架任务特定、泛化能力差的问题，展示统一语义设计和结构化推理标注的改进效果。

OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging

OptMerge: 通过模型融合统一多模态大语言模型的能力与模态

Yongxian Wei, Runxi Cheng, Weike Jin, Enneng Yang, Li Shen, Lu Hou, Sinan Du, Chun Yuan, Xiaochun Cao, Dacheng Tao

机构 * Tsinghua University（清华大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 OptMerge通过模型融合统一多模态大语言模型的能力与模态，提出基准和算法提升性能2.48%

OpenMarcie: Dataset for Multimodal Action Recognition in Industrial Environments

OpenMarcie：工业环境中的多模态动作识别数据集

Hymalai Bello, Lala Ray, Joanna Sorysz, Sungho Suh, Paul Lukowicz

机构 * DFKI Kaiserslautern（DFKI凯撒斯劳滕） ； RPTU Kaiserslautern-Landau（RPTU凯撒斯劳滕-兰道） ； Korea University（韩国大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 OpenMarcie是首个大规模多模态数据集，用于工业环境中的动作识别，包含36名参与者在不同任务中的多模态数据，支持活动分类、开放词汇描述和跨模态对齐任务。

Comments Accepted in CVPR 2026

Towards Aligning Multimodal LLMs with Human Experts: A Focus on Parent-Child Interaction

向人类专家对齐多模态大语言模型：聚焦亲子互动

Weiyan Shi, Kenny Tsu Wei Choo

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.MM

AI总结 本文探讨了如何通过两阶段提示方法使多模态大语言模型更有效地对齐语言治疗师在分析亲子互动中的联合注意，揭示了观察层与判断层对齐的差异及挑战。

Comments Accepted at CHI 2026 Full Papers

VideoFusion: A Spatio-Temporal Collaborative Network for Multi-modal Video Fusion

VideoFusion: 一种用于多模态视频融合的时空协作网络

Linfeng Tang, Yeda Wang, Meiqi Gong, Zizhuo Li, Yuxin Deng, Xunpeng Yi, Chunyu Li, Han Xu, Hao Zhang, Jiayi Ma

机构 * School of Robotics, Wuhan University, Wuhan, China（机器人学院，武汉大学，武汉，中国） ； Electronic Information School, Wuhan University, Wuhan, China（电子信息学院，武汉大学，武汉，中国） ； Southeast University, Nanjing, China（东南大学，南京，中国） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 VideoFusion通过时空协作网络实现多模态视频融合，利用跨模态互补性和时间动态性提升视频一致性。

Comments Accepted to CVPR 2026. The dataset and code are available at https://github.com/Linfeng-Tang/VideoFusion

MLLM-4D: Towards Visual-based Spatial-Temporal Intelligence

MLLM-4D: 向基于视觉的空间-时间智能迈进

Xingyilang Yin, Chengzhengxu Li, Jiahao Chang, Chi-Man Pun, Xiaodong Cun

机构 * University of Macau（澳门大学） ； Xi'an Jiaotong University（西安交通大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； GVC Lab, Great Bay University（大湾大学GVC实验室） 纠错

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 MLLM-4D通过改进的数据筛选和训练策略，实现了从2D输入中强大的空间-时间理解和推理能力。

Steering and Rectifying Latent Representation Manifolds in Frozen Multi-modal LLMs for Video Anomaly Detection

在冻结的多模态大语言模型中引导和校正潜在表示流形以进行视频异常检测

Zhaolin Cai, Fan Li, Huiyu Duan, Lijun He, Guangtao Zhai

专题命中 视频多模态 ：multi-modal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SteerVAD通过引导和校正冻结多模态大语言模型的潜在表示流形，提升视频异常检测的性能，仅需1%训练数据即达最优效果。

Comments Accepted by ICLR 2026

Leveraging Multimodal LLM Descriptions of Activity for Explainable Semi-Supervised Video Anomaly Detection

利用多模态大语言模型对活动的描述进行可解释的半监督视频异常检测

Furkan Mumcu, Michael J. Jones, Anoop Cherian, Yasin Yilmaz

机构 * Department of Electrical Engineering University of South Florida（电气工程系 佛罗里达州立大学） ； Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL）） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出利用多模态大语言模型描述活动，以实现可解释的半监督视频异常检测，有效检测复杂交互异常并提升模型可解释性。

MSJoE: Jointly Evolving MLLM and Sampler for Efficient Long-Form Video Understanding

MSJoE：联合进化多模态大语言模型与采样器以实现高效的长视频理解

Wenhui Tan, Xiaoyi Yu, Jiaze Li, Yijing Chen, Jianzhong Ju, Zhenbo Luo, Ruihua Song, Jian Luan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； Tongji University（同济大学） ； MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus） 纠错

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 MSJoE通过联合进化多模态大语言模型与轻量级采样器，提升长视频理解效率，实验表明其在多个基准测试中表现优异。

Comments Accepted by CVPR2026

TPRU: Advancing Temporal and Procedural Understanding in Large Multimodal Models

TPRU: 推动大型多模态模型中的时序与过程理解

Zhenkun Gao, Xuhong Wang, Xin Tan, Yuan Xie

机构 * East China Normal University（东华大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 TPRU通过引入大规模多模态数据集和强化学习微调方法，显著提升大型模型在时序和过程理解上的表现，达到当前最先进的准确率。

Comments Accepted to ICLR 2026. 17 pages. Code, data, and models are available at: https://github.com/Stephen-gzk/TPRU

ReMoRa: Multimodal Large Language Model based on Refined Motion Representation for Long-Video Understanding

ReMoRa：基于精细运动表示的多模态大语言模型用于长视频理解

Daichi Yashima, Shuhei Kurita, Yusuke Oda, Komei Sugiura

机构 * Keio University（庆应大学） ； NII（日本信息处理学会） ； NII LLMC（日本信息处理学会语言模型中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 ReMoRa通过精细运动表示实现长视频理解，有效压缩视频数据并提升多模态大语言模型性能。

Comments Accepted to CVPR 2026

Learning Compact Video Representations for Efficient Long-form Video Understanding in Large Multimodal Models

学习紧凑的视频表示以在大规模多模态模型中实现高效的长视频理解

Yuxiao Chen, Jue Wang, Zhikang Zhang, Jingru Yi, Xu Zhang, Yang Zou, Zhaowei Cai, Jianbo Yuan, Xinyu Li, Hao Yang, Davide Modolo

机构 * Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出了一种端到端的长视频理解框架，结合自适应视频采样器和空间时间视频压缩器，以高效处理长视频的冗余问题。

Credit Where It is Due: Cross-Modality Connectivity Drives Precise Reinforcement Learning for MLLM Reasoning

应得之 credit：跨模态连接驱动精确强化学习用于 MLLM 推理

Zhengbo Jiao, Shaobo Wang, Zifan Zhang, Wei Wang, Bing Zhao, Hu Wei, Linfeng Zhang

机构 * AI DATA, Alibaba Group Holding Limited（阿里数据，阿里巴巴集团控股有限公司） ； EPIC Lab, SJTU（EPIC实验室，上海交通大学） 纠错

专题命中 视频多模态 ：MLLM(title)；multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 通过跨模态连接驱动精确强化学习，提升多模态大语言模型的推理能力，仅引入1.2%开销即超越基线模型。

Comments 20pages

UNeMo: Collaborative Visual-Language Reasoning and Navigation via a Multimodal World Model

UNeMo：通过多模态世界模型实现协作的视觉-语言推理与导航

Changxin Huang, Lv Tang, Zhaohuan Zhan, Lisha Yu, Runhao Zeng, Zun Liu, Zhengjie Wang, Jianqiang Li

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 UNeMo通过多模态世界模型实现视觉-语言推理与导航的协作优化，提升导航准确率。

UniDriveDreamer: A Single-Stage Multimodal World Model for Autonomous Driving

UniDriveDreamer: 一种用于自动驾驶的单阶段多模态世界模型

Guosheng Zhao, Yaozeng Wang, Xiaofeng Wang, Zheng Zhu, Tingdong Yu, Guan Huang, Yongchen Zai, Ji Jiao, Changliang Xue, Xiaole Wang, Zhen Yang, Futang Zhu, Xingang Wang

机构 * GigaAI ； CASIA ； BYD 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 UniDriveDreamer是一种用于自动驾驶的单阶段多模态世界模型，通过统一的多模态生成方法提升视频和激光雷达数据合成的性能。

Comments 16 pages, 7 figures

RGBX-R1: Visual Modality Chain-of-Thought Guided Reinforcement Learning for Multimodal Grounding

RGBX-R1: 多视觉模态链式推理引导的多模态接地强化学习

Jiahe Wu, Bing Cao, Qilong Wang, Qinghua Hu, Dongdong Li, Pengfei Zhu

机构 * School of Artificial Intelligence, Tianjin University（天津大学人工智能学院） ； Low-Altitude Intelligence Lab, Xiong’an National Innovation Center（雄安国家创新中心低空智能实验室） ； Xiong’an Guochuang Lantian Technology Co., Ltd.（雄安国创莲田科技有限公司） ； College of Electronic Science and Technology, National University of Defense Technology（国防科技大学电子科学学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 RGBX-R1通过视觉模态链式推理引导的强化学习提升多模态接地能力，首次构建RGBX-接地基准并在多个任务中取得显著优势。

MultiHateLoc: Towards Temporal Localisation of Multimodal Hate Content in Online Videos

MultiHateLoc：迈向在线视频中多模态仇恨内容的时间定位

Qiyue Sun, Tailin Chen, Yinghui Zhang, Yuchen Zhang, Jiangbei Yue, Jianbo Jiao, Zeyu Fu

机构 * Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） ； Institute for Analytics and Data Science, University of Essex（埃塞克斯大学分析与数据科学研究所） ； School of Computer Science, University of Birmingham（伯明翰大学计算机科学学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 MultiHateLoc提出了一种弱监督多模态仇恨内容时间定位框架，通过动态跨模态融合和模态感知MIL目标实现细粒度帧级预测。

Comments In Proceedings of the ACM Web Conference 2026 (WWW 2026)

TS-Debate: Multimodal Collaborative Debate for Zero-Shot Time Series Reasoning

TS-Debate：多模态协作辩论用于零样本时间序列推理

Patara Trirat, Jin Myung Kwak, Jay Heo, Heejun Lee, Sung Ju Hwang

机构 * KAIST Seoul（韩国科学技术院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 TS-Debate通过多模态协作辩论框架，在零样本时间序列推理中实现显著性能提升，通过专门代理和结构化协议提升模态保真度和数值精度。

Comments Code will be available at https://github.com/DeepAuto-AI/TS-Debate

LLaVAction: evaluating and training multi-modal large language models for action understanding

LLaVAction：评估和训练多模态大语言模型进行动作理解

Haozhe Qi, Shaokai Ye, Alexander Mathis, Mackenzie W. Mathis

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 LLaVAction通过引入动作标记和两阶段流程提升多模态大语言模型的动作理解能力，显著提升基准测试性能。

Comments https://github.com/AdaptiveMotorControlLab/LLaVAction

Journal ref International Conference on Learning Representations (ICLR) 2026

UBATrack: Spatio-Temporal State Space Model for General Multi-Modal Tracking

UBATrack: 一种用于通用多模态跟踪的时空状态空间模型

Qihua Liang, Liang Chen, Yaozong Zheng, Jian Nong, Zhiyi Mo, Bineng Zhong

机构 * Key Laboratory of Education Blockchain and Intelligent Technology, Ministry of Education, Guangxi Normal University（教育区块链与智能技术重点实验室，教育部，广西师范大学） ； Guangxi Key Laboratory of Multi-Source Information Mining and Security, Guangxi Normal University（广西多源信息挖掘与安全重点实验室，广西师范大学） ； University Engineering Research Center of Educational Intelligent Technology, Guangxi Normal University（教育智能技术大学工程研究中心，广西师范大学） ； Guangxi Key Laboratory of Machine Vision and Intelligent Control, Wuzhou University（广西机器视觉与智能控制重点实验室，梧州大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 UBATrack提出基于mamba状态空间模型的多模态跟踪框架，通过时空Mamba适配器和动态多模态特征混合器提升跟踪鲁棒性，有效捕捉时空线索并提高训练效率。

Transferability of Adversarial Attacks in Video-based MLLMs: A Cross-modal Image-to-Video Approach

视频基于多模态大语言模型中的对抗攻击可迁移性：一种跨模态图像到视频的方法

Linhao Huang, Xue Jiang, Zhiqiang Wang, Wentao Mo, Xi Xiao, Yong-Jie Yin, Bo Han, Feng Zheng

专题命中 视频多模态 ：cross-modal(title)；multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出了一种跨模态图像到视频的对抗攻击方法，用于研究视频多模态大语言模型的可迁移性，实验表明该方法在多个视频-文本多模态任务中表现出强对抗转移性。

Multi-Modal AI for Remote Patient Monitoring in Cancer Care

多模态AI在癌症护理中的远程患者监测

Yansong Liu, Ronnie Stafford, Pramit Khetrapal, Huriye Kocadag, Graça Carvalho, Patricia de Winter, Maryam Imran, Amelia Snook, Adamos Hadjivasiliou, D. Vijay Anand, Weining Lin, John Kelly, Yukun Zhou, Ivana Drobnjak

机构 * University College London（伦敦大学学院） ； Ethera Health LTD（Ethera健康有限公司） ； Centro Algoritmi, Universidade do Minho（阿尔戈里米中心，明霍大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 本研究提出多模态AI框架用于癌症护理中的远程患者监测，通过整合多源数据预测不良事件风险，准确率达83.9%。

Emotion-Coherent Reasoning for Multimodal LLMs via Emotional Rationale Verifier

通过情感推理验证器实现多模态大语言模型的情感一致性推理

Hyeongseop Rha, Jeong Hun Yeo, Yeonju Kim, Yong Man Ro

机构 * Corresponding author（通讯作者） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出情感推理验证器和解释奖励，通过引导模型生成与目标情绪一致的推理，提升多模态大语言模型在情绪识别中的解释准确性与一致性。

Comments 15 pages, 11 figures

JavisGPT: A Unified Multi-modal LLM for Sounding-Video Comprehension and Generation

JavisGPT：一种用于声音-视频理解和生成的统一多模态大语言模型

Kai Liu, Jungang Li, Yuchong Sun, Shengqiong Wu, Jianzhang Gao, Daoan Zhang, Wei Zhang, Sheng Jin, Sicheng Yu, Geng Zhan, Jiayi Ji, Fan Zhou, Liang Zheng, Shuicheng Yan, Hao Fei, Tat-Seng Chua

机构 * ZJU（浙江大学） ； NUS（国立新加坡大学） ； HKUST(GZ)（香港科技大学（广州）） ； RUC（中国人民大学） ； HZCU（杭州电子科技大学） ； NTU（国立台湾大学） ； SMU（新加坡国立大学） ； USYD（澳大利亚悉尼大学） ； ANU（澳大利亚国立大学） 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 JavisGPT是一种统一多模态大语言模型，通过三阶段训练流程在声音-视频理解和生成任务中表现出色，尤其在复杂和时间同步场景中表现更优。

Comments Accepted by NeurIPS as a Spotlight paper. Code: https://github.com/JavisVerse/JavisGPT

Multi-Track Multimodal Learning on iMiGUE: Micro-Gesture and Emotion Recognition

多轨多模态学习于iMiGUE：微手势与情绪识别

Arman Martirosyan, Shahane Tigranyan, Maria Razzhivina, Artak Aslanyan, Nazgul Salikhova, Ilya Makarov, Andrey Savchenko, Aram Avetisyan

机构 * Russian - Armenian University（俄罗斯-亚美尼亚大学） ； Sber AI Lab（Sber AI实验室） ； HSE University（俄罗斯高等经济大学） ； Innopolis University（Innopolis大学） ； ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院可信人工智能研究中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出多模态框架，利用视频和骨骼姿态数据实现微手势识别和基于行为的情绪预测，通过交叉模态融合模块提升鲁棒性和准确性。

Text-Routed Sparse Mixture-of-Experts Model with Explanation and Temporal Alignment for Multi-Modal Sentiment Analysis

基于解释和时序对齐的文本引导稀疏专家混合模型用于多模态情感分析

Dongning Rao, Yunbiao Zeng, Zhihua Jiang, Jujian Lv

专题命中 视频多模态 ：multi-modal(title,abstract)；MLLM(abstract)；分类 cs.CL

AI总结 本文提出基于解释和时序对齐的文本引导稀疏专家混合模型，用于提升多模态情感分析的性能。

Comments 9 pages, 9 figures, accepted by AAAI 2026

View-aware Cross-modal Distillation for Multi-view Action Recognition

视点感知的多模态知识蒸馏用于多视图动作识别

Trung Thanh Nguyen, Yasutomo Kawanishi, Vijay John, Takahiro Komamizu, Ichiro Ide

机构 * Nagoya University（名古屋大学） ； Guardian Robot Project, R-IH, RIKEN（守护机器人项目，RIIH，理化学研究所） ； Lawrence Technological University（劳伦斯技术大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 ViCoKD通过视点感知的多模态知识蒸馏方法，在多视图动作识别中提升模型性能，有效解决视点不一致问题。

Comments IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2026

HeadHunt-VAD: Hunting Robust Anomaly-Sensitive Heads in MLLM for Tuning-Free Video Anomaly Detection

HeadHunt-VAD: 在MLLM中寻找鲁棒的异常敏感头部以实现无调优视频异常检测

Zhaolin Cai, Fan Li, Ziwei Zheng, Haixia Bi, Lijun He

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 HeadHunt-VAD通过直接在冻结的MLLM中寻找鲁棒的异常敏感头部，实现高效的无调优视频异常检测。

Comments AAAI 2026 Oral

Multi-Modal Soccer Scene Analysis with Masked Pre-Training

多模态足球场景分析与掩码预训练

Marc Peral, Guillem Capellera, Luis Ferraz, Antonio Rubio, Antonio Agudo

机构 * Institut de Robòtica i Informàtica Industrial, CSIC-UPC（机器人与信息技术研究所，CSIC-UPC） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种多模态架构，通过结合结构和视觉线索，有效推断足球场景中的球轨迹、状态和控制者，采用CropDrop策略提升模型鲁棒性。

Comments 10 pages, 2 figures. WACV 2026