多模态大模型

Super Encoding Network: Recursive Association of Multi-Modal Encoders for Video Understanding

超级编码网络：多模态编码器的递归关联用于视频理解

Boyu Chen, Siran Chen, Kunchang Li, Qinglin Xu, Yu Qiao, Yali Wang

机构 * Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； the School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 本文提出超级编码网络，通过递归关联多模态编码器提升视频理解性能，显著提升跟踪、识别、聊天和编辑等任务效果。

Exo2Ego: Exocentric Knowledge Guided MLLM for Egocentric Video Understanding

Exo2Ego：基于外部知识引导的多模态大语言模型用于第一人称视频理解

Haoyu Zhang, Qiaohui Chu, Meng Liu, Haoxiang Shi, Yaowei Wang, Liqiang Nie

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 Exo2Ego通过迁移学习提升内向视频理解能力，利用外向知识增强模型性能。

Comments This paper is accepted by AAAI 2026

Moment and Highlight Detection via MLLM Frame Segmentation

通过MLLM帧分割进行时刻和亮点检测

I Putu Andika Bagas Jiwanta, Ayu Purwarianti

机构 * School of Electrical Engineering and Informatics（电气工程与信息学院） ； Institut Teknologi Bandung（万隆技术大学） 纠错

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出通过MLLM帧分割实现视频时刻和亮点检测，利用分割损失与因果LM损失结合，提升检测精度与效率。

Benchmarking the Trustworthiness in Multimodal LLMs for Video Understanding

对多模态大语言模型在视频理解中的可信度进行基准测试

Youze Wang, Zijun Chen, Ruoyu Chen, Shishen Gu, Wenbo Hu, Jiayang Liu, Yinpeng Dong, Hang Su, Jun Zhu, Meng Wang, Richang Hong

机构 * Hefei University of Technology（合肥工业大学） ； Tsinghua University（清华大学） ； Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本研究提出Trust-videoLLMs基准，评估23种视频LLMs在真实性、鲁棒性、安全性和隐私等方面的表现，揭示其在动态场景理解及现实风险缓解中的局限性。

ACIT: Attention-Guided Cross-Modal Interaction Transformer for Pedestrian Crossing Intention Prediction

ACIT：基于注意力的跨模态交互Transformer用于行人过街意图预测

Yuanzhe Li, Steffen Müller

专题命中 视频多模态 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 ACIT通过跨模态交互和注意力机制提升行人过街意图预测的准确性，实验显示在两个数据集上均优于现有方法。

Personality-guided Public-Private Domain Disentangled Hypergraph-Former Network for Multimodal Depression Detection

Changzeng Fu, Shiwen Zhao, Yunze Zhang, Zhongquan Jian, Shiqi Zhao, Chaoran Liu

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

Comments AAAI 2026 accepted

The One Where They Brain-Tune for Social Cognition: Multi-Modal Brain-Tuning on Friends

Nico Policzer, Cameron Braunstein, Mariya Toneva

机构 * Saarland University（萨尔兰大学） ； MPI for Software Systems（软件系统Max Planck研究所） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

Comments 20 pages, 7 figures. Appearing at the NeurIPS 2025 Workshop on Interpreting Cognition in Deep Learning Models

H3M-SSMoEs: Hypergraph-based Multimodal Learning with LLM Reasoning and Style-Structured Mixture of Experts

Peilin Tan, Liang Xie, Churan Zhi, Dian Tu, Chuanqi Shi

机构 * University of California, San Diego（加州大学圣迭戈分校） ； Wuhan University of Technology（武汉科技大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

Learning Frequency and Memory-Aware Prompts for Multi-Modal Object Tracking

Boyue Xu, Ruichao Hou, Tongwei Ren, Dongming zhou, Gangshan Wu, Jinde Cao

机构 * State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； School of Information Science and Engineering（信息科学与工程学院） ； School of Mathematics（数学学院） ； Purple Mountain Laboratories（紫金山实验室） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

STaR-Attack: A Spatio-Temporal and Narrative Reasoning Attack Framework for Unified Multimodal Understanding and Generation Models

Shaoxiong Guo, Tianyi Du, Lijun Li, Yuyao Wu, Jie Li, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； East China Normal University（华东师范大学） ； Soochow University（苏州大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

Bidirectional Likelihood Estimation with Multi-Modal Large Language Models for Text-Video Retrieval

Dohwan Ko, Ji Soo Lee, Minhyuk Choi, Zihang Meng, Hyunwoo J. Kim

机构 * Korea University（韩国大学） ； Meta GenAI（Meta 生成人工智能） ； KAIST（韩国科学技术院） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments ICCV 2025 Highlight

VideoChat-R1.5: Visual Test-Time Scaling to Reinforce Multimodal Reasoning by Iterative Perception

Ziang Yan, Xinhao Li, Yinan He, Zhengrong Yue, Xiangyu Zeng, Yali Wang, Yu Qiao, Limin Wang, Yi Wang

机构 * Zhejiang University（浙江大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

LongLLaVA: Scaling Multi-modal LLMs to 1000 Images Efficiently via a Hybrid Architecture

Xidong Wang, Dingjie Song, Shunian Chen, Junyin Chen, Zhenyang Cai, Chen Zhang, Lichao Sun, Benyou Wang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Lehigh University（莱斯利大学） ； Meituan（美团） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Accepted to EMNLP 2025 Findings

Unleashing the Potential of Multimodal LLMs for Zero-Shot Spatio-Temporal Video Grounding

Zaiquan Yang, Yuhao Liu, Gerhard Hancke, Rynson W. H. Lau

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

Journal ref NeurIPS2025

Temporally Heterogeneous Graph Contrastive Learning for Multimodal Acoustic event Classification

Yuanjian Chen, Yang Xiao, Jinjie Huang

机构 * Harbin University of Science（哈尔滨理工大学） ； Technology The University of Melbourne（技术墨尔本大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 eess.AS

MEJO: MLLM-Engaged Surgical Triplet Recognition via Inter- and Intra-Task Joint Optimization

Yiyi Zhang, Yuchen Yuan, Ying Zheng, Jialun Pei, Jinpeng Li, Zheng Li, Pheng-Ann Heng

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

IntuiTF: MLLM-Guided Transfer Function Optimization for Direct Volume Rendering

Yiyao Wang, Bo Pan, Ke Wang, Han Liu, Jinyuan Mao, Yuxin Liu, Minfeng Zhu, Xiuqi Huang, Weifeng Chen, Bo Zhang, Wei Chen

机构 * State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD与CG国家重点实验室） ； Laboratory of Art and Archaeology Image (Zhejiang University), Ministry of Education, China（浙江大学艺术与考古图像实验室（教育部，中国）） ； Zhejiang University of Finance&Economics（浙江财经大学） ； Zhejiang University（浙江大学） 纠错

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

CAREL: Instruction-guided reinforcement learning with cross-modal auxiliary objectives

Armin Saghafian, Amirmohammad Izadi, Negin Hashemi Dijujin, Mahdieh Soleymani Baghshah

机构 * Sharif University of Technology（谢里夫理工大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.AI

Comments Accepted to TMLR 2025

Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning

Haoji Zhang, Xin Gu, Jiawen Li, Chixiang Ma, Sule Bai, Chubin Zhang, Bowen Zhang, Zhichao Zhou, Dongliang He, Yansong Tang

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

PhysioSync: Temporal and Cross-Modal Contrastive Learning Inspired by Physiological Synchronization for EEG-Based Emotion Recognition

Kai Cui, Jia Li, Yu Liu, Xuesong Zhang, Zhenzhen Hu, Meng Wang

机构 * School of Instrument Science and Opto-electronics Engineering, Hefei University of Technology（仪器科学与光电工程学院，合肥工业大学） ； School of Computer Science and Information Engineering, Hefei University of Technology（计算机科学与信息工程学院，合肥工业大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

Comments To appear in IEEE TCSS. The source code is publicly available at https://github.com/MSA-LMC/PhysioSync

Towards Agentic AI for Multimodal-Guided Video Object Segmentation

Tuyen Tran, Thao Minh Le, Truyen Tran

机构 * Applied Artificial Intelligence Institute, Deakin University, Australia（应用人工智能研究所，德金大学，澳大利亚） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV

Describe What You See with Multimodal Large Language Models to Enhance Video Recommendations

Marco De Nadai, Andreas Damianou, Mounia Lalmas

机构 * Spotify Denmark（Spotify丹麦分公司） ； Spotify United Kingdom（Spotify英国分公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

A Multimodal Deviation Perceiving Framework for Weakly-Supervised Temporal Forgery Localization

Wenbo Xu, Junyan Wu, Wei Lu, Xiangyang Luo, Qian Wang

机构 * School of Computer Science and Engineering, Sun Yat-sen University（计算机科学与工程学院，中山大学） ； State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室） ； School of Cyber Science and Engineering, Wuhan University（网络科学与工程学院，武汉大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

Comments 9 pages, 3 figures,conference

Cross-Modal State-Space Graph Reasoning for Structured Summarization

Hannah Kim, Sofia Martinez, Jason Lee

专题命中 视频多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CL

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship and affiliation

Attention-Driven Multimodal Alignment for Long-term Action Quality Assessment

Xin Wang, Peng-Jie Li, Yuan-Yuan Shen

机构 * School of Sport Engineering, Beijing Sport University（体育工程学院，北京体育大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

Comments Accepted to Applied Soft Computing

DynImg: Key Frames with Visual Prompts are Good Representation for Multi-Modal Video Understanding

Xiaoyi Bao, Chenwei Xie, Hao Tang, Tingyu Weng, Xiaofeng Wang, Yun Zheng, Xingang Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Alibaba Group（阿里巴巴集团） ； Peking University（北京大学） ； Luoyang Institute for Robot and Intelligent Equipment（洛阳机器人与智能装备研究所） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted by ICCV 2025

How Far Can Off-the-Shelf Multimodal Large Language Models Go in Online Episodic Memory Question Answering?

Giuseppe Lando, Rosario Forte, Giovanni Maria Farinella, Antonino Furnari

机构 * Department of Mathematics and Computer Science（数学与计算机科学系） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

MF2Summ: Multimodal Fusion for Video Summarization with Temporal Alignment

Shuo wang, Jihao Zhang

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

CINeMA: Conditional Implicit Neural Multi-Modal Atlas for a Spatio-Temporal Representation of the Perinatal Brain

Maik Dannecker, Vasiliki Sideri-Lampretsa, Sophie Starck, Angeline Mihailov, Mathieu Milh, Nadine Girard, Guillaume Auzias, Daniel Rueckert

机构 * School of Computation, Information and Technology, and the School of Medicine and Health（计算信息学院及医学健康学院） ； Technical University of Munich（慕尼黑技术大学） ； Department of Computing（计算系） ； Institut de Neurosciences de la Timone, UMR 7289, CNRS, Aix-Marseille Université（神经科学研究所，UMR 7289，CNRS，艾克斯-马赛大学） ； Aix-Marseille Univ, APHM, Service de Neuroradiologie Diagnostique et Interventionnelle, Hôpital de la Timone（艾克斯-马赛大学，APHM，诊断与介入神经放射科，泰米翁医院） ； Aix-Marseille Univ, APHM, service de neurologie pédiatrique, Hôpital de la Timone（艾克斯-马赛大学，APHM，儿童神经科，泰米翁医院） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

Comments Work currently under revision for IEEE TMI

Enhancing Video Memorability Prediction with Text-Motion Cross-modal Contrastive Loss and Its Application in Video Summarization

Zhiyi Zhu, Xiaoyu Wu, Youwei Lu

机构 * Department of Information and Communication Engineering（信息与通信工程系） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV