多模态大模型

Mixup Helps Understanding Multimodal Video Better

Xiaoyu Ma, Ding Ding, Hao Chen

机构 * School of Computer Science and Engineering, Southeast University, Nanjing, China（计算机科学与工程学院，东南大学，南京，中国） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其跨学科应用关键实验室（东南大学），教育部，中国） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

MultiCOIN: Multi-Modal COntrollable Video INbetweening

Maham Tanveer, Yang Zhou, Simon Niklaus, Ali Mahdavi Amiri, Hao Zhang, Krishna Kumar Singh, Nanxuan Zhao

机构 * Simon Fraser University（西蒙弗雷泽大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

Comments Project website: https://multicoinx.github.io/multicoin/

CFVBench: A Comprehensive Video Benchmark for Fine-grained Multimodal Retrieval-Augmented Generation

Kaiwen Wei, Xiao Liu, Jie Zhang, Zijian Wang, Ruida Liu, Yuming Yang, Xin Xiao, Xiao Sun, Haoyang Zeng, Changzai Pan, Yidan Zhang, Jiang Zhong, Peijin Wang, Yingchao Feng

机构 * Chongqing University（重庆大学） ； Independent Researcher（独立研究者） ； University of the Chinese Academy of Sciences（中国科学院大学） ； Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航天信息研究所） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL

UniMMVSR: A Unified Multi-Modal Framework for Cascaded Video Super-Resolution

Shian Du, Menghan Xia, Chang Liu, Quande Liu, Xintao Wang, Pengfei Wan, Xiangyang Ji

机构 * Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

MotionSight: Boosting Fine-Grained Motion Understanding in Multimodal LLMs

Yipeng Du, Tiehan Fan, Kepan Nan, Rui Xie, Penghao Zhou, Xiang Li, Jian Yang, Zhenheng Yang, Ying Tai

机构 * Nanjing University（南京大学） ； ByteDance（字节跳动） ； Nankai University（南开大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

Leveraging Foundation Models for Multimodal Graph-Based Action Recognition

Fatemeh Ziaeetabar, Florentin Wörgötter

机构 * School of Mathematics, Statistics and Computer Science, College of Science, University of Tehran（数学、统计与计算机科学学院，科学学院，塔里斯坦大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

Interactive Test-Time Adaptation with Reliable Spatial-Temporal Voxels for Multi-Modal Segmentation

Haozhi Cao, Yuecong Xu, Pengyu Yin, Xingyu Ji, Shenghai Yuan, Jianfei Yang, Lihua Xie

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

MultiModal Action Conditioned Video Generation

Yichen Li, Antonio Torralba

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

Toward Foundational Model for Sleep Analysis Using a Multimodal Hybrid Self-Supervised Learning Framework

Cheol-Hui Lee, Hakseung Kim, Byung C. Yoon, Dong-Joo Kim

机构 * Department of Brain and Cognitive Engineering, Korea University（脑科学与认知工程系，韩国大学） ； Interdisciplinary Program in Precision Public Health, Korea University（精准公共卫生跨学科项目，韩国大学） ； Department of Radiology, Stanford University School of Medicine（放射科，斯坦福大学医学院） ； VA Palo Alto Health Care System（帕洛阿尔托医疗系统） ； Department of Neurology, Korea University College of Medicine（神经病学系，韩国大学医学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

Comments 18 pages, 5 figures

Journal ref IEEE Transactions on Cybernetics (2025)

Multimodal Large Language Models for Bioimage Analysis

Shanghang Zhang, Gaole Dai, Tiejun Huang, Jianxu Chen

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

Enhancing Live Broadcast Engagement: A Multi-modal Approach to Short Video Recommendations Using MMGCN and User Preferences

Saeid Aghasoleymani Najafabadi, Elaheh Nabavi Nia

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.AI

OmniScene: Attention-Augmented Multimodal 4D Scene Understanding for Autonomous Driving

Pei Liu, Hongliang Lu, Haichao Liu, Haipeng Liu, Xin Liu, Ruoyu Yao, Shengbo Eben Li, Jun Ma

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Li Auto Inc. ； the School of Vehicle and Mobility, Tsinghua University（清华大学车辆与移动系统学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

Multimodal AI predicts clinical outcomes of drug combinations from preclinical data

Yepeng Huang, Xiaorui Su, Varun Ullanat, Intae Moon, Ivy Liang, Lindsay Clegg, Damilola Olabode, Ruthie Johnson, Nicholas Ho, Megan Gibbs, Megan Gibbs, Alexander Gusev, Bino John, Marinka Zitnik

机构 * Harvard Medical School（哈佛医学院） ； Harvard College（哈佛学院） ； AstraZeneca（阿斯利康） ； Carnegie Mellon University（卡内基梅隆大学） ； Dana-Farber Cancer Institute and Harvard Medical School（达纳-法伯癌症研究所和哈佛医学院） ； Harvard University（哈佛大学） ； Broad Institute of MIT and Harvard（MIT和哈佛大学 Broad研究所） ； Harvard Data Science Initiative（哈佛数据科学计划） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

STORM: Token-Efficient Long Video Understanding for Multimodal LLMs

Jindong Jiang, Xiuyu Li, Zhijian Liu, Muyang Li, Guo Chen, Zhiqi Li, De-An Huang, Guilin Liu, Zhiding Yu, Kurt Keutzer, Sungjin Ahn, Jan Kautz, Hongxu Yin, Yao Lu, Song Han, Wonmin Byeon

机构 * NVIDIA（英伟达） ； Rutgers University（罗格斯大学） ； UC Berkeley（加州大学伯克利分校） ； MIT（麻省理工学院） ； Nanjing University（南京大学） ； KAIST（韩国科学技术院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

RCTDistill: Cross-Modal Knowledge Distillation Framework for Radar-Camera 3D Object Detection with Temporal Fusion

Geonho Bang, Minjae Seong, Jisong Kim, Geunju Baek, Daye Oh, Junhyung Kim, Junho Koh, Jun Won Choi

机构 * Seoul National University（首尔国立大学） ； Hanyang University（翰阳大学） ； Hyundai Motor Company（现代汽车公司） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

Comments Accepted at ICCV 2025

Show-o2: Improved Native Unified Multimodal Models

Jinheng Xie, Zhenheng Yang, Mike Zheng Shou

机构 * Show Lab, National University of Singapore（新加坡国立大学Show实验室） ； ByteDance（字节跳动） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

Comments NeurIPS 2025. (v3: update to include video understanding, OneIG, and more ablation study results)

Exploring multimodal implicit behavior learning for vehicle navigation in simulated cities

Eric Aislan Antonelo, Gustavo Claudio Karl Couto, Christian Möller

机构 * Systems Engineering Department, Federal University of Santa Catarina, Florianopolis, Brazil Faculty of Science ； Engineering, Information Technology Åbo Akademi University, Finland 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

Comments ENIAC conference

Depth AnyEvent: A Cross-Modal Distillation Paradigm for Event-Based Monocular Depth Estimation

Luca Bartolomei, Enrico Mannocci, Fabio Tosi, Matteo Poggi, Stefano Mattoccia

机构 * Advanced Research Center on Electronic System (ARCES)（电子系统先进研究中心） ； Department of Computer Science and Engineering (DISI)（计算机科学与工程系） ； University of Bologna（博洛尼亚大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

Comments ICCV 2025. Code: https://github.com/bartn8/depthanyevent/ Project Page: https://bartn8.github.io/depthanyevent/

Multimodal Hate Detection Using Dual-Stream Graph Neural Networks

Jiangbei Yue, Shuonan Yang, Tailin Chen, Jianbo Jiao, Zeyu Fu

机构 * Multimodal Intelligence Lab, Department of Computer Science University of Exeter Exeter, UK（埃克塞特大学计算机科学系多模态智能实验室） ； School of Computer Science University of Birmingham Birmingham, UK（伯明翰大学计算机科学学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

Agentic Temporal Graph of Reasoning with Multimodal Language Models: A Potential AI Aid to Healthcare

Susanta Mitra

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

Why Bonds Fail Differently? Explainable Multimodal Learning for Multi-Class Default Prediction

Yi Lu, Aifan Ling, Chaoqun Wang, Yaxin Xu

机构 * School of Economics and Finance, Shanghai International Studies University（经济金融学院，上海国际问题研究大学） ； School of AI and Advanced Computing, Xi’an Jiaotong-Liverpool University（人工智能与先进计算学院，西安交通大学利物浦大学） ； School of Foreign Studies, Shanghai University of Finance and Economics（外国语言学院，上海金融学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL

Memory-Anchored Multimodal Reasoning for Explainable Video Forensics

Chen Chen, Runze Li, Zejun Zhang, Pukun Zhao, Fanqing Zhou, Longxiang Wang, Haojian Huang

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.MM

Leveraging Generic Foundation Models for Multimodal Surgical Data Analysis

Simon Pezold, Jérôme A. Kurylec, Jan S. Liechti, Beat P. Müller, Joël L. Lavanchy

机构 * Department of Biomedical Engineering, University of Basel, Allschwil, Switzerland（巴塞尔大学生物医学工程系） ； Clarunis – University Digestive Health Care Center Basel, Basel, Switzerland（Clarunis – 巴塞尔大学消化健康医疗中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

Comments 13 pages, 3 figures; accepted at ML-CDS @ MICCAI 2025, Daejeon, Republic of Korea

Phantom-Insight: Adaptive Multi-cue Fusion for Video Camouflaged Object Detection with Multimodal LLM

Hua Zhang, Changjiang Luo, Ruoyu Chen

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） 纠错

专题命中 视频多模态 ：multimodal(title)；MLLM(abstract)；分类 cs.CV

MeanFlow-Accelerated Multimodal Video-to-Audio Synthesis via One-Step Generation

Xiaoran Yang, Jianxuan Yang, Xinyue Guo, Haoyu Wang, Ningning Pan, Gongping Huang

机构 * School of Electronic Information, Wuhan University, Wuhan, China（武汉大学电子信息学院） ； MiLM Plus, Xiaomi Inc., Wuhan, China（小米公司MiLM Plus团队） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

MMoE: Robust Spoiler Detection with Multi-modal Information and Domain-aware Mixture-of-Experts

Zinan Zeng, Sen Ye, Zijian Cai, Heng Wang, Yuhan Liu, Haokai Zhang, Minnan Luo

机构 * Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.AI

PixFoundation 2.0: Do Video Multi-Modal LLMs Use Motion in Visual Grounding?

Mennatullah Siam

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

Comments Work under review in NeurIPS 2025 with the title "Are we using Motion in Referring Segmentation? A Motion-Centric Evaluation"

Conformal Predictive Monitoring for Multi-Modal Scenarios

Francesca Cairoli, Luca Bortolussi, Jyotirmoy V. Deshmukh, Lars Lindemann, Nicola Paoletti

机构 * University of Trieste, Trieste, Italy（特里埃斯特大学） ； University of Southern California, Los Angeles, California（南加州大学） ； King's College London, London, United Kingdom（伦敦国王学院） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.AI

LvBench: A Benchmark for Long-form Video Understanding with Versatile Multi-modal Question Answering

Hongjie Zhang, Lu Dong, Yi Liu, Yifei Huang, Yali Wang, Limin Wang, Yu Qiao

机构 * OpenGVLab, Shanghai AI Laboratory, China（OpenGVLab，上海人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） ； Honor Device Co.,Ltd（荣耀设备有限公司） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院） ； Nanjing University（南京大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

Enhancing Cryptocurrency Sentiment Analysis with Multimodal Features

Chenghao Liu, Aniket Mahanti, Ranesh Naha, Guanghao Wang, Erwann Sbai

机构 * Department of Computer Science, The University of Auckland（计算机科学系，奥克兰大学） ； School of Information Systems, Queensland University of Technology（信息系统学院，昆士兰技术大学） ； Department of Economics, The University of Auckland（经济学系，奥克兰大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL