多模态大模型

Q2E: Query-to-Event Decomposition for Zero-Shot Multilingual Text-to-Video Retrieval

Shubhashis Roy Dipta, Francis Ferraro

机构 * Department of Computer Science and Electrical Engineering University of Maryland Baltimore County（计算机科学与电气工程系马里兰大学巴尔的摩县） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

Comments Accepted in IJCNLP-AACL 2025 (also presented in MAGMAR 2025 at ACL 2025)

Survey of Action Recognition, Spotting and Spatio-Temporal Localization in Soccer -- Current Trends and Research Perspectives

Karolina Seweryn, Anna Wróblewska, Szymon Łukasik

机构 * NASK - National Research Institute（国家研究 institute） ； Faculty of Mathematics and Information Science, Warsaw University of Technology（数学与信息科学学院，华沙技术大学） ； Faculty of Physics and Applied Computer Science, AGH University of Science and Technology（物理与应用计算机科学学院，AGH科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

Journal ref ACM Transactions on Intelligent Systems and Technology (2025)

Large Sign Language Models: Toward 3D American Sign Language Translation

Sen Zhang, Xiaoxiao He, Di Liu, Zhaoyang Xia, Mingyu Zhao, Chaowei Tan, Vivian Li, Bo Liu, Dimitris N. Metaxas, Mubbasir Kapadia

机构 * Rutgers University（罗格斯大学） ； Meta Reality Labs（Meta现实实验室） ； Qualcomm（高通公司） ； Walmart Global Tech（沃尔玛全球技术） ； Roblox ； PRISMS 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

UniPixel: Unified Object Referring and Segmentation for Pixel-Level Visual Reasoning

Ye Liu, Zongyang Ma, Junfu Pu, Zhongang Qi, Yang Wu, Ying Shan, Chang Wen Chen

机构 * The Hong Kong Polytechnic University（香港理工大学） ； ARC Lab, Tencent PCG（腾讯PCG ARC实验室） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； vivo Mobile Communication Co.（vivo移动通信公司） ； MindWingman Technology (Shenzhen) Co., Ltd.（深圳MindWingman技术有限公司） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

Comments NeurIPS 2025 Camera Ready. Project Page: https://polyu-chenlab.github.io/unipixel/

TimeSense:Making Large Language Models Proficient in Time-Series Analysis

Zhirui Zhang, Changhua Pei, Tianyi Gao, Zhe Xie, Yibo Hao, Zhaoyang Yu, Longlong Xu, Tong Xiao, Jing Han, Dan Pei

机构 * Tsinghua University（清华大学） ； Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； ZTE Corporation（中兴通讯） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

Video Flow as Time Series: Discovering Temporal Consistency and Variability for VideoQA

Zijie Song, Zhenzhen Hu, Yixiao Ma, Jia Li, Richang Hong

机构 * Hefei University of Technology, Hefei, China（合肥工业大学） ； University of Science and Technology of China, Hefei, China（中国科学技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

Semantic Frame Aggregation-based Transformer for Live Video Comment Generation

Anam Fatima, Yi Yu, Janak Kapuriya, Julien Lalanne, Jainendra Shukla

机构 * IIIT-Delhi, India（德里印度理工学院） ； Grenoble INP – Ensimag, France（法国格勒诺布尔INP–Ensimag） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

Modelling the Interplay of Eye-Tracking Temporal Dynamics and Personality for Emotion Detection in Face-to-Face Settings

Meisam J. Seikavandi, Jostein Fimland, Fabricio Batista Narcizo, Maria Barrett, Ted Vucurevich, Jesper Bünsow Boldt, Andrew Burke Dittberner, Paolo Burelli

机构 * brAIn Lab, IT University of Copenhagen（brAIn实验室，丹麦技术大学） ； GN Advanced Science（GN先进科学） ； IT University of Copenhagen（丹麦技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

NUM2EVENT: Interpretable Event Reasoning from Numerical time-series

Ninghui Feng, Yiyan Qi

机构 * International Digital Economy Academy (IDEA)（国际数字经济学院（IDEA）） ； University of Nottingham Ningbo（诺丁汉大学宁波校区） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

Personal Care Utility (PCU): Building the Health Infrastructure for Everyday Insight and Guidance

Mahyar Abbasian, Ramesh Jain

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

Comments 22 pages, 2 figures, 1 table, Journal paper

SITS-DECO: A Generative Decoder Is All You Need For Multitask Satellite Image Time Series Modelling

Samuel J. Barrett, Docko Sow

机构 * LGND AI ； Tolbi 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

Comments 27 pages, 7 figures

Action Quality Assessment via Hierarchical Pose-guided Multi-stage Contrastive Regression

Mengshi Qi, Hao Ye, Jiaxuan Peng, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, China（网络与交换技术国家重点实验室，北京邮电大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

Natural Language Processing for Cardiology: A Narrative Review

Kailai Yang, Yan Leng, Xin Zhang, Tianlin Zhang, Paul Thompson, Bernard Keavney, Maciej Tomaszewski, Sophia Ananiadou

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

RefAtomNet++: Advancing Referring Atomic Video Action Recognition using Semantic Retrieval based Multi-Trajectory Mamba

Kunyu Peng, Di Wen, Jia Fu, Jiamin Wu, Kailun Yang, Junwei Zheng, Ruiping Liu, Yufan Chen, Yuqian Fu, Danda Pani Paudel, Luc Van Gool, Rainer Stiefelhagen

机构 * Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（人机化研究所，卡尔斯鲁厄技术大学） ； RISE Research Institutes of Sweden（瑞典RISE研究机构） ； KTH Royal Institute of Technology（皇家理工学院） ； School of Artificial Intelligence and Robotics（人工智能与机器人学院） ； National Engineering Research Center of Robot Visual Perception and Control Technology（机器人视觉感知与控制技术国家工程研究中心） ； Chinese University of Hong Kong（香港中文大学） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.MM

Comments Extended version of ECCV 2024 paper arXiv:2407.01872. The dataset and code are released at https://github.com/KPeng9510/refAVA2

Fact-R1: Towards Explainable Video Misinformation Detection with Deep Reasoning

Fanrui Zhang, Dian Li, Qiang Zhang, Jun Chen, Gang Liu, Junxiong Lin, Jiahong Yan, Jiawei Liu, Zheng-Jun Zha

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, USTC（脑启发智能感知与认知国家重点实验室，中国科学技术大学） ； Shanghai Innovation Institute（上海创新研究院） ； Tencent QQ（腾讯QQ） ； Fudan University（复旦大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments 34 pages, 25 figures

NinA: Normalizing Flows in Action. Training VLA Models with Normalizing Flows

Denis Tarasov, Alexander Nikulin, Ilya Zisman, Albina Klepach, Nikita Lyubaykin, Andrei Polubarov, Alexander Derevyagin, Vladislav Kurenkov

机构 * ETH Zürich（苏黎世联邦理工学院） ； MIPT（莫斯科国立信息安全大学） ； Skoltech（斯克里普斯基技术大学） ； Innopolis University（因诺波利斯大学） ； HSE（俄罗斯高等经济学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments https://github.com/dunnolab/NinA/

A Comprehensive Survey of Mamba Architectures for Medical Image Analysis: Classification, Segmentation, Restoration and Beyond

Shubhi Bansal, Sreeharish A, Madhava Prasath J, Manikandan S, Sreekanth Madisetty, Mohammad Zia Ur Rehman, Chandravardhan Singh Raghaw, Gaurav Duggal, Nagendra Kumar

机构 * Indian Institute of Technology Indore, India ； R.M.D. Engineering College, Kavaraipettai, India ； Jio Platforms Limited, India ； Birla Institute of Technology \& Science Pilani, India 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

Towards Safer and Understandable Driver Intention Prediction

Mukilan Karuppasamy, Shankar Gangisetty, Shyam Nandan Rai, Carlo Masone, C V Jawahar

机构 * IIIT Hyderabad（海得拉巴印度理工学院） ； Politecnico di Torino（托里诺理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments 10 pages

TRAVL: A Recipe for Making Video-Language Models Better Judges of Physics Implausibility

Saman Motamed, Minghao Chen, Luc Van Gool, Iro Laina

机构 * Visual Geometry Group, University of Oxford（视觉几何组，牛津大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

Stacked Regression using Off-the-shelf, Stimulus-tuned and Fine-tuned Neural Networks for Predicting fMRI Brain Responses to Movies (Algonauts 2025 Report)

Robert Scholz, Kunal Bagga, Christine Ahrends, Carlo Alberto Barbano

机构 * Université Paris Cité（巴黎Cité大学） ； University of Oxford（牛津大学） ； University of Turin（都灵大学） ； Universität Leipzig（莱比锡大学） ； Max Planck School of Cognition（马克斯·普朗克认知科学学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

When Thinking Drifts: Evidential Grounding for Robust Video Reasoning

Mi Luo, Zihui Xue, Alex Dimakis, Kristen Grauman

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； UC Berkeley（伯克利大学） ； Bespoke Labs（Bespoke实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments Accepted by NeurIPS 2025, Project page: https://vision.cs.utexas.edu/projects/video-ver/

VideoMiner: Iteratively Grounding Key Frames of Hour-Long Videos via Tree-based Group Relative Policy Optimization

Xinye Cao, Hongcan Guo, Jiawen Qian, Guoshun Nan, Chao Wang, Yuqi Pan, Tianhao Hou, Xiaojuan Wang, Yutong Gao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Minzu University of China（民族大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

Comments Accepted by ICCV 2025

Visual Representations inside the Language Model

Benlin Liu, Amita Kamath, Madeleine Grunde-McLaughlin, Winson Han, Ranjay Krishna

机构 * University of Washington（华盛顿大学） ； University of California Los Angeles（加州大学洛杉矶分校） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

Comments Accepted to COLM 2025

An Experimental Study on Generating Plausible Textual Explanations for Video Summarization

Thomas Eleftheriadis, Evlampios Apostolidis, Vasileios Mezaris

机构 * IEEE CBMI 2025 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments IEEE CBMI 2025. This is the authors' accepted version. The final publication is available at https://ieeexplore.ieee.org/

HumanVideo-MME: Benchmarking MLLMs for Human-Centric Video Understanding

Yuxuan Cai, Jiangning Zhang, Zhenye Gan, Qingdong He, Xiaobin Hu, Junwei Zhu, Yabiao Wang, Chengjie Wang, Zhucun Xue, Chaoyou Fu, Xinwei He, Xiang Bai

机构 * Fantasyele 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments Under review

VidBridge-R1: Bridging QA and Captioning for RL-based Video Understanding Models with Intermediate Proxy Tasks

Xinlong Chen, Yuanxing Zhang, Yushuo Guan, Weihong Lin, Zekun Wang, Bohan Zeng, Yang Shi, Sihan Yang, Qiang Liu, Pengfei Wan, Liang Wang, Tieniu Tan

机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所模式识别实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； Peking University（北京大学） ； Nanjing University（南京大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

Joint Flow Trajectory Optimization For Feasible Robot Motion Generation from Video Demonstrations

Xiaoxiang Dong, Matthew Johnson-Roberson, Weiming Zhi

机构 * College of Connected Computing, Vanderbilt University（连接计算学院，范德比尔特大学） ； Robotics Institute, Carnegie Mellon University（机器人研究所，卡内基梅隆大学） ； School of Computer Science, The University of Sydney（计算机科学学院，悉尼大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AHA -- Predicting What Matters Next: Online Highlight Detection Without Looking Ahead

Aiden Chang, Celso De Melo, Stephanie M. Lukin

机构 * University of Southern California（南加州大学） ； DEVCOM Army Research Laboratory（陆军研究实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments Accepted at NeurIPS 2025, 32 pages, 5 figures

THCM-CAL: Temporal-Hierarchical Causal Modelling with Conformal Calibration for Clinical Risk Prediction

Xin Zhang, Qiyu Wei, Yingjie Zhu, Fanyi Wu, Sophia Ananiadou

机构 * The University of Manchester（曼彻斯特大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

Comments Accepted at EMNLP 2025

AvatarShield: Visual Reinforcement Learning for Human-Centric Synthetic Video Detection

Zhipei Xu, Xuanyu Zhang, Qing Huang, Xing Zhou, Jian Zhang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI