多模态大模型

Talk2Event: Grounded Understanding of Dynamic Scenes from Event Cameras

Lingdong Kong, Dongyue Lu, Ao Liang, Rong Li, Yuhao Dong, Tianshuai Hu, Lai Xing Ng, Wei Tsang Ooi, Benoit R. Cottereau

机构 * NUS（新加坡国立大学） ； HKUST(GZ)（香港科技大学（广州）） ； NTU（南洋理工大学） ； HKUST（香港科技大学） ； I 2 R, A*STAR（I2R, A*STAR） ； IPAL, CNRS IRL 2955, Singapore（IPAL, CNRS IRL 2955, 新加坡） ； CerCo, CNRS UMR 5549, Université Toulouse III（CerCo, CNRS UMR 5549, 法国图卢兹第三大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Comments NeurIPS 2025 Spotlight; 43 pages, 17 figures, 16 tables; Project Page at https://talk2event.github.io

UniLION: Towards Unified Autonomous Driving Model with Linear Group RNNs

Zhe Liu, Jinghua Hou, Xiaoqing Ye, Jingdong Wang, Hengshuang Zhao, Xiang Bai

机构 * School of Electronic Information and Communications, Huazhong University of Science and Technology (HUST), Wuhan, China（华中科技大学电子信息与通信学院） ； School of Software Engineering, Huazhong University of Science and Technology (HUST), Wuhan, China（华中科技大学软件工程学院） ； Department of Computer Science, The University of Hong Kong, Hong Kong (HKU) SAR, China（香港大学计算机系） ； Baidu Inc., Beijing, China（百度公司） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

Habitat and Land Cover Change Detection in Alpine Protected Areas: A Comparison of AI Architectures

Harald Kristen, Daniel Kulmer, Manuela Hirschmugl

机构 * University of Graz（格拉茨大学） ； Joanneum Research（乔安姆研究） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

THFlow: A Temporally Hierarchical Flow Matching Framework for 3D Peptide Design

Dengdeng Huang, Shikui Tu

机构 * School of Computer Science Shanghai Jiao Tong University Shanghai, China（计算机科学学院 上海交通大学 上海中国） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

Toward Accurate Long-Horizon Robotic Manipulation: Language-to-Action with Foundation Models via Scene Graphs

Sushil Samuel Dinesh, Shinkyu Park

机构 * Department of Electrical and Computer Engineering, King Abdullah University of Science and Technology (KAUST)（电气与计算机工程系，国王 Abdullah 科学与技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

PROFIT: A Specialized Optimizer for Deep Fine Tuning

Anirudh S Chakravarthy, Shuai Kyle Zheng, Xin Huang, Sachithra Hemachandra, Xiao Zhang, Yuning Chai, Zhao Chen

机构 * GM Cruise LLC 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Comments technical report, 23 pages, NeurIPS 2025 poster

Enhancing Temporal Understanding in Video-LLMs through Stacked Temporal Attention in Vision Encoders

Ali Rasekh, Erfan Bagheri Soula, Omid Daliran, Simon Gottschalk, Mohsen Fayyaz

机构 * Leibniz University Hannover（莱比锡大学汉诺威分校） ； L3S Research Center（L3S研究中心） ； Microsoft（微软公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Comments Accepted to NeurIPS 2025

Signal-SGN: A Spiking Graph Convolutional Network for Skeletal Action Recognition via Learning Temporal-Frequency Dynamics

Naichuan Zheng, Yuchen Du, Hailun Xia, Zeyu Liang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Journal ref Proceedings of the 33rd ACM International Conference on Multimedia, 2025

VIRAL: Vision-grounded Integration for Reward design And Learning

Valentin Cuzin-Rambaud, Emilien Komlenovic, Alexandre Faure, Bruno Yun

机构 * Université Claude Bernard Lyon 1（克莱尔伯恩大学里昂1分校） ； CNRS（国家科学研究中心） ； Ecole Centrale de Lyon（里昂中央理工学院） ； INSA Lyon（里昂工业高等学院） ； Université Lumière Lyon 2（里昂2大学卢米埃尔分校） ； LIRIS（图像研究所） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.AI

EgoThinker: Unveiling Egocentric Reasoning with Spatio-Temporal CoT

Baoqi Pei, Yifei Huang, Jilan Xu, Yuping He, Guo Chen, Fei Wu, Yu Qiao, Jiangmiao Pang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； The University of Tokyo（东京大学） ； Fudan University（复旦大学） ； Nanjing University（南京大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Comments Accepted at NeurIPS 2025

Video-Thinker: Sparking "Thinking with Videos" via Reinforcement Learning

Shijian Wang, Jiarui Jin, Xingjian Wang, Linxin Song, Runhao Fu, Hecheng Wang, Zongyuan Ge, Yuan Lu, Xuelian Cheng

机构 * Southeast University（东南大学） ； Monash University（墨尔本大学） ； Xiaohongshu Inc.（小红书公司） ； University of Southern California（南加州大学） ； Fudan University（复旦大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

VideoTG-R1: Boosting Video Temporal Grounding via Curriculum Reinforcement Learning on Reflected Boundary Annotations

Lu Dong, Haiyu Zhang, Han Lin, Ziang Yan, Xiangyu Zeng, Hongjie Zhang, Yifei Huang, Yi Wang, Zhen-Hua Ling, Limin Wang, Yali Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Beihang University（北京航空航天大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

A Video Is Not Worth a Thousand Words

Sam Pollard, Michael Wray

机构 * University of Bristol（布里斯托大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

Gaze into the Heart: A Multi-View Video Dataset for rPPG and Health Biomarkers Estimation

Konstantin Egorov, Stepan Botman, Pavel Blinov, Galina Zubkova, Anton Ivaschenko, Alexander Kolsanov, Andrey Savchenko

机构 * Sber AI Lab（Sber AI实验室） ； Samara State Medical University（萨马拉州医学大学） ； ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息与通信技术研究所可信人工智能研究中心） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Comments Accepted to ACMMM 2025, Datasets track

SPAN: Continuous Modeling of Suspicion Progression for Temporal Intention Localization

Xinyi Hu, Yuran Wang, Ruixu Zhang, Yue Li, Wenxuan Liu, Zheng Wang

机构 * National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, School of Computer Science（多媒体软件国家工程研究中心、人工智能研究院、计算机科学学院） ； Hubei Key Laboratory of Multimedia and Network Communication Engineering（多媒体与网络通信工程湖北省重点实验室） ； School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； Tsinghua University（清华大学） ； School of Computer Science, Peking University（北京大学计算机科学学院） ； State Key Laboratory for Multimedia Information Processing, Peking University（多媒体信息处理国家重点实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Text-conditioned State Space Model For Domain-generalized Change Detection Visual Question Answering

Elman Ghazaei, Erchan Aptoula

机构 * Faculty of Engineering and Natural Sciences (VPALab)（工程与自然科学学院（VPALab）） ； Sabanci University（萨班奇大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

SAMA: Towards Multi-Turn Referential Grounded Video Chat with Large Language Models

Ye Sun, Hao Zhang, Henghui Ding, Tiehua Zhang, Xingjun Ma, Yu-Gang Jiang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Comments NeurIPS 2025

ESCORT: Efficient Stein-variational and Sliced Consistency-Optimized Temporal Belief Representation for POMDPs

Yunuo Zhang, Baiting Luo, Ayan Mukhopadhyay, Gabor Karsai, Abhishek Dubey

机构 * Vanderbilt University（范德比大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.AI

Comments Proceeding of the 39th Conference on Neural Information Processing Systems (NeurIPS'25). Code would be available at https://github.com/scope-lab-vu/ESCORT

Generative Point Tracking with Flow Matching

Mattie Tesfaldet, Adam W. Harley, Konstantinos G. Derpanis, Derek Nowrouzezahrai, Christopher Pal

机构 * McGill University（麦吉尔大学） ； Mila ； Stanford University（斯坦福大学） ； York University（约克大学） ； Polytechnique Montréal（蒙特利尔理工学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

Comments Project page: https://mtesfaldet.net/genpt_projpage/

Fusing Narrative Semantics for Financial Volatility Forecasting

Yaxuan Kong, Yoontae Hwang, Marcus Kaiser, Chris Vryonides, Roel Oomen, Stefan Zohren

机构 * University of Oxford（牛津大学） ； Pusan National University（釜山国立大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.AI

Comments The 6th ACM International Conference on AI in Finance (ICAIF 2025)

Can You Trust What You See? Alpha Channel No-Box Attacks on Video Object Detection

Ariana Yi, Ce Zhou, Liyang Xiao, Qiben Yan

机构 * Mission San Jose High School（Mission San Jose 高中） ； Missouri University of Science and Technology（密苏里科学与技术大学） ； Michigan State University（密歇根州立大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

HAD: Hierarchical Asymmetric Distillation to Bridge Spatio-Temporal Gaps in Event-Based Object Tracking

Yao Deng, Xian Zhong, Wenxuan Liu, Zhaofei Yu, Jingling Yuan, Tiejun Huang

机构 * Sanya Science and Education Innovation Park, Wuhan University of Technology（武汉理工大学三亚科学教育创新园） ； Hubei Key Laboratory of Transportation Internet of Things, School of Computer Science and Artificial Intelligence, Wuhan University of Technology（湖北省交通运输物联网重点实验室，计算机科学与人工智能学院，武汉理工大学） ； State Key Laboratory for Multimedia Information Processing, Peking University（多媒体信息处理国家重点实验室，北京大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

Video-R1: Reinforcing Video Reasoning in MLLMs

Kaituo Feng, Kaixiong Gong, Bohao Li, Zonghao Guo, Yibing Wang, Tianshuo Peng, Junfei Wu, Xiaoying Zhang, Benyou Wang, Xiangyu Yue

机构 * CUHK MMLab（香港中文大学多模态实验室） ； CUHK (SZ)（香港中文大学（深圳）） ； Tsinghua University（清华大学） ； UCAS（中国科学院大学） ； CUHK HCCL（香港中文大学高性能计算实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Comments NeurIPS 2025, Project page: https://github.com/tulerfeng/Video-R1

IF-VidCap: Can Video Caption Models Follow Instructions?

Shihao Li, Yuanxing Zhang, Jiangtao Wu, Zhide Lei, Yiwen He, Runzhe Wen, Chenxi Liao, Chengkang Jiang, An Ping, Shuo Gao, Suhan Wang, Zhaozhou Bian, Zijun Zhou, Jingyi Xie, Jiayi Zhou, Jing Wang, Yifan Yao, Weihao Xie, Yingshui Tan, Yanghai Wang, Qianqian Xie, Zhaoxiang Zhang, Jiaheng Liu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Comments https://github.com/NJU-LINK/IF-VidCap

VLA-Cache: Efficient Vision-Language-Action Manipulation via Adaptive Token Caching

Siyu Xu, Yunke Wang, Chenghao Xia, Dihao Zhu, Tao Huang, Chang Xu

机构 * School of Computer Science, University of Sydney（悉尼大学计算机科学学院） ； John Hopcropt Center for Computer Science, Shanghai Jiao Tong University（上海交通大学约翰·霍普克罗夫特计算机科学中心） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

Comments Accepted to NeurIPS 2025

Closed-Loop Transfer for Weakly-supervised Affordance Grounding

Jiajin Tang, Zhengxuan Wei, Ge Zheng, Sibei Yang

机构 * ShanghaiTech University（上海科技大学） ； School of Computer Science and Engineering（计算机科学与工程学院） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

Comments Accepted at ICCV 2025

D2C-HRHR: Discrete Actions with Double Distributional Critics for High-Risk-High-Return Tasks

Jundong Zhang, Yuhui Situ, Fanji Zhang, Rongji Deng, Tianqi Wei

机构 * School of Artificial Intelligence, Sun Yat-sen University（人工智能学院，中山大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

Training-free Online Video Step Grounding

Luca Zanella, Massimiliano Mancini, Yiming Wang, Alessio Tonioni, Elisa Ricci

机构 * University of Trento（特伦托大学） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） ； Google（谷歌） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Comments NeurIPS 2025. Project website at https://lucazanella.github.io/baglm/

RAVEN: Robust Advertisement Video Violation Temporal Grounding via Reinforcement Reasoning

Deyi Ji, Yuekui Yang, Haiyang Wu, Shaoping Ma, Tianrun Chen, Lanyun Zhu

机构 * Tencent（腾讯公司） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Zhejiang University（浙江大学） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

Comments ACL 2025 (Oral, Industry Track)

K-frames: Scene-Driven Any-k Keyframe Selection for long video understanding

Yifeng Yao, Yike Yun, Jing Wang, Huishuai Zhang, Dongyan Zhao, Ke Tian, Zhihao Wang, Minghui Qiu, Tao Wang

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； Bytedance（字节跳动） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI