多模态大模型

Director: Instance-aware Gaussian Splatting for Dynamic Scene Modeling and Understanding

Director: 用于动态场景建模与理解的实例感知高斯点云

Yuheng Jiang, Yiwen Cai, Zihao Wang, Yize Wu, Sicheng Li, Zhuo Su, Shaohui Jiao, Lan Xu

机构 * ShanghaiTech University（上海科技大学） ； ByteDance（字节跳动） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Director通过联合建模人类性能、高保真渲染和实例级语义，实现动态场景的时空高斯表示，提升动态场景理解的稳定性与准确性。

Comments Project page: https://caiyw2023.github.io/Director/

Seeing without Pixels: Perception from Camera Trajectories

无需像素的感知：从相机轨迹进行感知

Zihui Xue, Kristen Grauman, Dima Damen, Andrew Zisserman, Tengda Han

机构 * Google DeepMind（谷歌DeepMind） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文探讨通过相机轨迹而非像素感知视频内容的可能性，提出CamFormer框架，证明轨迹信息能有效用于视频内容理解及多种下游任务。

Comments Accepted by CVPR 2026, Project website: https://sites.google.com/view/seeing-without-pixels

TTA-Vid: Generalized Test-Time Adaptation for Video Reasoning

TTA-Vid: 视频推理的通用测试时间适应

Soumya Shamarao Jahagirdar, Edson Araujo, Anna Kukleva, M. Jehanzeb Mirza, Saurabhchand Bhati, Samuel Thomas, Brian Kingsbury, Rogerio Feris, James R. Glass, Hilde Kuehne

机构 * University of Tübingen（蒂宾根大学） ； MIT（麻省理工学院） ； IBM Research（IBM研究院） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） ； Tuebingen AI Center（蒂宾根人工智能中心） ； Max Planck Institute for Informatics（马克斯·普朗克信息学研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出TTA-Vid方法，通过测试时间强化学习实现视频推理模型的适应，无需标注数据即可在测试时泛化至新领域。

The 1st Winner for 5th PVUW MeViS-Text Challenge: Strong MLLMs Meet SAM3 for Referring Video Object Segmentation

第五届PVUW MeViS-Text挑战赛第一名：强多模态大语言模型与SAM3的结合用于指代视频对象分割

Xusheng He, Canyang Wu, Jinrong Zhang, Weili Guan, Jianlong Wu, Liqiang Nie

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种无需微调的管道，结合强多模态大语言模型与SAM3，实现视频对象分割，取得PVUW 2026 MeViS-Text测试集第一名，得分为0.909064。

Comments 1st Place Solution for the 5th PVUW MeViS-Text Challenge (CVPR 2026 Workshop)

Advancing Complex Video Object Segmentation via Tracking-Enhanced Prompt: The 1st Winner for 5th PVUW MOSE Challenge

通过跟踪增强提示推进复杂视频对象分割：第五届PVUW MOSE挑战赛第一名

Jinrong Zhang, Canyang Wu, Xusheng He, Weili Guan, Jianlong Wu, Liqiang Nie

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute, China（深圳市环区研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出TEP方法，通过跟踪增强提示解决SAM3在处理小目标和语义主导对象时的不足，取得PVUW挑战赛优异成绩。

Comments 1st Place Solution for the 5th PVUW MOSE Challenge (CVPR 2026 Workshop)

SurgTEMP: Temporal-Aware Surgical Video Question Answering with Text-guided Visual Memory for Laparoscopic Cholecystectomy

SurgTEMP：基于文本引导的视觉记忆的时序感知手术视频问答系统用于腹腔镜胆囊切除术

Shi Li, Vinkle Srivastav, Nicolas Chanel, Saurav Sharma, Nabani Banik, Lorenzo Arboit, Kun Yuan, Pietro Mascagni, Nicolas Padoy

机构 * University of Strasbourg（斯特拉斯堡大学） ； CNRS（法国国家科学研究中心） ； INSERM（法国国家健康与医学研究院） ； ICube, UMR7357（ICube实验室，UMR7357） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 SurgTEMP通过文本引导的视觉记忆和时序感知模块，提升手术视频问答的性能，其核心方法是构建层次化的视觉记忆并采用手术能力进步训练方案，从而在复杂手术场景中实现更准确的问答与评估。

Comments 29 pages, 14 figures, 9 tables

Learning by Neighbor-Aware Semantics, Deciding by Open-form Flows: Towards Robust Zero-Shot Skeleton Action Recognition

通过邻域感知语义学习，通过开放形式流决策：面向鲁棒零样本骨架动作识别

Yang Chen, Miaoge Li, Zhijie Rao, Deze Zeng, Song Guo, Jingcai Guo

机构 * The Hong Kong Polytechnic University（香港理工大学） ； China University of Geoscience（中国地质大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出Flora方法，通过灵活调整文本语义和开放形式分布感知流分类器，解决零样本骨架动作识别中的语义对齐和分类器鲁棒性问题，实验验证其有效性。

Comments Accepted by CVPR 2026 Findings; Project Code: https://github.com/cseeyangchen/Flora

BotVerse: Real-Time Event-Driven Simulation of Social Agents

BotVerse: 基于事件驱动的实时社会代理高保真模拟

Edoardo Allegrini, Edoardo Di Paolo, Angelo Spognardi, Marinella Petrocchi

机构 * Computer Science Dept., Sapienza University of Rome（罗马大学计算机科学系） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 BotVerse通过LLM代理实现高保真社会模拟，提供安全实验环境用于红队测试和计算社会科学研究。

SkeletonContext: Skeleton-side Context Prompt Learning for Zero-Shot Skeleton-based Action Recognition

SkeletonContext：基于骨架的零样本动作识别中的骨架侧上下文提示学习

Ning Wang, Tieyue Wu, Naeha Sharif, Farid Boussaid, Guangming Zhu, Lin Mei, Mohammed Bennamoun, zhang liang

机构 * Xidian University（西安电子科技大学） ； University of Western Australia（西澳大利亚大学） ； Donghai Lab（东海实验室） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出SkeletonContext框架，通过引入跨模态上下文提示模块和关键部位解耦模块，提升骨架动作识别中上下文信息的利用，实现零样本场景下的高精度动作区分。

Comments Accepted by CVPR 2026

CutClaw: Agentic Hours-Long Video Editing via Music Synchronization

CutClaw：通过音乐同步实现代理长时间视频编辑

Shifang Zhao, Yihan Hu, Ying Shan, Yunchao Wei, Xiaodong Cun

机构 * Beijing Jiaotong University（北京交通大学） ； GVC Lab, Great Bay University（大湾区大学GVC实验室） ； ARC Lab, Tencent（腾讯ARC实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出CutClaw，一种多代理框架，利用多模态语言模型自动编辑长时间原始素材为有意义的短视频，通过音乐同步和视觉优化提升视频质量。

Comments Project Code: https://github.com/GVCLab/CutClaw

Modeling Spatiotemporal Neural Frames for High Resolution Brain Dynamic

时空神经帧建模用于高分辨率脑动态研究

Wanying Qu, Jianxiong Gao, Wei Wang, Yanwei Fu

机构 * Fudan University（复旦大学） ； Southern University of Science and Technology（南方科技大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种基于EEG条件的框架，用于高保真重建动态fMRI，通过引入空域中间帧重建解决采样不规则问题，提升时空连续性与应用性。

Comments CVPR 2026

Face-to-Face: A Video Dataset for Multi-Person Interaction Modeling

面对面：一个多人物交互建模的视频数据集

Ernie Chu, Vishal M. Patel

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视频多模态 ：audio-visual(abstract)；分类 cs.CV

AI总结 本文提出F2F-JF数据集，用于研究多人物交互建模，通过半自动流程提取对齐的主持人和嘉宾轨迹，并展示基于该数据集的反应式数字虚拟形象任务，验证了扩散模型在跨人物视觉上下文中的表现。

Comments Project Page: https://face2face2026.github.io

Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning

Know-Show：在时空 grounded 推理上评估视频语言模型的基准测试

Chinthani Sugandhika, Chen Li, Deepu Rajan, Basura Fernando

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Institute of High-Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所） ； Centre for Frontier AI Research, Agency for Science, Technology and Research（新加坡科技研究局前沿人工智能研究中心） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Know-Show基准测试评估视频语言模型在时空 grounded 推理能力，通过五个互补场景揭示现有模型与人类推理的差距，并提出GRAM方法提升模型的细粒度 grounded 推理能力。

Text-guided Fine-Grained Video Anomaly Understanding

基于文本引导的细粒度视频异常理解

Jihao Gu, Kun Li, He Wang, Kaan Akşit

机构 * University College London（伦敦大学学院） ； CVLab, College of Information Technology, United Arab Emirates University（阿联酋大学信息技术学院计算机视觉实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出T-VAU框架，通过多模态推理提取细粒度视频异常证据，结合Anomaly Heatmap Decoder和Region-aware Anomaly Encoder提升异常检测与解释能力。

Comments Accepted by CVPR 2026 SVC Workshop

Spatial Orthogonal Refinement for Robust RGB-Event Visual Object Tracking

空间正交细化用于鲁棒的RGB-事件视觉目标跟踪

Dexing Huang, Shiao Wang, Fan Zhang, Xiao Wang

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出SOR-Track框架，通过空间正交细化方法改进RGB-事件融合跟踪，在高速运动和低光条件下提升鲁棒性。

Comments Joint International Conference on Automation-Intelligence-Safety and International Symposium on Autonomous Systems 2026 (ICAIS and ISAS 2026)

Wan-R1: Verifiable-Reinforcement Learning for Video Reasoning

Wan-R1: 可验证强化学习用于视频推理

Ming Liu, Yunbei Zhang, Shilong Liu, Liwen Wang, Wensheng Zhang

机构 * Iowa State University（爱荷华州立大学） ； Tulane University（杜兰大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出可验证奖励设计以提升视频推理的泛化能力，通过改进GRPO算法在流基视频模型中训练，验证奖励在复杂迷宫和机器人导航任务中显著提升性能。

VRR-QA: Visual Relational Reasoning in Videos Beyond Explicit Cues

VRR-QA：超越显性提示的视频视觉关系推理

Sirnam Swetha, Rohit Gupta, Parth Parag Kulkarni, David G Shatwell, Jeffrey A Chan Santiago, Nyle Siddiqui, Joseph Fioresi, Mubarak Shah

机构 * Institute of Artificial Intelligence, University of Central Florida, USA（美国中佛罗里达大学人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 VRR-QA通过精心 curated 的创意视频数据集，评估视频问答模型在隐含关系推理上的表现，揭示现有模型对显性视觉线索的依赖及隐含推理的难度。

Comments Accepted at CVPR 2026

Incentivizing Temporal-Awareness in Egocentric Video Understanding Models

激励时间感知的自体视频理解模型

Zhiyang Xu, Tian Qin, Bowen Jin, Zhengfeng Lai, Meng Cao, Lifu Huang, Peng Zhang

机构 * Virginia Tech（弗吉尼亚理工大学） ； Apple（苹果公司） ； Harvard University（哈佛大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； UC Davis（加州大学戴维斯分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出TGPO算法，通过强化学习提升多模态大语言模型在自体视频理解中的时间感知能力，实验表明其在时间接地和因果连贯性方面优于现有方法。

Comments 11 pages, 4 figures

LLM Enhanced Action Recognition via Hierarchical Global-Local Skeleton-Language Model

通过分层全局-局部骨架-语言模型增强动作识别

Ruosi Wang, Fangwei Zuo, Lei Li, Zhaoqiang Xia

机构 * Northwestern Polytechnical University（西北工业大学） ； Shandong University of Finance and Economics（山东财经大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出HocSLM模型，通过分层全局-局部网络和大视觉-语言模型融合骨架与文本信息，提升动作识别的语义表达和跨模态理解能力，实验表明在三个主流数据集上达到最佳性能。

Is Seeing Believing? Evaluating Human Sensitivity to Synthetic Video

看见就是相信吗？评估人类对合成视频的敏感性

David Wegmann, Emil Stevnsborg, Søren Knudsen, Luca Rossi, Aske Mottelson

机构 * IT University of Copenhagen（哥本哈根信息技术大学） 纠错

专题命中 视频多模态 ：audio-visual(abstract)；分类 cs.AI

AI总结 本文通过三项研究探讨人类对合成视频中视觉和听觉扭曲的感知，发现视频扭曲和深度伪造瑕疵会降低可信度，为深入理解合成视频的认知处理提供了新视角。

Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering

你看到我指向的是什么？基于手势的 egocentric 视频问答

Yura Choi, Roy Miles, Rolandos Alexandros Potamias, Ismail Elezi, Jiankang Deng, Stefanos Zafeiriou

机构 * Imperial College London（伦敦帝国理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出 EgoPointVQA 数据集和基准，结合 Hand Intent Tokens 提升手势引导的 egocentric 问答性能，HINT-14B 在多个任务上超越现有最佳模型。

Comments Accepted to CVPR 2026

AVATAR: Reinforcement Learning to See, Hear, and Reason Over Video

AVATAR：通过视频进行视觉、听觉和推理的强化学习

Yogesh Kulkarni, Pooyan Fazli

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 AVATAR通过离线训练架构和时间优势塑造策略解决多模态长时视频推理中的数据效率、消失优势和信用分配问题，实现跨多个基准测试的优越性能。

Comments CVPR 2026

MA-Bench: Towards Fine-grained Micro-Action Understanding

MA-Bench：迈向细粒度微动作理解

Kun Li, Jihao Gu, Fei Wang, Zhiliang Wu, Hehe Fan, Dan Guo

机构 * CVLab, College of Information Technology, United Arab Emirates University（阿拉伯联合酋长国大学信息技术学院CVLab） ； University College London（伦敦大学学院） ； Hefei University of Technology（合肥工业大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； CCAI, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出MA-Bench基准，包含1000个视频和三级评估架构，系统评估微动作识别与解释，通过23个MLLM的实验发现微动作细粒度理解存在挑战，并构建MA-Bench-Train训练集提升模型性能。

Comments Accepted by CVPR 2026

Dynamic Token Compression for Efficient Video Understanding through Reinforcement Learning

通过强化学习实现高效的视频理解动态令牌压缩

Shida Wang, YongXiang Hua, Zhou Tao, Haoyu Cao, Linli Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出SCORE框架，通过强化学习学习自适应令牌压缩策略，有效解决视频理解中的计算成本和上下文旋转问题，实现16倍的预填充加速且性能损失仅0.5%。

Physics-Informed Neural Networks and Sequence Encoder: Application to heating and early cooling of thermo-stamping process

具有物理信息神经网络和序列编码器的方法：应用于热成形过程的加热和早期冷却

Mouad Elaarabi, Domenico Borzacchiello, Philippe Le Bot, Nathan Lauzeral, Sebastien Comas-Cardona

机构 * Nantes Université, Ecole Centrale Nantes, CNRS, GeM, UMR 6183（南特大学、中央南特理工学院、法国国家科学研究中心、GeM实验室、UMR 6183） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文探讨了将PINN-SE应用于更现实的热成形过程加热和早期冷却问题，探索了多模态数据输入和变几何场景的可能性，并展示了基于合成数据训练模型在真实数据上的泛化能力。

ModTrack: Sensor-Agnostic Multi-View Tracking via Identity-Informed PHD Filtering with Covariance Propagation

ModTrack：通过身份感知的PHD滤波与协方差传播实现传感器无关的多视角跟踪

Aditya Iyer, Jack Roberts, Nora Ayanian

机构 * Brown University（布朗大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 ModTrack通过身份感知的PHD滤波与协方差传播实现多视角多目标跟踪，提供跨模态、传感器无关的泛化能力及可追溯的不确定性。系统将学习限制在检测和特征提取阶段，利用闭式分析方法进行融合、关联和跟踪，实现95.5 IDF1和91.4 MOTA的优异性能。

SlotVTG: Object-Centric Adapter for Generalizable Video Temporal Grounding

SlotVTG: 用于通用视频时间定位的对象中心适配器

Jiwook Han, Geo Ahn, Youngrae Kim, Jinwoo Choi

机构 * Kyung Hee University（庆熙大学） ； University of Southern California（南加州大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 SlotVTG通过引入轻量级槽适配器，使MLLMs在最小成本下实现对象中心的输入关联视觉推理，提升跨域鲁棒性的同时保持领域内性能。

Comments Accepted to GRAIL-V workshop at CVPR 2026

From Manipulation to Mistrust: Explaining Diverse Micro-Video Misinformation for Robust Debunking in the Wild

从操控到怀疑：为野外鲁棒驳斥解释多样化的微视频虚假信息

Zhi Zeng, Yifei Yang, Jiaying Wu, Xulang Zhang, Xiangzheng Kong, Herun Wan, Zihan Ma, Minnan Luo

机构 * School of Computer Science and Technology, MOEKLINNS Lab, Xi'an Jiaotong University（西安交通大学计算机科学与技术学院、教育部机器学习与智能决策网络实验室） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Xi'an Jiaotong University（西安交通大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出WildFakeBench基准和FakeAgent框架，通过多模态理解和外部证据分析，提升微视频虚假信息检测的可解释性和鲁棒性。

Comments Accepted at WWW 2026

Synergistic Event-SVE Imaging for Quantitative Propellant Combustion Diagnostics

协同事件-SVE成像用于定量推进剂燃烧诊断

Jing Tao, Taihang Lei, Banglei Guan, Ying Qu, Xudong Na, Likun Ma, Yang Shang, Qifeng Yu

机构 * College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航天科学与工程学院） ； Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation, National University of Defense Technology（国防科技大学湖南省图像测量与视觉导航重点实验室） ； Hypersonic Technology Laboratory, National University of Defense Technology（国防科技大学高超声速技术实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种闭环事件-SVE测量系统，结合空间变曝光相机与双目神经形态事件相机，通过烟雾感知融合策略生成HDR图像，用于烟雾遮挡下的高精度推进剂燃烧诊断。

Set2Seq Transformer: Temporal and Position-Aware Set Representations for Sequential Multiple-Instance Learning

Set2Seq Transformer: 时序和位置感知的集合表示用于序列多实例学习

Athanasios Efthymiou, Stevan Rudinac, Monika Kackovic, Nachoem Wijnberg, Marcel Worring

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出Set2Seq Transformer，通过端到端多模态学习，联合建模集合结构和时间依赖性，提升在艺术分析和野火预测中的性能。