多模态大模型

Realizing Immersive Volumetric Video: A Multimodal Framework for 6-DoF VR Engagement

实现沉浸式体积分量视频：一种多模态框架用于6自由度VR互动

Zhengxian Yang, Shengqi Wang, Shi Pan, Hongshuai Li, Haoxiang Wang, Lin Li, Guanjun Li, Zhengqi Wen, Borong Lin, Jianhua Tao, Tao Yu

机构 * Tsinghua University（清华大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Migu Beijing Research Institute（咪咕北京研究院） ； School of Architecture, Tsinghua University（清华大学建筑学院） ； Department of Automation, Tsinghua University（清华大学自动化系） ； BNRist, Tsinghua University（清华大学北京信息科学与技术国家研究中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种多模态框架，用于构建沉浸式体积分量视频，通过多视角多模态数据集和动态光场重建框架，实现高分辨率、高帧率的动态内容，支持6自由度VR交互。

Comments Journal extension of CVPR 2025. See also arXiv:2503.14359 . Project page and code: https://github.com/Metaverse-AI-Lab-THU/ImViD

TeamLLM: Exploring the Capabilities of LLMs for Multimodal Group Interaction Prediction

TeamLLM: 探索LLMs在多模态群体交互预测中的能力

Diana Romero, Xin Gao, Daniel Khalkhali, Salma Elmalaki

专题命中 视频多模态 ：multimodal(title,abstract)；multimodal foundation model(abstract)

AI总结 本文研究LLMs在多模态传感器数据中预测群体协调模式的能力，发现LLMs在语言基础行为上比LSTM基线提升3.2倍，细调准确率达96%。同时揭示了文本模型在多模态交互中的局限性及模拟模式的脆弱性。

LMGenDrive: Bridging Multimodal Understanding and Generative World Modeling for End-to-End Driving

LMGenDrive: 联合多模态理解与生成世界建模以实现端到端驾驶

Hao Shao, Letian Wang, Yang Zhou, Yuxuan Hu, Zhuofan Zong, Steven L. Waslander, Wei Zhan, Hongsheng Li

机构 * CUHK MMLab（香港中文大学多媒体实验室） ； University of Toronto（多伦多大学） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LMGenDrive框架，结合LLM多模态理解与生成世界模型，提升自动驾驶的闭环性能，通过视频预测和控制信号生成，增强时空场景建模和指令遵循能力。

Multimodal Anomaly Detection for Human-Robot Interaction

多模态异常检测用于人机交互

Guilherme Ribeiro, Iordanis Antypas, Leonardo Bizzaro, João Bimbo, Nuno Cruz Garcia

机构 * LASIGE Faculty of Sciences U. Lisboa, Portugal ； Dep. of Information Engineering University of Padova Padova, Italy 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出MADRI框架，通过将视频流转换为语义特征向量进行基于重建的异常检测，并结合机器人内部传感器数据和场景图，提升人机协作中多模态异常检测的鲁棒性。

Envisioning the Future, One Step at a Time

逐步展望未来

Stefan Andreas Baumann, Jannik Wiese, Tommaso Martorella, Mahdi M. Kalayeh, Björn Ommer

机构 * Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Netflix 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过稀疏点轨迹逐步推断来预测开放集未来场景动态，提升大规模探索效率，同时引入OWM基准测试预测准确性与现实不确定性下的多样性。

Comments CVPR 2026. For code and models, see http://compvis.github.io/myriad

VSI: Visual Subtitle Integration for Keyframe Selection to enhance Long Video Understanding

VSI：视觉字幕整合用于关键帧选择以增强长视频理解

Jianxiang He, Meisheng Hong, Jungang Li, Weiyu Guo, Xuming Hu, Hui Xiong

机构 * AI Thrust, HKUST(GZ)（香港科技大学（广州）） ； Shandong University（山东大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 VSI通过融合视觉与文本信息提升长视频关键帧检索精度，实现在文本相关任务中的突破性表现。

Comments Accepted to CVPR 2026 Findings, 10 pages

Learning Vision-Language-Action World Models for Autonomous Driving

学习视觉-语言-动作世界模型以实现自动驾驶

Guoqing Wang, Pin Tang, Xiangxuan Ren, Guodongfang Zhao, Bailan Feng, Chao Ma

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院教育部人工智能重点实验室） ； Central Research Institute, Huawei（华为中央研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VLA-World模型，通过结合预测想象与反思推理提升自动驾驶的前瞻性。该模型利用生成的轨迹引导图像生成，并通过反思优化轨迹预测，实验表明其在规划和未来场景生成任务中优于现有方法。

Comments Accepted by CVPR2026 findings

SiMing-Bench: Evaluating Procedural Correctness from Continuous Interactions in Clinical Skill Videos

SiMing-Bench：从连续交互评估临床技能视频中的过程正确性

Xiyang Huang, Jiawei Lin, Keying Wu, Jiaxin Huang, Kailai Yang, Renxiong Wei, Cheng zeng, Jiayi Xiang, Ziyan Kuang, Min Peng, Qianqian Xie, Sophia Ananiadou

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； Center for Language and Information Research, Wuhan University（武汉大学语言与信息研究中心） ； Southwest Jiaotong University（西南交通大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； The University of Manchester（曼彻斯特大学） ； Zhongnan Hospital of Wuhan University（武汉大学中南医院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 SiMing-Bench旨在评估多模态大语言模型在临床技能视频中通过连续交互更新过程状态的能力，通过医师标注的数据集和标准化评分标准，揭示模型在过程级判断上的不足。

InstrAct: Towards Action-Centric Understanding in Instructional Videos

InstrAct：迈向指令视频中的动作中心理解

Zhuoyi Yang, Jiapeng Yu, Reuben Tan, Boyang Li, Huijuan Xu

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Microsoft Research（微软研究院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出InstrAction框架，通过数据驱动策略和辅助目标提升指令视频中动作识别与建模，建立InstrAct基准测试集，优于现有视频基础模型。

VAG: Dual-Stream Video-Action Generation for Embodied Data Synthesis

VAG：用于具身数据合成的双流视频-动作生成

Xiaolei Lang, Yang Wang, Yukun Zhou, Chaojun Ni, Kerui Li, Jiagang Zhu, Tianze Liu, Jiajun Lv, Xingxing Zuo, Yun Ye, Guan Huang, Xiaofeng Wang, Zheng Zhu

机构 * GigaAI ； Zhejiang University（浙江大学） ； Peking University（北京大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出VAG模型，通过双流框架联合生成视频和动作，提升跨模态一致性，实现高效且准确的视频-动作配对生成，支持轨迹回放并提升下游策略泛化能力。

Streaming Video Instruction Tuning

流式视频指令微调

Jiaer Xia, Peixian Chen, Mengdan Zhang, Xing Sun, Kaiyang Zhou

机构 * Hong Kong Baptist University（香港浸会大学） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出Streamo，一个实时流式视频大语言模型，能执行多种视频任务，如实时叙述、动作理解等。通过大规模指令遵循数据集训练，Streamo在时间推理和多任务处理上表现优异，填补了离线视频模型与实时多模态助手之间的差距。

Comments Accepted by CVPR2026

How Should Video LLMs Output Time? An Analysis of Efficient Temporal Grounding Paradigms

视频大语言模型应如何输出时间？对高效时间接地范式的分析

Shengji Jin, Yuanhao Zou, Victor Zhu, Zhengping Ji, Chen Chen

机构 * The University of Central Florida（中佛罗里达大学） ； Axon（Axon公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文对比三种主流视频时间接地范式，探讨输出设计对精度与效率的影响，发现连续分布范式在效率-精度权衡中表现最佳。

Comments CVPR 2026 Workshop Paper

Truncated Rectified Flow Policy for Reinforcement Learning with One-Step Sampling

截断修正流策略用于具有一步采样的强化学习

Xubin Zhou, Yipeng Yang, Zhan Li

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出TRFP框架，通过混合确定性-随机性架构解决MaxEnt RL中连续时间生成策略的可微性问题，实现稳定训练和有效一步采样，实验表明其在多目标环境和MuJoCo基准中表现优异。