视频大模型

Training-free Uncertainty Guidance for Complex Visual Tasks with MLLMs

无训练不确定性引导的复杂视觉任务多模态大语言模型

Sanghwan Kim, Rui Xiao, Stephan Alaniz, Yongqin Xian, Zeynep Akata

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Helmholtz Munich（海德堡-慕尼黑亥姆霍兹研究中心） ； Google（谷歌） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工大学 LTCI 实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；long video(abstract)；分类 cs.CV

AI总结 提出无需训练的框架，利用MLLM内在不确定性主动引导，通过响应不确定性评分候选视觉输入，使模型自主聚焦关键信息，在视觉搜索、长视频理解等任务中达到与微调系统相当的性能。

An Approach to Enriching Surgical Video Datasets for Fine-Grained Spatial-Temporal Understanding of Vision-Language Models

一种丰富手术视频数据集的方法，用于视觉-语言模型的细粒度时空理解

Lennart Maack, Alexander Schlaefer

机构 * Hamburg University of Technology（汉堡理工大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出SurgSTU-Pipeline生成管道，通过时空连续性过滤创建细粒度时空问答数据集SurgSTU，提升视觉-语言模型在手术视频中的时空理解能力。

IWP: Token Pruning as Implicit Weight Pruning in Large Vision Language Models

IWP：大型视觉语言模型中的隐式权重剪枝与令牌剪枝

Dong-Jae Lee, Sunghyun Baek, Junmo Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出基于注意力对偶形式的无训练令牌剪枝框架，通过度量令牌的信息量和冗余度，结合渐进式分块最大边际相关性选择子集，在保持性能的同时提升效率。

PhysChoreo: Physics-Controllable Video Generation with Part-Aware Semantic Grounding

PhysChoreo: 具有部分感知语义基础的物理可控视频生成

Haoze Zhang, Tianyu Huang, Zichen Wan, Xiaowei Jin, Hongzhi Zhang, Hui Li, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 提出PhysChoreo框架，通过两阶段方法（部分感知物理属性重建与时序指导的可编辑物理模拟）从单张图像生成物理可控且逼真的视频，在多个指标上超越现有方法。

Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction

通过高级模态条件与交互驯服文本到发声视频生成

Kaisi Guan, Xihua Wang, Zhengfeng Lai, Xin Cheng, Peng Zhang, XiaoJiang Liu, Ruihua Song, Meng Cao

机构 * Renmin University of China（中国人民大学） ； Apple（苹果公司） 纠错

专题命中 视频生成 ：video generation(title)；分类 cs.CV

AI总结 提出分层视觉基础字幕框架（HVGC）生成解耦的视频和音频字幕，并基于此引入双塔扩散变换器BridgeDiT，通过双交叉注意力机制实现对称双向信息交互，在三个基准数据集上达到最先进结果。

Comments The 19th European Conference on Computer Vision -- ECCV 2026

SHIFT: Motion Alignment in Video Diffusion Models with Adversarial Hybrid Fine-Tuning

SHIFT: 视频扩散模型中的运动对齐与对抗混合微调

Xi Ye, Wenjia Yang, Yangyang Xu, Xiaoyang Liu, Duo Su, Mengfei Xia, Jun Zhu

机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） ； University of Chinese Academy of Science（中国科学院大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对视频扩散模型微调后运动保真度下降的问题，提出基于像素通量动力学的像素运动奖励和SHIFT框架（平滑混合微调），通过对抗优势改进收敛并缓解奖励黑客，有效解决动态度坍塌。

Comments Accepted by ECCV2026

Scene Generation at Absolute Scale: Utilizing Semantic and Geometric Guidance From Text for Accurate and Interpretable 3D Indoor Scene Generation

绝对尺度下的场景生成：利用文本的语义和几何引导实现精确且可解释的3D室内场景生成

Stefan Ainetter, Thomas Deixelberger, Edoardo A. Dominici, Philipp Drescher, Konstantinos Vardis, Markus Steinberger

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出GuidedSceneGen框架，通过文本预测全局3D布局并利用全景扩散模型和视频扩散模型生成绝对尺度的室内场景，实现高一致性、可导航的3D重建。

Instant Expressive Gaussian Head Avatars at Over 100 FPS

即时表达性高斯头部虚拟化身，帧率超过100 FPS

Kaiwen Jiang, Xueting Li, Seonwook Park, Ravi Ramamoorthi, Shalini De Mello, Koki Nagano

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； NVIDIA（英伟达） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出一种前馈编码器流水线，将单张野外图像转换为3D一致、快速且富有表现力的可动画化表示，通过轻量级局部融合策略实现高动画表现力，运行速度达107.31 FPS。

Comments Project website is https://research.nvidia.com/labs/amri/projects/instant4d

HiMu: Hierarchical Multimodal Frame Selection for Long Video Question Answering

HiMu: 面向长视频问答的分层多模态帧选择

Dan Ben-Ami, Gabriele Serussi, Kobi Cohen, Chaim Baskin

机构 * INSIGHT Lab, Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学INSIGHT实验室，以色列） ； Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学，以色列） 纠错

专题命中 视频问答 ：long video(title)；分类 cs.CV

AI总结 提出HiMu框架，通过文本LLM将查询分解为层次逻辑树，由视觉和音频专家处理原子谓词，经模糊逻辑算子组合生成连续帧满意度曲线，在16帧预算下达到帧选择方法的最优精度，并作为即插即用模块提升多种MLLM性能。

Keeping the Evidence Chain: Semantic Evidence Allocation for Training-Free Token Pruning in Video Temporal Grounding

保持证据链：面向视频时序定位的无训练令牌剪枝的语义证据分配

Jiaqi Li, Shuntian Zheng, Yixian Shen, Jia-Hong Huang, Xiaoman Lu, Minzhe Ni, Yu Guan

机构 * University of Warwick（沃里克大学） ； University of Amsterdam（阿姆斯特丹大学） ； Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 视频问答 ：video-language(abstract)；分类 cs.CV

AI总结 提出SemVID无训练剪枝框架，通过证据保留和连接强度原则选择对象、运动和上下文令牌，在仅保留12.5%视觉令牌时保持95.4% mIoU，实现5.8倍预填充加速。

Comments Project at https://jiaqili404.github.io/SemVID

Journal ref The 19th European Conference on Computer Vision (ECCV 2026)