视频大模型

`Attention-Guided Cross-Temporal Clustering for Self-Supervised Video Object Segmentation

用于自监督视频对象分割的注意力引导跨时间聚类

Waqas Arshid, Mohammad Awrangjeb, Alan Wee-Chung Liew, Yongsheng Gao

机构 * Griffith University（格里菲斯大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 针对视频对象分割任务，现有自监督方法存在问题。本文提出跨时间一致性和聚类框架，结合注意力引导令牌选择与轻量级时间聚类，通过显著性加权目标对齐软部分分配，利用冻结变压器主干实现有效扩展，提升自监督视频对象分割性能。

Comments Accepted for publication in Machine Intelligence Research journal

From My View to Yours: Learning Egocentric Cues from Exocentric Video using Privileged Egocentric Supervision

从我的视角到你的视角：利用特权自我中心监督从外中心视频中学习自我中心线索

Dominick Reilly, Manish Kumar Govind, Le Xue, Srijan Das

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） ； Elorian AI 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 研究针对视觉语言模型难以从外中心视频推断自我中心属性的问题，提出Ego2ExoVLM框架，利用时间同步视频对及特权监督，通过两个组件实现此能力，在多任务评估中取得领先性能。

Comments ECCV 2026

Video-Text Temporal Localization via Multi-Scale Convolution and Dynamic Routing

通过多尺度卷积和动态路由实现下一代网络的语义视频通信

Gengtian Shi, Jinze Yu, Chenhao Wu, Shaofei Wang, Eiji Fukuzawa, Junjie Tang, Hiroshi Onoda, Jiang Liu

机构 * Graduate School of Fundamental Science and Engineering, Waseda University（早稻田大学基础科学与工程研究生院） ； Generative AI Innovation Center, Amazon Web Services（亚马逊网络服务生成人工智能创新中心） ； Amazon（亚马逊） 纠错

专题命中 视频理解 ：video-language(abstract)；分类 cs.CV

AI总结 针对视频流量增长需求，提出语义视频通信框架，用多尺度时间卷积编码器捕捉运动模式，基于胶囊的动态路由机制优化关联，多任务学习统一组件，在实验中取得显著改进。

Comments Accepted at the AAAI 2026 Workshop on AI for Time Series (AI4TS)

GuideMe: Multi-Domain Task Guidance and Intervention in Streaming Video

GuideMe：流视频中的多域任务指导与干预

Fang Liu, Jinpeng Chen, Ke Xu, Yuhao Liu, Huankang Guan, Xudong Lu, Bo Yang, Gerhard Hancke, Rui Liu, Rynson W. H. Lau

机构 * City University of Hong Kong（香港城市大学） ； Huawei Research（华为研究院） ； University of Science and Technology of China（中国科学技术大学） ； Chinese University of Hong Kong（香港中文大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞）） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 构建流视频多域基准GuideMe，支持训练和评估用于闭环交互任务指导的MLLMs，设计评估框架衡量模型能力，实验发现现有MLLMs虽擅提供指令，但难识别执行错误并反馈。

Comments ECCV 2026

DELTAVID: Enhancing Fine-Grained Spatiotemporal Perception with Cross-Video Differences

DELTAVID：利用跨视频差异增强细粒度时空感知

Yankai Yang, Yancheng Long, Bin Wen, Fan Yang, Tingting Gao, Han Li, Shuo Yang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Kuaishou Technology（快手科技） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 研究针对视频多模态大语言模型缺乏精确局部时空感知问题，提出DELTAVID框架，将跨视频找差异转化为可训练感知信号，还引入相关数据集，提升了跨视频差异理解性能并能迁移到通用视频理解基准。

Learning to Visually Connect Actions and their Effects

学习在视觉上连接动作及其效果

Paritosh Parmar, Eric Peh, Basura Fernando

机构 * Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore（高性能计算研究所，科技研究局，新加坡） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 该研究引入视觉连接动作及其效果（CATE）概念，探索其动作选择和效果亲和力评估两方面，设计基线模型，发现模型在该任务中表现不佳，人类远超模型，还表明CATE可作为自监督任务学习视频表征。

Comments WACV 2025 (Two Reviewer Nominations for Best Paper Candidate; Oral Presentation)

Reasoning LLM Improves Speaker Recognition in Long-form TV Dramas

推理大模型提升长篇电视剧中的说话人识别

Yuxuan Li, Lingxi Xie, Xinyue Huo, Jihao Qiu, Jiacheng Shao, Pengfei Chen, Jiannan Ge, Kaiwen Duan, Qi Tian

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出DramaSR-532K大规模基准和基于推理大模型的DramaSR-LRM方法，通过多模态工具使用聚合上下文证据，显著提升长篇电视剧中说话人识别准确率，尤其对短话语效果显著。

Comments Accepted to ICML 2026

Learning to Evolve Scenes: Reasoning about Human Activities with Scene Graphs

学习演化场景：用场景图推理人类活动

Francesca Pistilli, Simone Alberto Peirone, Giuseppe Averta

机构 * Politecnico di Torino（托斯托大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出SG-Ego标注集和GLEN模型，通过时空场景图显式建模人-环境交互的动态演化，实现活动驱动的场景变化推理与预测。

Comments Project page at https://francescapistilli.github.io/GLEN

Temporal and Cross-Modal Alignment for Enhanced Audiovisual Video Captioning

增强视听视频字幕的时间与跨模态对齐

Chen Zhao, Jiajun Ma, Qilong Huang, Tiehan Fan, Hongyu Li, Zhuoliang Kang, Xiaoming Wei, Jian Yang, Ying Tai

机构 * Nanjing University, State Key Laboratory for Novel Software Technology（南京大学，计算机软件新技术国家重点实验室） ； Meituan（美团） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出TCA-Captioner框架，通过观察-检查-纠正迭代策略和密集交互数据集，解决视听字幕中的模态分离与时间不一致问题，实现精准的视听绑定与因果动态建模。

Comments ECCV 2026

Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization

学习观察：通过交错策略优化的主动视频异常理解

Mengjingcheng Mo, Jiaxu Leng, Xinbo Gao

机构 * School of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing, China（重庆邮电大学计算机科学与技术学院） ； School of Computer Science（计算机科学学院） ； Chongqing College of Artificial Intelligence, Chongqing, China（重庆人工智能学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出Anom-π闭环框架，将视频异常理解建模为主动序列决策过程，通过交错策略统一内部推理与证据获取，并设计iDPO实现轨迹级策略对齐，仅2B参数即超越大规模模型。

Comments Accepted at ICML 2026; 25 pages, 8 figures, 15 tables

Rethinking the Role of Feature Engineering and Learning Strategies in Few-Shot Hidden Emotion Recognition

重新思考特征工程与学习策略在少样本隐藏情感识别中的作用

Xiaochuan Guo, Jihao Gu, Haixu Liu, Yuxin Liu, Qi Wang, Yufei Wang, Fei Wang, Kun Li, Dan Guo

机构 * Hefei University of Technology（合肥工业大学） ； University College London（伦敦大学学院） ； The University of Sydney（悉尼大学） ； Beijing QBoson Quantum Technology Co., Ltd.（北京量子芯光科技有限公司） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Beihang University（北京航空航天大学） ； The University of New South Wales（新南威尔士大学） ； United Arab Emirates University（阿拉伯联合酋长国大学） 纠错

专题命中 视频理解 ：long video(abstract)；分类 cs.CV

AI总结 提出跨注意力机制与多实例学习框架，利用多源特征（2D/3D骨架、面部Blendshapes、DINOv2/v3、X-CLIP、Gemini）解决长视频中弱稀疏隐式情感识别，在IJCAI挑战赛Track 3中获第一名。

VisReflect: Latent Visual Reflection for Fine-Grained Perception in Long Visual Context

VisReflect: 用于长视觉上下文中细粒度感知的潜在视觉反射

Xiaoqian Shen, Mohamed Elhoseiny

机构 * King Abdullah University of Science and Technology（卡布斯大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 针对长视觉上下文中细粒度感知的挑战，提出VisReflect框架，通过潜在空间中的连续视觉反射选择性强调相关区域，无需显式定位或额外前向传播，在图像和视频基准上分别提升4.1%和1.8%，并减少约44%推理时间。

Comments Accepted to ECCV 2026; Project page: https://xiaoqian-shen.github.io/VisReflect

Efficient Spatio-Temporal Grounding with Multimodal Large Models via Second-Level Tracking and RL Verification

基于二级跟踪和强化学习验证的多模态大模型高效时空定位

Tianshu Zhang, Yan Wang, Ji Qi, Lijie Wen

机构 * Tsinghua University（清华大学） 纠错

专题命中 视频理解 ：long video(abstract)；分类 cs.CV

AI总结 提出一种从帧级到秒级跟踪的流水线，结合跨秒平滑、链式思维轨迹合成和强化学习优化，在长视频中实现高效且准确的时空定位。

SciFlow: Semantic Cross Interference for Self-Supervised Optical Flow Domain Generalization

SciFlow: 用于自监督光流域泛化的语义交叉干扰

Jamie Menjay Lin, Jisoo Jeong, Hong Cai, Kai Wang, Fatih Porikli

机构 * Qualcomm Technologies, Inc.（高通技术公司） ； Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出SciFlow方法，通过自监督学习在训练时对合成图像施加来自开放世界图像的语义干扰，结合几何一致性，实现合成到真实域的泛化，无需真实标注。

Comments 4 pages

TAR: Temporal Anchor-Constrained Reasoning for Video Temporal Grounding

TAR：基于时间锚的视频时间定位推理

Chaohong Guo, Xun Mo, Yongwei Nie, Fei Ma, Xuemiao Xu, Chengjiang Long

机构 * South China University of Technology（华南理工大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； Bytedance Inc.（字节跳动有限公司） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 TAR通过引入时间锚机制，提升视频时间定位任务中推理过程的可信度和自主性，采用自举方法生成高质量推理轨迹，实现更精确的最终预测。

Comments Accepted by ECCV2026

HumanMoveVQA: Can Video MLLMs reason about human movement in videos?

HumanMoveVQA：视频多模态大语言模型能否推理视频中的人类运动？

Pulkit Gera, Faegheh Sardari, Asmar Nadeem, Valentina Bono, Padraig Boulton, Adrian Hilton, Armin Mustafa

机构 * CVSSP, University of Surrey, Guildford, UK（萨里大学视觉、语音与信号处理中心，英国吉尔福德） ； Tesco, UK（乐购，英国） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出HumanMoveVQA基准，通过世界坐标系下的3D运动轨迹生成问答对，评估视频MLLM在全局轨迹和方向推理上的能力，发现现有模型存在显著差距。

TRUST: Efficient Abdominal Trauma Recognition via Image-to-Ultrasound-Video Transfer Learning

TRUST：通过图像到超声视频迁移学习实现高效腹部创伤识别

Enguang Wang, Hao Zhou, Shuo Gao, Tuo Liu, Guangquan Zhou

机构 * School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院） ； Nanjing Medical University First Affiliated Hospital（南京医科大学第一附属医院） ； Jiangsu Key Laboratory of Biomaterials and Devices, Southeast University（江苏省生物材料与器件重点实验室，东南大学） ； State Key Laboratory of Digital Medical Engineering, Southeast University（数字医学工程国家重点实验室，东南大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出TRUST框架，通过跨频协作适配器、多粒度运动感知模块和视觉查询语义聚合，解决超声视频中时空变化和语义差异问题，在腹部创伤数据集上性能提升9.63%。

Comments Accepted to MICCAI 2026, 11 pages, 5 figures

An Approach to Enriching Surgical Video Datasets for Fine-Grained Spatial-Temporal Understanding of Vision-Language Models

一种丰富手术视频数据集的方法，用于视觉-语言模型的细粒度时空理解

Lennart Maack, Alexander Schlaefer

机构 * Hamburg University of Technology（汉堡理工大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出SurgSTU-Pipeline生成管道，通过时空连续性过滤创建细粒度时空问答数据集SurgSTU，提升视觉-语言模型在手术视频中的时空理解能力。

IWP: Token Pruning as Implicit Weight Pruning in Large Vision Language Models

IWP：大型视觉语言模型中的隐式权重剪枝与令牌剪枝

Dong-Jae Lee, Sunghyun Baek, Junmo Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出基于注意力对偶形式的无训练令牌剪枝框架，通过度量令牌的信息量和冗余度，结合渐进式分块最大边际相关性选择子集，在保持性能的同时提升效率。

DnA: Denoising Attention for Visual Tasks

DnA：用于视觉任务的去噪注意力

Ron Campos, Subhajit Maity, Xin Li, Srijan Das, Aritra Dutta

机构 * University of Central Florida（中佛罗里达大学） ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出去噪注意力（DnA），通过正负查询分离相关与无关特征，提升多头部注意力的判别性，在ImageNet-1K上提升0.8%，并适用于视频理解任务。

Journal ref European Conference on Computer Vision (ECCV 2026)

Tri-Efficient Transfer Learning for Point Cloud Videos

点云视频的三效迁移学习

Yiding Sun, Dongxu Zhang, Jihua Zhu, Haozhe Cheng, Zhengqiao Li, Pengcheng Li, Chaowei Fang, Yonghao Dong, Lin Chen

机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院） ； School of Information and Communication Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院） ； SIGS, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出PoinTriE框架，通过伪运动轨迹合成、几何-运动对偶网络和时空侧网络，实现数据、参数和内存三方面高效的点云视频迁移学习，在动作识别和语义分割任务上取得新最优结果。

LEViL: Label-Efficient Video Learning via Zero-Shot Distillation over VLM-Generated Pseudo-Label Spaces

LEViL: 通过VLM生成的伪标签空间上的零样本蒸馏实现标签高效视频学习

Aslı Çelik

机构 * Kocaeli University（科贾埃利大学） 纠错

专题命中 视频理解 ：video-language(abstract)；分类 cs.CV

AI总结 提出一种无需标注的视频预训练与目标标签集感知微调结合的标签高效视频学习框架，利用VLM生成伪标签空间进行零样本蒸馏，在有限标签下优于半监督方法。

Oracle-RLAIF: An Improved Fine-Tuning Framework for Multi-modal Video Models using Reinforcement Learning from Ranking Feedback

Oracle-RLAIF：一种利用排名反馈强化学习改进多模态视频模型微调框架的方法

Derek Shi, Ruben Glatt, Christine Klymko, Shubham Mohole, Hongjun Choi, Shashank Kushwaha, Sam Sakla, Felipe Leno da Silva

机构 * Stanford University（斯坦福大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Microsoft（微软公司） 纠错

专题命中 视频理解 ：video-language(abstract)；分类 cs.CV

AI总结 提出Oracle-RLAIF框架，用通用排序器替代奖励模型，结合基于GRPO的排名损失函数GRPO_rank，实现更高效的多模态视频模型微调，在多个基准上优于现有方法。

Comments Proceedings of the 39th Annual Conference on Neural Information Processing Systems, ARLET Workshop (Aligning Reinforcement Learning Experimentalists and Theorists)

Journal ref Transactions on Machine Learning Research, Vol. 2026, June 2026

Mitigating Cross-Image Information Leakage in Multi-Image Understanding with Large Vision-Language Models

缓解多图像理解中大型视觉语言模型的跨图像信息泄露

Yeji Park, Minyoung Lee, Sanghyuk Chun, Junsuk Choe

机构 * Sogang University（ソガン大学） ； Princeton University（普林斯顿大学） ； NAVER AI Lab（NAVER AI实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 针对大型视觉语言模型在多图像输入时性能下降的问题，提出无需训练且架构无关的FOCUS方法，通过随机噪声掩码和噪声参考输入抑制跨图像信息泄露，显著提升多图像和视频理解性能。

Comments Source code is available at https://github.com/yejipark-m/FOCUS

UNIEGO: Proxies as Mediators for Unified Egocentric Video Representation Learning

UNIEGO：代理作为中介的统一自我中心视频表示学习

Wenhao Chi, Arkaprava Sinha, Dominick Reilly, Hieu Le, Srijan Das

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出分层多教师蒸馏框架UNIEGO，通过代理模型将异构教师知识转化为同质自我中心空间，并采用选择性代理蒸馏自适应筛选可靠监督，在三个自我中心视频理解任务上达到最优。

E-VAds: An E-commerce Short Videos Understanding Benchmark for MLLMs

E-VAds：面向多模态大语言模型的电商短视频理解基准

Xianjie Liu, Yiman Hu, Liang Wu, Ping Hu, Yixiong Zou, Jian Xu, Bo Zheng

机构 * Alimama Tech, Taobao \& Tmail Group of Alibaba ； Huazhong University of Science ； Vin University 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出电商短视频理解基准E-VAds，通过多模态信息密度评估框架量化领域复杂性，并构建多智能体生成的问答数据集，最后开发基于强化学习的推理模型E-VAds-R1，在商业意图推理上实现109.2%的性能提升。

Comments Accepted by ICML2026

MarkIt: Training-Free Visual Markers for Precise Video Temporal Grounding

MarkIt: 免训练视觉标记用于精确视频时间定位

Pengcheng Fang, Yuxia Chen, Xiaohao Cai

专题命中 视频理解 ：video understanding(abstract)；分类 cs.MM

AI总结 提出免训练框架MarkIt，通过无标注查询到掩码桥接生成标记视频，增强视频语言大模型的时间定位能力，在多个基准上取得最优结果。

What Should a Streaming Video Model Remember?

流式视频模型应该记住什么？

Haonan Ge, Yiwei Wang, Hang Wu, Yujun Cai

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； University of California, Merced（加州大学默塞德分校） ； The University of Queensland（昆士兰大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 针对流式视频理解中固定记忆预算下的长程历史利用问题，提出选择性潜在记忆框架SelectStream，通过惊喜驱动自适应窗口、优先级保持合并和查询条件图推理三个机制，实现高效在线推理，在多个基准上取得领先性能。

KeepLoRA++: Continual Learning with Layer-Scaled Residual Gradient Adaptation

KeepLoRA++: 基于层级缩放残差梯度适应的持续学习

Mao-Lin Luo, Yi-Lin Zhang, Zi-Hao Zhou, Yankun Hong, Xialiang Tong, Mingxuan Yuan, Tong Wei, Min-Ling Zhang

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration, Southeast University, Ministry of Education（东南大学计算机网络和信息集成教育部重点实验室） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 针对预训练视觉语言模型持续学习中保留预训练知识、旧任务知识和学习新知识的冲突，提出KeepLoRA++，通过层级缩放残差梯度适应方法，限制LoRA参数更新到残差子空间并采用浅到深层缩放，平衡三者，在图像分类、视觉问答和视频理解任务上优于基线。

FrameOracle: Learning What to See and How Much to See in Videos

FrameOracle: 学习在视频中看什么以及看多少

Chaoyu Li, Tianzhi Li, Fei Tao, Zhenyu Zhao, Ziqian Wu, Maozheng Zhao, Juntong Song, Cheng Niu, Pooyan Fazli

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出FrameOracle轻量模块，预测相关帧及其数量，通过课程学习从弱代理信号到强监督，在多个VLM和基准上以更少帧数保持或提升精度。

Comments ICML 2026. Project page: https://people-robots.github.io/frameoracle/