AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
GuideMe：流视频中的多域任务指导与干预
机构 * City University of Hong Kong（香港城市大学） ； Huawei Research（华为研究院） ； University of Science and Technology of China（中国科学技术大学） ； Chinese University of Hong Kong（香港中文大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞））
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 构建流视频多域基准GuideMe，支持训练和评估用于闭环交互任务指导的MLLMs，设计评估框架衡量模型能力，实验发现现有MLLMs虽擅提供指令，但难识别执行错误并反馈。
Comments ECCV 2026
DELTAVID：利用跨视频差异增强细粒度时空感知
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Kuaishou Technology（快手科技）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究针对视频多模态大语言模型缺乏精确局部时空感知问题，提出DELTAVID框架，将跨视频找差异转化为可训练感知信号，还引入相关数据集，提升了跨视频差异理解性能并能迁移到通用视频理解基准。
推理大模型提升长篇电视剧中的说话人识别
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出DramaSR-532K大规模基准和基于推理大模型的DramaSR-LRM方法，通过多模态工具使用聚合上下文证据，显著提升长篇电视剧中说话人识别准确率，尤其对短话语效果显著。
Comments Accepted to ICML 2026
学习演化场景：用场景图推理人类活动
机构 * Politecnico di Torino（托斯托大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出SG-Ego标注集和GLEN模型，通过时空场景图显式建模人-环境交互的动态演化，实现活动驱动的场景变化推理与预测。
Comments Project page at https://francescapistilli.github.io/GLEN
增强视听视频字幕的时间与跨模态对齐
机构 * Nanjing University, State Key Laboratory for Novel Software Technology（南京大学，计算机软件新技术国家重点实验室） ； Meituan（美团）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出TCA-Captioner框架，通过观察-检查-纠正迭代策略和密集交互数据集，解决视听字幕中的模态分离与时间不一致问题，实现精准的视听绑定与因果动态建模。
Comments ECCV 2026
学习观察：通过交错策略优化的主动视频异常理解
机构 * School of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing, China（重庆邮电大学计算机科学与技术学院） ； School of Computer Science（计算机科学学院） ； Chongqing College of Artificial Intelligence, Chongqing, China（重庆人工智能学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出Anom-π闭环框架，将视频异常理解建模为主动序列决策过程，通过交错策略统一内部推理与证据获取，并设计iDPO实现轨迹级策略对齐，仅2B参数即超越大规模模型。
Comments Accepted at ICML 2026; 25 pages, 8 figures, 15 tables
重新思考特征工程与学习策略在少样本隐藏情感识别中的作用
机构 * Hefei University of Technology（合肥工业大学） ； University College London（伦敦大学学院） ； The University of Sydney（悉尼大学） ； Beijing QBoson Quantum Technology Co., Ltd.（北京量子芯光科技有限公司） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Beihang University（北京航空航天大学） ； The University of New South Wales（新南威尔士大学） ； United Arab Emirates University（阿拉伯联合酋长国大学）
专题命中 视频理解 ：long video(abstract)；分类 cs.CV
AI总结 提出跨注意力机制与多实例学习框架，利用多源特征（2D/3D骨架、面部Blendshapes、DINOv2/v3、X-CLIP、Gemini）解决长视频中弱稀疏隐式情感识别，在IJCAI挑战赛Track 3中获第一名。
HumanMoveVQA：视频多模态大语言模型能否推理视频中的人类运动？
机构 * CVSSP, University of Surrey, Guildford, UK（萨里大学视觉、语音与信号处理中心，英国吉尔福德） ； Tesco, UK（乐购，英国）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出HumanMoveVQA基准，通过世界坐标系下的3D运动轨迹生成问答对，评估视频MLLM在全局轨迹和方向推理上的能力，发现现有模型存在显著差距。
TRUST：通过图像到超声视频迁移学习实现高效腹部创伤识别
机构 * School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院） ； Nanjing Medical University First Affiliated Hospital（南京医科大学第一附属医院） ； Jiangsu Key Laboratory of Biomaterials and Devices, Southeast University（江苏省生物材料与器件重点实验室，东南大学） ； State Key Laboratory of Digital Medical Engineering, Southeast University（数字医学工程国家重点实验室，东南大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出TRUST框架，通过跨频协作适配器、多粒度运动感知模块和视觉查询语义聚合，解决超声视频中时空变化和语义差异问题，在腹部创伤数据集上性能提升9.63%。
Comments Accepted to MICCAI 2026, 11 pages, 5 figures
DnA：用于视觉任务的去噪注意力
机构 * University of Central Florida（中佛罗里达大学） ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出去噪注意力（DnA），通过正负查询分离相关与无关特征，提升多头部注意力的判别性，在ImageNet-1K上提升0.8%，并适用于视频理解任务。
Journal ref European Conference on Computer Vision (ECCV 2026)
点云视频的三效迁移学习
机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院） ； School of Information and Communication Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院） ； SIGS, Tsinghua University（清华大学深圳国际研究生院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出PoinTriE框架，通过伪运动轨迹合成、几何-运动对偶网络和时空侧网络，实现数据、参数和内存三方面高效的点云视频迁移学习，在动作识别和语义分割任务上取得新最优结果。
LEViL: 通过VLM生成的伪标签空间上的零样本蒸馏实现标签高效视频学习
机构 * Kocaeli University（科贾埃利大学）
专题命中 视频理解 ：video-language(abstract)；分类 cs.CV
AI总结 提出一种无需标注的视频预训练与目标标签集感知微调结合的标签高效视频学习框架，利用VLM生成伪标签空间进行零样本蒸馏，在有限标签下优于半监督方法。
UNIEGO：代理作为中介的统一自我中心视频表示学习
机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出分层多教师蒸馏框架UNIEGO，通过代理模型将异构教师知识转化为同质自我中心空间，并采用选择性代理蒸馏自适应筛选可靠监督，在三个自我中心视频理解任务上达到最优。
流式视频模型应该记住什么？
机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； University of California, Merced（加州大学默塞德分校） ； The University of Queensland（昆士兰大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对流式视频理解中固定记忆预算下的长程历史利用问题，提出选择性潜在记忆框架SelectStream，通过惊喜驱动自适应窗口、优先级保持合并和查询条件图推理三个机制，实现高效在线推理，在多个基准上取得领先性能。
KeepLoRA++: 基于层级缩放残差梯度适应的持续学习
机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration, Southeast University, Ministry of Education（东南大学计算机网络和信息集成教育部重点实验室） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对预训练视觉语言模型持续学习中保留预训练知识、旧任务知识和学习新知识的冲突，提出KeepLoRA++，通过层级缩放残差梯度适应方法，限制LoRA参数更新到残差子空间并采用浅到深层缩放，平衡三者，在图像分类、视觉问答和视频理解任务上优于基线。
HYDRA-X: 具有整体视觉分词器的原生统一多模态模型
机构 * Nanjing University（南京大学） ； CASIA（中国科学院自动化研究所） ； Tencent Hunyuan（腾讯混元） ； Zhongguancun Academy（中关村学院） ； Shanghai AI Lab（上海人工智能实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出HYDRA-X，首个在单一ViT中统一图像和视频分词的原生统一多模态模型，通过因果时间注意力和分层时间压缩实现高效重建，并利用轻量化解压缩器注入语义，显著提升编辑一致性和收敛速度。
MultiToP：学习修补视觉令牌以减轻视频大型多模态模型中的幻觉
机构 * Zhejiang University（浙江大学） ； Sun Yat-sen University（中山大学） ； East China Normal University（华东师范大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出MultiToP框架，通过轻量级视觉令牌修补器动态替换不可靠视觉令牌，结合信息引导排名校准和稀疏正则化，在不修改原模型情况下减少视频多模态模型幻觉，显著提升F1分数和问答准确率。
Comments Preprint
InternVideo3: 用多模态上下文推理代理化基础模型
机构 * Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出InternVideo3框架，通过多模态上下文推理（MCR）和高效KV缓存压缩方法M^2LA，增强长视频理解与迭代交互能力，在多个基准上取得强性能。
元数据感知的多提示推理用于零样本事故理解
机构 * Netradyne
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出三阶段流水线，通过视觉-语言相似性、元数据驱动的多提示推理和开放词汇检测，实现零样本事故视频的时序定位、语义分类和空间定位，显著提升性能。
Comments Accepted at the AUTOPILOT Workshop, CVPR 2026 (non-archival). Workshop Paper ID 15
Kwai Keye-VL-2.0 技术报告
机构 * Kuaishou Group（快手集团）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出开源MoE多模态基础模型Keye-VL-2.0，首次将DeepSeek稀疏注意力适配到GQA架构，支持无损256K上下文处理，并通过跨模态多教师策略蒸馏和上下文/视频强化学习解决多任务对齐中的灾难性遗忘，在长视频理解和智能体任务上达到同类最优。
Comments 31 pages, 11 figures
利用野外流式视频
机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； JD.COM（京东）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出Streaming Harness系统，通过Streaming-Train-248K数据集和训练目标，使视觉语言模型具备主动交互、长期记忆和实时处理能力，并构建Streaming-Eval基准评估流式视频理解。
OmniCap-IF：全视频字幕遵循指令能力的基准测试与改进
机构 * NJU-LINK Team, Nanjing University（南京大学 NJU-LINK 团队） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出首个全模态字幕指令遵循基准OmniCap-IF，通过格式与内容正确性评估50种约束类型，揭示格式-内容权衡，并构建54K指令微调数据集OmniCap-IF-54K及模型OmniCaptioner-IF。
OmniMem: 面向流式音视频大语言模型的扰动感知记忆压缩
机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） ； Department of Engineering, University of Cambridge（剑桥大学工程系）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出OmniMem，一种针对音视频LLM的流式记忆压缩框架，通过模态感知分配和扰动感知选择压缩KV缓存，在保持长视频理解的同时减少内存，在多个基准上提升2-4%准确率。
Comments Code: https://github.com/bytedance/SALMONN/tree/omni_mem
BasketEvent：理解篮球视频中谁在何时做了什么
机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）
专题命中 视频理解 ：video understanding(abstract)
AI总结 该研究旨在解决篮球视频理解问题，提出以球员为中心的BasketEvent数据集，引入PlayNet推理框架，通过建模多种互动并聚合时间证据进行事件预测，实验证明其在体育视频理解上优于基线。
EPIC：面向具身AR眼镜的高效自我中心感知系统框架
专题命中 视频理解 ：video understanding(abstract)
AI总结 提出EPIC系统，通过算法-硬件协同优化，利用注视、姿态和惯性信号推断用户意图，仅保留高分辨率感知输入中最具信息量的部分，平均减少27.5倍内存占用和24.3倍能耗，同时保持自我中心视频理解任务的智能辅助精度。
OneBar：一种面向电商视频流的端到端内容驱动生成式查询推荐框架
专题命中 视频理解 ：video understanding(abstract)
AI总结 提出OneBar框架，通过协同多模态意图对齐、统一端到端架构和渐进偏好学习，解决短视频平台查询推荐中的延迟和偏好漂移问题，显著提升查询曝光和点击。
Comments Any questions feel free to contact: benchen4395@gmail.com
基于推理时无梯度优化的空间接地文本到视频生成
机构 * ISIR - Sorbonne Université（ISIR - 索邦大学） ； Obvious Research
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(title,abstract)；分类 cs.CV
AI总结 针对文本到视频生成的空间可控性挑战，提出无训练无梯度的GATO-Vid方法，通过解析求解交叉注意力分数实现精确空间引导，在提升定位精度的同时降低计算开销。
Comments Final Version
Diff-VF：基于扩散模型的免训练高质量长视频生成
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
专题命中 视频生成 ：video generation(title,abstract)；long video(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 提出免训练的Diff-VF框架，通过三种互补策略及跳跃残差引导，实现高质量长视频生成，在时间一致性与动作多样性上优于现有基线。
Comments Accepted for publication in ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM)
CineWeaver：用于电影叙事的无训练参考可控多镜头长视频生成
机构 * Shanghai Jiao Tong University（上海交通大学） ； China Telecom（中国电信） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究院（电信AI））
专题命中 视频生成 ：video generation(title,abstract)；long video(title)；video diffusion(abstract)；text-to-video(abstract)
AI总结 CineWeaver是首个无训练的统一框架，通过操控位置编码、注意力模式等，实现参考可控的多镜头长视频生成，产出的电影视频时长较长且质量高。
移动字母表：文本到视频生成训练数据的对照研究
机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Purdue University（普渡大学）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(title,abstract)；video understanding(abstract)；分类 cs.CV
AI总结 研究文本到视频生成中数据分布和字幕质量对模型的影响，通过移动字母表测试平台进行对照实验，发现视频内容分布、字幕质量很关键，无分类器引导等可部分恢复模型，为相关模型开发提供参考。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈