AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
用于多事件长视频理解的模块化动态粒度视频语言模型
专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video reasoning(abstract)；分类 cs.CV
AI总结 针对长视频理解中视觉令牌预算与多事件捕捉的矛盾问题，提出MoD-VLLM框架，含正-负视频片段定位和模块化动态粒度反射模块，结合动态粒度强化学习策略，在多事件长视频基准测试中显著优于现有基线。
Comments Accepted by 2026 IEEE International Conference on Multimedia and Expo (ICME 2026)
视频流思考：VideoLLMs可以同时观看和思考
机构 * Huazhong University of Science and Technology（华中科技大学） ； MiLM Plus Xiaomi Inc.（小米公司）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 VST提出了一种视频流理解的新范式，通过在流式过程中激活推理，提高实时响应和理解能力，同时在多个基准测试中表现出更高的效率和泛化能力。
Comments Accepted by ECCV 2026, project page https://1ranguan.github.io/VST/
FVAttn：用于视频生成的具有运行时负载均衡的自适应稀疏注意力
机构 * Tencent Inc.（腾讯公司） ； Peking University（北京大学）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 研究视频生成中自注意力瓶颈问题，提出FVAttn方法，通过Top-$p$路由等技术及运行时负载均衡等策略，提升自适应稀疏注意力分布式执行效率，降低负载不平衡，实现注意力和推理加速，且视频质量有竞争力。
PE-Field 4D：作为画布的视频生成模型
机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Pixocial Technology（皮克社交科技）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 研究视频生成中扩散变换器控制场景几何形状的挑战，通过重新审视位置编码作用，引入几何感知交叉注意力机制及相关编码方案，构建可控视频生成框架，提升视点相关编辑任务的空间可控性且保留模型生成先验。
GeCo：通过运动和结构评估视频生成的几何一致性
机构 * Harvard University（哈佛大学） ； Google DeepMind（谷歌DeepMind） ； MIT（麻省理工学院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 GeCo通过融合残差运动和深度先验，检测静态场景中的几何变形和遮挡不一致问题，并用于评估视频生成模型的性能与缺陷。
重新思考视频GRPO中的奖励信号：当分数成为目标
机构 * University of Science and Technology of China（中国科学技术大学） ； Southeast University（东南大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出TaRoS框架，通过组件级评估和组内稀疏性解决GRPO中奖励信号失真问题，提升视频生成的视觉质量和对齐性。
用于逼真自回归视频生成的测试时噪声引导适应
机构 * Information Technologies Institute, CERTH（信息技术研究所，希腊研究与技术中心） ； University of Amsterdam（阿姆斯特丹大学）
专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；long video(abstract)；分类 cs.CV
AI总结 研究针对自回归视频扩散模型误差积累问题，提出TANGO方法，通过噪声引导优化避免模型陷入终点，在VBench上有显著改进，降低了弗雷歇视频距离。
Comments ECCV2026
生成模型了解空间：解锁隐式3D先验用于场景理解
机构 * Huazhong University of Science and Technology（华中科技大学） ； Baidu Inc.（百度公司）
专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 本文提出通过大规模视频生成模型的隐式空间先验提升场景理解，引入VEGA-3D框架，利用预训练视频扩散模型作为潜在世界模拟器，通过时空特征提取与语义融合增强大语言模型的几何信息，实验验证其在3D场景理解、空间推理和具身操控中的优越性。
Comments Accepted by ECCV 2026
DSTAR：通过减少空间和时间冗余加速扩散变换器
专题命中 视频扩散模型 ：video generation(abstract)
AI总结 研究针对扩散变换器多迭代推理低效耗能问题，提出软硬件协同设计框架DSTAR。算法上用细粒度混合精度量化和稀疏注意力重用机制，架构上设计专用硬件加速器，经评估在多个典型DiTs上实现显著延迟加速和节能，且不降低精度。
Comments Accepted to the 59th IEEE/ACM International Symposium on Microarchitecture (MICRO 2026)
将视频搜索为树：用于有基础的长视频问答的自校正智能体
机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Sony（索尼）
专题命中 视频问答 ：long video(title,abstract)；分类 cs.CV
AI总结 研究有基础的长视频问答问题，提出VideoTreeSearch框架，通过构建自适应时间树及可学习的离散操作让智能体导航，经监督微调与强化学习训练，在多个基准测试中表现出色，证明自校正分层搜索是关键机制。
SlotMem：用于叙事长视频生成的字符可寻址内部存储器
机构 * The University of Hong Kong（香港大学） ； Tsinghua University（清华大学）
专题命中 长视频与时序推理 ：video generation(title,abstract)；long video(title,abstract)；分类 cs.CV
AI总结 研究针对叙事长视频生成中保持角色身份的挑战，提出SlotMem框架，通过字符语义探测器定位视觉令牌，记忆编码器压缩记忆，记忆写入器更新记忆，逐角色交叉注意力检索记忆，提升了远程角色一致性与视频质量。
基于注意力的MLLM选择器在测试时对长视频进行高效帧选择
机构 * ZJU（浙江大学） ； NJU（南京大学） ； CSU（中南大学） ； Microsoft（微软公司） ； NJUST（南京理工大学）
专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV
AI总结 研究利用MLLMs中验证选择提取层的跨模态注意力构建无训练的DAFS帧选择器，通过查询条件聚合提取帧级证据，将候选池大小和每帧令牌预算联合分配问题用动态规划解决，在Video-MME上表现出色，且无需重新训练即可跨多种模型和任务泛化。
LVSum：一个用于时间感知长视频摘要的基准测试
机构 * Apple（苹果公司）
专题命中 视频数据与评测 ：long video(title,abstract)；分类 cs.CV
AI总结 本文提出LVSum基准测试，用于评估长视频摘要中时间对齐的性能，通过引入新的评估指标揭示现有MLLM在时间理解上的系统性差距。
Comments 25 pages, 5 tables, 3 figures
视频场景解析的全面综述：进展、挑战与展望
机构 * College of Software, Nankai University Tianjin China ； School of Electrical ； Electronic Engineering, NTU \& Institute for Infocomm Research, A STAR Singapore ； School of Information ； College of Computer Science, Nankai University Tianjin China ； VCIP, College of Computer Science, Nankai University Tianjin China ； Academy for Advanced Interdisciplinary Studies, Nankai University Tianjin China ； Nankai International Advanced Research Institute Shenzhen Futian China ； College of Software, Nankai University ； Electronic Engineering, NTU \& Institute for Infocomm Research, A STAR ； College of Computer Science, Nankai University ； VCIP, College of Computer Science, Nankai University ； Academy for Advanced Interdisciplinary Studies, Nankai University ； Nankai International Advanced Research Institute
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV
AI总结 该综述对视频场景解析在五项任务上的进展进行梳理，涵盖从手工线索到基础模型方法的文献架构，分析各方法特点，比较相关数据集等，指出设计权衡和失败模式，并给出未来发展方向。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈