多模态大模型

Multimodal Contextualized Support for Enhancing Video Retrieval System

多模态上下文支持用于增强视频检索系统

Quoc-Bao Nguyen-Le, Thanh-Huy Le-Nguyen

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种多模态视频检索系统，通过整合多帧信息提取更高层次的抽象信息，提升视频检索的准确性与深度。

Comments This paper has been withdrawn by the author. After further review, the author believes that the current version does not meet the desired standards and plans to revise the work before any potential resubmission

DualFact+: A Multimodal Fact Verification Framework for Procedural Video Understanding

DualFact+: 一种用于过程视频理解的多模态事实验证框架

Cennet Oguz, Yasser Hamidullah, Josef van Genabith, Simon Ostermann

机构 * German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） ； Saarland Informatics Campus（萨尔兰信息学校区） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 DualFact+通过双层多模事实验证框架，针对过程视频描述中的概念事实和上下文事实进行评估，揭示了多模态事实 grounding 的挑战。

Comments ACL 2026 Findings

Multi-Modal Landslide Detection from Sentinel-1 SAR and Sentinel-2 Optical Imagery Using Multi-Encoder Vision Transformers and Ensemble Learning

基于Sentinel-1 SAR和Sentinel-2光学影像的多模态滑坡检测：使用多编码器视觉Transformer和集成学习

Ioannis Nasios

机构 * NodalPoint 纠错

专题命中 视频多模态 ：multi-modal(title)；分类 cs.CV

AI总结 本文提出融合Sentinel-2光学影像与Sentinel-1 SAR数据的多模型框架，利用多编码器视觉Transformer和集成学习提升滑坡检测精度，实现91.9的F1分数。

OmniVTG: A Large-Scale Dataset and Training Paradigm for Open-World Video Temporal Grounding

OmniVTG：一种大规模数据集和开放世界视频时间定位的训练范式

Minghang Zheng, Zihao Yin, Yi Yang, Yuxin Peng, Yang Liu

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） ； Central Media Technology Institute, Huawei Technologies Ltd.（华为技术有限公司中央媒体技术研究所） ； PKU-WUHAN Institute for Artificial Intelligence, Peking University（北京大学武汉人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出OmniVTG数据集和Self-Correction Chain-of-Thought训练范式，通过语义覆盖迭代扩展管道构建大规模数据集，并利用多模态大语言模型的密集描述能力提升视频时间定位性能。

Comments CVPR 2026

Co-Director: Agentic Generative Video Storytelling

Co-Director: 基于代理的生成视频叙事

Yale Song, Yiwen Song, Nick Losier, Nathan Hodson, Ye Jin, Rhyard Zhu, Yan Xu, Daniel Vlasic, Carina Claassen, Jasmine Leon, Khanh G. LeViet, Zack Chomyn, Joe Timmons, Brett Slatkin, Scott Penberthy, Tomas Pfister

机构 * Google（谷歌） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI、cs.MM

AI总结 本文提出Co-Director框架，通过分层多代理方法解决视频生成的语义一致性问题，引入分层参数化和多模态自优化循环，实现叙事策略探索与有效配置的平衡，通过GenAD-Bench验证其在个性化广告中的优越性。

Comments Project Page: https://co-director-agent.github.io/

DIAL: Decoupling Intent and Action via Latent World Modeling for End-to-End VLA

DIAL: 通过潜在世界建模解耦意图与动作以实现端到端VLA

Yi Chen, Yuying Ge, Hui Zhou, Mingyu Ding, Yixiao Ge, Xihui Liu

机构 * The University of Hong Kong（香港大学） ； XPENG Robotics（小鹏机器人） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 DIAL通过潜在意图瓶颈解耦意图与动作，利用VLM进行潜在世界建模并结合轻量策略实现端到端VLA，实验表明其在RoboCasa GR1任务中优于现有方法，且在真实世界部署中表现稳健。

Comments Project page: https://xpeng-robotics.github.io/dial

OneThinker: All-in-one Reasoning Model for Image and Video

OneThinker：面向图像和视频的统一推理模型

Kaituo Feng, Manyuan Zhang, Hongyu Li, Kaixuan Fan, Shuang Chen, Yilei Jiang, Dian Zheng, Peiwen Sun, Yiyuan Zhang, Haoze Sun, Yan Feng, Peng Pei, Xunliang Cai, Xiangyu Yue

机构 * MMLab, CUHK（CUHK多媒体实验室） ； Meituan Home（美团家） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 OneThinker提出一个统一的多模态推理模型，整合图像和视频理解，涵盖问答、描述生成、空间时间定位、跟踪和分割等任务，通过构建大规模训练语料和EMA-GRPO算法提升多任务强化学习效果。

Comments CVPR 2026, Project page: https://github.com/tulerfeng/OneThinker