多模态大模型

Graph it first! Enabling Reasoning on Long-form Egocentric Videos through Scene Graphs

先构建图！通过场景图实现长视频第一人称视频推理

Agnese Taluzzi, Riccardo Santambrogio, Simone Mentasti, Chiara Plizzari, Matteo Matteucci

机构 * Politecnico di Milano（米兰理工大学） ； Bocconi University（博科尼大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出利用第一人称场景图（EgoSGs）将长视频压缩为紧凑文本表示，在保持语义丰富性的同时大幅减少输入长度，使多模态大模型能在令牌预算内高效推理，在HD-EPIC VQA上取得最优结果。

DAP: Doppler-aware Point Network for Heterogeneous mmWave Action Recognition

DAP：面向异构毫米波的点网络用于人类动作识别

Jiaying Lin, Shiman Wu, Jinfu Liu, Can Wang, Mengyuan Liu

机构 * Peking University（北京大学） ； Huazhong University of Science and Technology（华中科技大学） ； DJI Technology Company Ltd.（大疆技术创新有限公司） ； Christian-Albrechts-Universität zu Kiel（基尔大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出DAP-Net，通过异构雷达源的跨模态对齐和D2R模块实现点云增强，提升动作识别的鲁棒性与准确性。

Event-based vision sensing and its application to pedestrian detection for intelligent transportation and surveillance

基于事件的视觉感知及其在智能交通与监控中行人检测的应用

Han Wang, Juntao Wu, Jingyuan Bao, Min Liu, Yaoxiong Wang, Saiao Zhou, Yuman Nie, Yun Li

机构 * Han Wang, Juntao Wu, Jingyuan Bao, Min Liu, Yaoxiong Wang, Saiao Zhou, Yuman Nie, Yun Li（未知） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 综述事件视觉感知原理及其在行人检测中的应用，比较事件驱动与传统帧方法的优劣，分析现有方法并讨论开放挑战与未来方向。

Comments Published in Advanced Engineering Informatics, Vol. 76, Part B, 104989 (2026). Received 31 December 2025; Revised 3 June 2026; Accepted 18 June 2026; Available online 23 June 2026. DOI: 10.1016/j.aei.2026.104989

MG-RWKV: Multi-Grained Context-Aware RWKV for Temporal Forgery Localization

MG-RWKV：用于时序伪造定位的多粒度上下文感知RWKV

Jingchen Ni, Cangjin Yu, Dan Jiang, Quan Zhang, Keyu Lv, Shannan Yan, Linyue Pan, Ke Zhang, Chun Yuan

机构 * Tsinghua University（清华大学） ； Soochow University（苏州大学） 纠错

专题命中 视频多模态 ：audio-visual(abstract)；分类 cs.CV

AI总结 提出MG-RWKV框架，利用RWKV的数据依赖状态演化实现O(T)复杂度的全序列处理，通过双向RWKV、多粒度专家混合和跨粒度一致性机制，在低计算成本下达到时序伪造定位任务的最优性能。

Comments Accepted to ECCV 2026

Linguistic Relative Policy Optimization for Video Anomaly Reasoning

语言相对策略优化用于视频异常推理

Jiaxu Leng, Jiankang Zheng, Mengjingcheng Mo, Zhanjie Wu, Haosheng Chen, Ji Gan, Xinbo Gao

机构 * Chongqing College of Artificial Intelligence（重庆人工智能学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出语言相对策略优化（LRPO），通过从多个推理轨迹中提取群体相对语义优势，构建语言表达的异常经验先验，无需参数更新即可引导模型输出，在无调参设置下显著超越现有方法。

Comments Accepted at ICML 2026; 18 pages, 8 figures, 9 tables

MindAU: EEG-Conditioned Facial Action Unit Editing via Dual-Stream Manifold Alignment

MindAU: 基于双流流形对齐的脑电条件面部动作单元编辑

Zhenhang Li, Xin Zhou, Hao Deng, Lijun Yin

机构 * Binghamton University（宾汉姆顿大学） ； Massachusetts General Hospital（马萨诸塞综合医院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出MindAU框架，通过双流流形对齐将EEG特征与AU文本语义和视觉位移对齐，实现高保真身份保持的面部动作单元编辑。

Segmenting, Fast and Slow: Real-Time Open-Vocabulary Video Instance Segmentation with Dual-Path Processing

分割，快与慢：双路径处理的实时开放词汇视频实例分割

Luca Barsellotti, Martin Sundermeyer, Mattia Segu, Nikita Araslanov, Muhammad Ferjad Naeem, Marcella Cornia, Yongqin Xian, Maxim Berman

机构 * Google TU Munich（谷歌慕尼黑分校） ； Munich Center for Machine Learning University of Modena（慕尼黑机器学习中心莫德纳大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出SegFS双流快慢框架，通过稀疏关键帧的开放词汇对象模型预测实例表示，并在特征空间条件化轻量快速网络，实现高效时域传播，在保持分割性能的同时将延迟降低至MOBIUS的1/14。

Comments ECCV 2026

SVI-Bench: A Dynamic Microworld for Strategic Video Intelligence

SVI-Bench: 一个用于战略视频智能的动态微世界

Yulu Pan, Han Yi, Seongsu Ha, Md Mohaiminul Islam, Benjamin Zhang, Lorenzo Torresani, Gedas Bertasius

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Northeastern University（东北大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出SVI-Bench，一个基于团队体育动态微世界的大规模基准，通过四个层级（动态场景理解、因果推理、战略模拟、智能体合成）的9个任务评估视频智能从感知到战略规划的能力，发现模型在感知任务上表现良好但在认知层级上性能急剧下降。

DriveVA: Video Action Models are Zero-Shot Drivers

DriveVA: 视频动作模型是零样本驱动器

Mengmeng Liu, Diankun Zhang, Jiuming Liu, Jianfeng Cui, Hongwei Xie, Guang Chen, Hangjun Ye, Michael Ying Yang, Francesco Nex, Hao Cheng

机构 * University of Twente（特温特大学） ； Xiaomi EV（小米电动汽车） ； University of Cambridge（剑桥大学） ； University of Bath（巴斯大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 DriveVA提出了一种新的自动驾驶世界模型，通过共享潜在生成过程联合解码未来视觉预测和动作序列，提升跨数据集和传感器配置的泛化能力，减少碰撞率和误差。

Comments Accepted to ECCV 2026. 30 pages, 12 figures, 11 tables

MIRTH: Mutual-Information Reasoning with Temporal Hubs for Vision-Language-Action Agents

MIRTH：面向视觉-语言-动作智能体的基于互信息推理的时间枢纽

Hao Sun, Yu Song, Shiyu Teng, Ziwei Niu, Yen-Wei Chen

机构 * College of Information Science and Engineering, Ritsumeikan University（立命馆大学信息科学与工程学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出MIRTH框架，通过双尺度时间记忆枢纽、互信息优化的潜在推理令牌和并行动作解码，解决VLA模型的时间短视、推理鸿沟和推理低效问题，在LIBERO和真实机器人上达到SOTA并展现错误恢复能力。

Comments Accepted as main conference paper at ACL 2026

RASR: Retrieval-Augmented Semantic Reasoning for Fake News Video Detection

RASR：基于检索的语义推理用于虚假新闻视频检测

Hui Li, Peien Ding, Jun Li, Guoqi Ma, Zhanyu Liu, Ge Xu, Junfeng Yao, Jinsong Su

机构 * School of Informatics, Xiamen University（厦门大学信息学院） ； School of Computer Science and Information Security, Guilin University of Electronic Technology（桂林电子科技大学计算机科学与信息安全学院） ； School of Computer and Big Data, Minjiang University（闽江学院计算机与大数据学院） ； Xiamen University（厦门大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出RASR框架，通过跨实例语义解析器和检索器、领域引导多模态推理模块和多视图特征解耦融合模块，提升虚假新闻视频检测的准确性和跨域泛化能力。

Comments The paper needs revision, and the experiments need to be expanded

EgoVITA: Learning to Plan and Verify for Egocentric Video Reasoning

EgoVITA：学习规划与验证以实现自我中心视频推理

Yogesh Kulkarni, Pooyan Fazli

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出EgoVITA框架，通过先规划自我中心动作序列再以第三方视角验证时空一致性的方法，提升自我中心视频推理的准确性。

Comments ECCV 2026

EgoCogNav: Cognition-aware Human Egocentric Navigation

EgoCogNav: 认知感知的人类自我中心导航

Zhiwen Qiu, Ziang Liu, Wenqian Niu, Tapomayukh Bhattacharjee, Saleh Kalantari

机构 * Cornell University（康奈尔大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出EgoCogNav多模态自我中心导航框架，联合预测路径不确定性、轨迹和头部运动，并引入CEN数据集，实验表明其能学习与人类扫描、犹豫等行为相关的感知不确定性。

Comments 15 pages, 4 figures

DreamForge-World 0.1 Preview: A Low-Compute Real-Time Controllable World Model

DreamForge-World 0.1 Preview：一种低计算量实时可控世界模型

Daniyel Ayupov, Artur Markov-Tsoy

机构 * DreamForge AI Lab（DreamForge AI实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出DreamForge-World 0.1 Preview，一种基于自回归视频堆栈和残差动作路径的低计算量实时交互世界模型，支持消费级GPU运行和多种交互功能。

Comments Project page: https://trydreamforge.com/

Dual-Flow Reinforcement Learning with State-Aware Exploration

双流强化学习与状态感知探索

Qijun Li, Zheng Fu, Qi Song, Yifei He, Weitao Zhou, Kun Jiang, Diange Yang

机构 * State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University（智能绿色车辆与移动国家重点实验室，清华大学） ； Tsinghua University-Toyota Joint Center（清华大学-丰田联合中心） ； Tsinghua University–SAIC GM Wuling Joint Research Center（清华大学-上汽通用五菱联合研究中心） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出Dual-Flow RL框架，利用条件流匹配联合建模回报分布和多模态策略，并引入熵-协方差探索调节器实现状态感知探索，在连续控制任务中达到最优性能。

Comments 12 pages, 6 figures, 1 table. This work has been submitted to the IEEE for possible publication

Event-VLA: Action-Conditioned Event Fusion for Robust Vision-Language-Action Model

Event-VLA: 基于动作条件的事件融合用于鲁棒的视觉-语言-动作模型

Jiaxin Liu, Xun Xu, Zhenhao Zhang, Hanqing Wang, Ruiqi Chen, Shi Chang, Weiyu Guo, Laurent Kneip

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对现有VLA模型在光照变化下鲁棒性不足的问题，提出Event-VLA框架，通过事件流作为光照鲁棒的运动敏感互补观测，利用动作查询路由和门控交叉注意力融合事件信息，提升低光及近黑暗环境下的操作成功率。

Vivid-VR: Distilling Concepts from Text-to-Video Diffusion Transformer for Photorealistic Video Restoration

Vivid-VR：基于文本到视频扩散变换器的文本概念蒸馏用于逼真视频修复

Haoran Bai, Xiaoxu Chen, Canqian Yang, Zongyao He, Sibin Deng, Ying Chen

机构 * Alibaba Group - Taobao & Tmall Group（阿里巴巴集团 - 淘宝天猫集团） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出Vivid-VR，通过文本到视频基础模型生成视频修复方法，利用ControlNet控制生成过程以保持内容一致性。为解决传统微调中的分布偏移问题，提出概念蒸馏策略，通过预训练T2V模型合成带文本概念的训练样本，提升纹理和时间一致性。

Comments Accepted by ICLR 2026; ICLR version of the paper: https://openreview.net/pdf?id=YV5Zgv8pdg

Video-MME-Logical: A Controlled Diagnostic Benchmark for Video Temporal-Logical Reasoning

Video-MME-Logical: 面向视频时序逻辑推理的受控诊断基准

Hohin Kwan, Hongyu Li, Ray Zhang, Manyuan Zhang, Xianghao Kong, Anyi Rao, Jiahao Xie, Si Liu

机构 * HKUST（香港科技大学） ； Colab, Beihang University（北京航空航天大学合作实验室） ； CUHK（香港中文大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 为隔离评估多模态大模型在视频中的时序逻辑推理能力，提出包含五种时序逻辑操作和25个细粒度任务类别的受控基准，通过控制时间跨度和推理复杂度进行难度可控评估，并支持中间状态诊断。

TuringViT: Making SOTA Vision Transformers Accessible to All

TuringViT：让最先进的视觉Transformer人人可用

Qiman Wu, Hanlin Chen, Lyujie Chen, Rui Xin, Jianlei Zheng, Mingyuan Wang, Jiahui Hu, Da Zhu, Yuecheng Ma, Yuhua Wei, Yizhao Wang, Hua Zhou, Yuheng Zhang, Anhua Liu, Shaman Tang, Yue He, Pengfei Diao, Shuang Su, Haotong Xin, Weichao Huang, Hang Zhang, Xianming Liu

机构 * Foundation Model Team, Xpeng Inc.（小鹏汽车基础模型团队） 纠错

专题命中 视频多模态 ：image-text(abstract)；分类 cs.CV

AI总结 提出TuringViT，通过图灵线性注意力、VISTA-Curation数据构建和原生动态分辨率预训练，仅用10%数据即可超越开源ViT基线，并显著提升下游VLM性能和高分辨率延迟。

HyLaR: Hybrid Latent Reasoning with Decoupled Policy Optimization

混合潜在推理与解耦策略优化

Tao Cheng, Shi-Zhe Chen, Hao Zhang, Yixin Qin, Jinwen Luo, Zheng Wei

机构 * Tencent PCG（腾讯PCG） ； Tencent CSIG（腾讯CSIG） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出HyLaR框架，通过结合离散文本生成与连续视觉潜在表示，提升多模态大语言模型在细粒度感知和通用多模态理解中的性能。

Comments Accepted to ECCV 2026

Journal ref ECCV 2026

An Approach to Enriching Surgical Video Datasets for Fine-Grained Spatial-Temporal Understanding of Vision-Language Models

一种丰富手术视频数据集的方法，用于视觉-语言模型的细粒度时空理解

Lennart Maack, Alexander Schlaefer

机构 * Hamburg University of Technology（汉堡理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出SurgSTU-Pipeline生成管道，通过时空连续性过滤创建细粒度时空问答数据集SurgSTU，提升视觉-语言模型在手术视频中的时空理解能力。

Chronic Kidney Disease Prognosis Prediction Using Transformer

使用Transformer进行慢性肾脏病预后预测

Yohan Lee, Dong Gyun Kang, SeHoon Park, Sa-Yoon Park, Kwangsoo Kim

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 提出基于Transformer的ProQ-BERT框架，利用多模态电子健康记录预测CKD进展，在9万余名患者数据上实现高达0.995的ROC-AUC。

Comments 5 pages, 2 figures, 2 tables

See, Infer, Intervene: Proactive World Modeling for Goal-Oriented Social Intelligence

观察、推断、干预：面向目标导向社交智能的主动世界建模

Honghui Zhang, Chenmeinian Guo, Yichen Yu, Guanyu Liu, Yujia Zhang, Yongming Qin, Chongguo Song, Mengyue Yang, Lei Yu, Tianyu Shi

机构 * Mita Technology（Mita技术公司） ； University of Bristol（布里斯托大学） ； University of Toronto（多伦多大学） ； McGill University（麦吉尔大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 提出 See-Infer-Intervene (SII) 框架和主动意图世界模型 (PIWM)，通过观察顾客行为、推断潜在意图并选择干预动作，实现零售场景中的主动辅助，在 GuidanceSalesBench 基准上达到 0.641 macro F1。

Comments 16 pages, 3 figures, 9 tables. Preprint

Probabilistic NDVI Forecasting from Sparse Satellite Time Series and Weather Covariates

基于稀疏卫星时间序列和天气协变量的概率NDVI预测

Irene Iele, Giulia Romoli, Daniele Molino, Elena Mulero Ayllón, Filippo Ruffini, Paolo Soda, Matteo Tortora

机构 * Department of Naval, Electrical, Electronics and Telecommunications Engineering, University of Genoa, Italy（海军、电子、电子与电信工程系，热那亚大学，意大利） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种概率预测框架，利用稀疏卫星数据和天气协变量进行田间NDVI预测，通过融合历史和未来数据实现多步分位数预测，实验表明优于传统和深度学习方法。

Learning Language-Driven Sequence-Level Modal-Invariant Representations for Video-Based Visible-Infrared Person Re-Identification

基于语言驱动的序列级模态不变表示学习用于视频可见光-红外行人重识别

Xiaomei Yang, Antai Liu, Xizhan Gao, Fa Zhu, Sijie Niu, Giancarlo Fortino

机构 * Shandong Key Laboratory of Ubiquitous Intelligent Computing, School of Information Science and Engineering, University of Jinan（山东省 Ubiquitous Intelligent Computing 重点实验室，济南大学信息科学与工程学院） ； College of Information Science and Technology & Artificial Intelligence, Nanjing Forestry University（信息科学与技术及人工智能学院，南京林业大学） ； Department of Informatics, Modeling, Electronics, and Systems, University of Calabria（信息学、建模、电子与系统系，卡利博大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出LSMRL方法，通过CLIP的时空特征学习、语义扩散和跨模态交互模块，结合模态级损失，学习序列级模态不变表示，在VVI-ReID任务上超越现有方法。

SurgAtlas: A Large-Scale Surgical Video-Language Dataset with 2,391 Hours of Open and Minimally Invasive Surgery

SurgAtlas：一个包含2,391小时开放和微创手术的大规模手术视频-语言数据集

Filippos Bellos, Andre S. Gala-Garza, Miaowei Wang, Alyssa M. Hardin, Ahmad M. Hider, Yayuan Li, Jing Bi, Susan Liang, Chenliang Xu, Donald S. Likosky, Jason J. Corso

机构 * University of Michigan（密歇根大学） ； University of Edinburgh（爱丁堡大学） ； Vanderbilt University Medical Center（范德比尔特大学医学中心） ； University of Colorado（科罗拉多大学） ； University of Rochester（罗切斯特大学） ； Michigan Medicine（密歇根医学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出SurgAtlas，最大手术视频-语言数据集（15,291视频，2,391小时，18专科，5,000+术式），首次大规模纳入开放手术并建立基准，通过多层级自动标注管道生成丰富注释，微调Qwen3-VL-8B在多个基准上达到领先。

UniTeD: Unified Temporal Diffusion for Joint Perception and Planning in Autonomous Driving

UniTeD: 面向自动驾驶联合感知与规划的时域统一扩散模型

Bo Zhao, Xinting Zhao, Naifan Li, Erkang Cheng, Haibin Ling

机构 * Nullmax ； Westlake University（西湖大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出UniTeD框架，通过共享生成空间的迭代去噪统一建模感知与规划，引入时域过渡模块和锚点刷新策略，在多个基准上达到最先进性能。

Comments Accept to ECCV 2026

Spatio-Temporal Mixture-of-Modality-Experts Diffusion for Quantitative DCE-MRI Synthesis from Incomplete MR Sequences

时空模态专家混合扩散：从不完整MR序列合成定量DCE-MRI

Junhyeok Lee, Kyu Sung Choi

机构 * Interdisciplinary Program in Cancer Biology, Seoul National University College of Medicine（首尔大学医学院癌症生物学跨学科项目） ； Department of Radiology, Seoul National University Hospital（首尔大学医院放射科） ； Department of Radiology, Seoul National University College of Medicine（首尔大学医学院放射科） ； Healthcare AI Research Institute, Seoul National University Hospital（首尔大学医院医疗人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出时空模态专家混合（ST-MoME）条件扩散框架，通过时空门控网络融合多模态专家特征，从任意子集合成3D DCE参数图，在386例脑肿瘤数据上16种缺失场景下取得最优NMSE。

State Space Models Meet Remote Sensing: A Survey

状态空间模型遇上遥感：综述

Qinzhe Yang, Chenyang Liu, Jia Xu, Zhenwei Shi, Zhengxia Zou

机构 * Shen Yuan Honors College, Beihang University（北航沈元荣誉学院） ； Department of Aerospace Intelligent Science and Technology, School of Astronautics, Beihang University（北京航空航天大学宇航学院航天智能科学与技术系） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室） ； Qian Xuesen Laboratory of Space Technology, China Academy of Space Technology（中国空间技术研究院钱学森空间技术实验室） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文综述了状态空间模型（SSM）在遥感中的应用，分析了其在密集视觉预测、多模态和时序遥感数据中的优势，并总结了架构设计进展与未来挑战。

Comments 25 pages, 5 figures, has been published in SCIS SCIQ1 IF=8.1 https://doi.org/10.1007/s11432-025-4780-1

AeroCast: Probabilistic 3D Trajectory Prediction for Non-Cooperative Aerial Obstacles via Transformer-MDN Architecture

AeroCast: 基于Transformer-MDN架构的非合作空中障碍物概率3D轨迹预测

Syed Izzat Ullah, Jose Baca

机构 * Department of Engineering, Texas A&M University–Corpus Christi（德克萨斯A&M大学科珀斯克里斯蒂分校工程系） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 提出AeroCast框架，结合Transformer编码器和混合密度网络，预测非合作空中障碍物的多模态轨迹，在五秒预测范围内将位移误差降低约50%，并支持实时部署。