多模态大模型

HippoMM: Hippocampal-inspired Multimodal Memory for Long Audiovisual Event Understanding

HippoMM：基于海马体的多模态记忆用于长音频视频事件理解

Yueqian Lin, Jingyang Zhang, Qinsi Wang, Hancheng Ye, Yuzhe Fu, Yudong Liu, Hai "Helen" Li, Yiran Chen

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.MM

AI总结 HippoMM通过整合事件分割、记忆巩固和分层记忆检索，实现长音频视频事件理解，达到78.2%的准确率，比基线模型快5倍。

Comments Accepted at CVPR 2026 Findings

Catalogue Grounded Multimodal Attribution for Museum Video under Resource and Regulatory Constraints

博物馆视频下的资源与监管约束下的目录引导多模态归因

Minsak Nanang, Adrian Hilton, Armin Mustafa

机构 * University of Surrey（萨里大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出一种目录引导的多模态归因方法，用于博物馆视频内容的自动化元数据生成，以提高档案馆发现性并满足资源和监管要求。

Comments Demo video url: https://jn00767.pages.surrey.ac.uk/catalogue-grounded-multimodal-attribution-for-museum-video/

SafePLUG: Empowering Multimodal LLMs with Pixel-Level Insight and Temporal Grounding for Traffic Accident Understanding

SafePLUG: 通过像素级洞察和时间锚定赋能多模态大语言模型以理解交通事故

Zihao Sheng, Zilin Huang, Yansong Qu, Jiancong Chen, Yuhao Luo, Yen-Jung Chen, Yue Leng, Sikai Chen

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Purdue University（普渡大学） ； Google（谷歌） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SafePLUG框架，通过像素级理解和时间锚定提升多模态大语言模型在交通事故分析中的能力，引入新数据集并实现区域问答、像素分割、时间事件定位等任务的高性能表现。

Comments The code, dataset, and model checkpoints will be made publicly available at: https://zihaosheng.github.io/SafePLUG

BVFLMSP : Bayesian Vertical Federated Learning for Multimodal Survival with Privacy

BVFLMSP：基于贝叶斯垂直联邦学习的多模态生存预测

Abhilash Kar, Basisth Saha, Tanmay Sen, Biswabrata Pradhan

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出BVFLMSP框架，通过贝叶斯神经网络处理多模态数据，实现隐私保护下的生存预测，提升预测可靠性并提供不确定性估计。

AURA: Multimodal Shared Autonomy for Real-World Urban Navigation

AURA：多模态共享自主控制用于真实世界城市导航

Yukai Ma, Honglin He, Selina Song, Wayne Wu, Bolei Zhou

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Zhejiang University（浙江大学） 纠错

专题命中 视频多模态 ：multimodal(title)；multi-modal(abstract)

AI总结 AURA通过将城市导航分解为高层人类指令和低层AI控制，减少人工操作负担，提升导航稳定性，并在真实世界中实现44%的接管减少。

Comments 17 pages, 18 figures, 4 tables, conference

GroundVTS: Visual Token Sampling in Multimodal Large Language Models for Video Temporal Grounding

GroundVTS：多模态大语言模型中的视频时间定位视觉标记采样

Rong Fan, Kaiyan Xiao, Minghao Zhu, Liuyi Wang, Kai Dai, Zhao Yang

机构 * Newcapec AI Research（新开普人工智能研究院） ； Fudan University（复旦大学） ； Tongji University（同济大学） 纠错

专题命中 视频多模态 ：multimodal(title)；分类 cs.CV

AI总结 本文提出GroundVTS，通过细粒度查询引导机制筛选视觉标记，提升视频时间定位的时空信息保留与时间连贯性，实验表明其在三个标准基准上优于现有方法。

Comments Published as a conference paper at CVPR 2026

Transformer self-attention encoder-decoder with multimodal deep learning for response time series forecasting and digital twin support in wind structural health monitoring

基于多模态深度学习的Transformer自注意力编码器-解码器：用于响应时间序列预测和风力结构健康监测的数字孪生支持

Feiyu Zhou, Marios Impraimakis

机构 * Department of Mechanical Engineering, University of Bath（巴斯大学机械工程系） ； Department of Civil Engineering, Zhejiang University（浙江大学土木工程系） 纠错

专题命中 视频多模态 ：multimodal(title)；分类 cs.AI

AI总结 本文提出一种基于Transformer的多模态深度学习方法，用于风力结构响应时间序列预测和数字孪生支持，通过捕捉系统时间特性提升结构健康监测的准确性与鲁棒性。

Comments 21 pages, 22 figures, 9 tables. This version corresponds to the published article in Computers & Structures. https://doi.org/10.1016/j.compstruc.2026.108216

Journal ref Computers and Structures 326 (2026) 108216

The First Mass Protest on Threads: Multimodal Mobilization and AI-Generated Visuals in Taiwan's Bluebird Movement

台湾蓝鸟运动中的首次大规模抗议：多模态动员与AI生成视觉内容

Tracy Weener, Ho-Chun Herbert Chang

专题命中 视频多模态 ：multimodal(title)

AI总结 本文分析台湾2024年蓝鸟运动中文本与视觉信息的传播动态，揭示算法曝光与用户支持的不对称性及AI生成图像在抗议中的作用。

Ego-Grounding for Personalized Question-Answering in Egocentric Videos

面向第一视角视频的个性化问答中的自我定位

Junbin Xiao, Shenglang Zhang, Pengxiang Zhu, Angela Yao

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MyEgo数据集，用于评估多模态大语言模型在需要自我定位的个性化问答中的能力，发现现有模型在自我记忆和推理方面存在显著不足。

Comments To appear at CVPR'26

HieraVid: Hierarchical Token Pruning for Fast Video Large Language Models

HieraVid：用于快速视频大语言模型的分层令牌修剪

Yansong Guo, Chaoyang Zhu, Jiayi Ji, Jianghang Lin, Liujuan Cao

机构 * Xiamen University（厦门大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 HieraVid通过分层修剪框架减少视频令牌冗余，提升视频大语言模型的效率，在保留性能的同时实现30%的令牌保留率。

FSKD: Monocular Forest Structure Inference via LiDAR-to-RGBI Knowledge Distillation

FSKD：通过LiDAR到RGBI知识蒸馏推断单目森林结构

Taimur Khan, Hannes Feilhauer, Muhammad Jazib Zafar

机构 * Helmholtz Centre for Environmental Research – UFZ（亥姆霍兹环境研究中心） ； Leipzig University（莱比锡大学） ； Georg-August University of Göttingen（哥廷根大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FSKD框架，利用多模态教师模型融合RGBI影像与LiDAR衍生的平面指标和垂直剖面，通过交叉注意力机制，使RGBI-only的SegFormer学生模型在零样本情况下实现最先进的CHM性能，同时预测PAI和FHD等多指标。

Comments Paper in-review

VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification

VideoZeroBench: 通过时空证据验证探测视频多模态大语言模型的极限

Jiahao Meng, Tan Yue, Qi Xu, Haochen Wang, Zhongwei Ren, Weisong Liu, Yuhao Wang, Renrui Zhang, Yunhai Tong, Haodong Duan

机构 * PKU（北京大学） ； WHU（武汉大学） ； CASIA（中国科学院自动化研究所） ； BJTU（北京交通大学） ； CUHK（香港中文大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 VideoZeroBench通过严格验证时空证据，揭示视频多模态大语言模型在长视频问答中的不足，发现即使在标准设置下，模型正确率也低于17%，且在严格约束下性能显著下降，凸显了基于证据的视频理解仍是瓶颈。

Multi-Agent Video Recommenders: Evolution, Patterns, and Open Challenges

多智能体视频推荐系统：演进、模式与开放挑战

Srivaths Ranganathan, Abhishek Dharmaratnakar, Anushree Sinha, Debanshu Das

机构 * Google LLC（谷歌公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文探讨多智能体视频推荐系统的演进、协作模式及挑战，分析了从早期MARL到LLM驱动架构的发展，并提出可扩展性、多模态理解等开放问题。

Comments Accepted for publication in The Nineteenth ACM International Conference on Web Search and Data Mining (WSDM Companion 2026)

FTPFusion: Frequency-Aware Infrared and Visible Video Fusion with Temporal Perturbation

FTPFusion：基于时序扰动的频率感知红外与可见视频融合

Xilai Li, Chusheng Fang, Xiaosong Li

机构 * Foshan University（佛山大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出FTPFusion方法，通过时序扰动和稀疏跨模态交互实现红外与可见视频融合，提升时序稳定性和空间细节保留。

A3R: Agentic Affordance Reasoning via Cross-Dimensional Evidence in 3D Gaussian Scenes

A3R: 通过跨维度证据进行3D高斯场景中的代理 affordance 推理

Di Li, Jie Feng, Guanbin Li, Ronghua Shang, Yuhui Zheng, Weisheng Dong, Guangming Shi

机构 * Xidian University（西安电子科技大学） ； Sun Yat-sen University（中山大学） ； Qinghai Normal University（青海师范大学） 纠错

专题命中 视频多模态 ：MLLM(abstract)；分类 cs.CV

AI总结 本文提出A3R框架，通过跨维度证据获取提升复杂3D高斯场景中细粒度affordance推理的准确性与效率。

Director: Instance-aware Gaussian Splatting for Dynamic Scene Modeling and Understanding

Director: 用于动态场景建模与理解的实例感知高斯点云

Yuheng Jiang, Yiwen Cai, Zihao Wang, Yize Wu, Sicheng Li, Zhuo Su, Shaohui Jiao, Lan Xu

机构 * ShanghaiTech University（上海科技大学） ； ByteDance（字节跳动） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Director通过联合建模人类性能、高保真渲染和实例级语义，实现动态场景的时空高斯表示，提升动态场景理解的稳定性与准确性。

Comments Project page: https://caiyw2023.github.io/Director/

Seeing without Pixels: Perception from Camera Trajectories

无需像素的感知：从相机轨迹进行感知

Zihui Xue, Kristen Grauman, Dima Damen, Andrew Zisserman, Tengda Han

机构 * Google DeepMind（谷歌DeepMind） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文探讨通过相机轨迹而非像素感知视频内容的可能性，提出CamFormer框架，证明轨迹信息能有效用于视频内容理解及多种下游任务。

Comments Accepted by CVPR 2026, Project website: https://sites.google.com/view/seeing-without-pixels

Posterior Optimization with Clipped Objective for Bridging Efficiency and Stability in Generative Policy Learning

后验优化与截断目标：在生成策略学习中平衡效率与稳定性

Yuhui Chen, Haoran Li, Zhennan Jiang, Yuxing Qin, Yuxuan Wan, Weiheng Liu, Dongbin Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； CFCS, School of Computer Science, Peking University（北京大学计算机学院前沿计算研究中心） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 本文提出POCO框架，通过后验推断方法改进策略，结合离线到在线范式，提升生成模型在机器人操控中的稳定性和效率，实验证明其在多个任务中表现优异。