多模态大模型

CAM-VFD: Cross-Attention Multimodal Video Forgery Detection

CAM-VFD: 跨注意力多模态视频伪造检测

Hoda Osama Elkhodary, Sherin Mostafa Youssef, Marwa Elshenawy, Dalia Sobhy

机构 * Computer Engineering Department, College of Engineering and Technology, Arab Academy for Science, Technology and Maritime Transport（计算机工程系，工程与技术学院，阿拉伯科学、技术与海运交通学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对深度伪造技术和视频编辑工具快速发展带来的挑战，本文提出CAM-VFD框架，通过跨模态矛盾建模实现多模态视频伪造检测，实验表明其在两个生成视频基准测试中表现出色，具有良好的鲁棒性。

UTOPYA: A Multimodal Deep Learning Framework for Physics-Informed Anomaly Detection and Time-Series Prediction

UTOPYA：一种用于物理信息异常检测和时间序列预测的多模态深度学习框架

Robson W. S. Pessoa, Julien Amblard, Alessandra Russo, Idelfonso B. R. Nogueira

机构 * Department of Chemical Engineering, Norwegian University of Science and Technology (NTNU)（化学工程系，挪威科学与技术大学） ； Department of Computing, Imperial College London（计算系，帝国理工学院伦敦分校） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 本文提出UTOPYA框架，通过融合八种数据模态，利用FiLM条件交叉模态注意力和门控融合，共同解决批次蒸馏中的异常检测、时间序列预测和相分类问题，并通过物理信息正则化方案和课程学习方法提升性能。

Are Multimodal LLMs Ready for Surveillance? A Reality Check on Zero-Shot Anomaly Detection in the Wild

多模态大语言模型是否准备好用于监控？对零样本异常检测在现实中的检验

Shanle Yao, Armin Danesh Pazho, Narges Rashvand, Hamed Tabkhi

机构 * Electrical and Computer Engineering Department（电气与计算机工程系） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了多模态大语言模型在现实中的零样本异常检测性能，发现其存在保守偏差，通过特定指令可以提升F1分数，但召回率仍是关键瓶颈。

Empowering VLMs for Few-Shot Multimodal Time Series Classification via Tailored Agentic Reasoning

通过定制代理推理增强VLMs在少样本多模态时间序列分类中的能力

Lin Li, Jiawei Huang, Qihao Quan, Dan Li, Boxin Li, Xiao Zhang, Erli Meng, Wenjie Feng, Jian Lou, See-Kiong Ng

机构 * Sun Yat-sen University（中山大学） ； Xiaomi Corporation（小米公司） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI、cs.MM

AI总结 本文提出MarsTSC框架，通过自演化知识库和代理推理提升少样本多模态时间序列分类性能，实验表明其在六个VLM基础上均优于传统和基础模型基线。

Comments 18 pages, 12 figures, 6 tables. Preprint

Mosaic: Towards Efficient Training of Multimodal Models with Spatial Resource Multiplexing

Mosaic：迈向多模态模型高效训练的时空资源复用

Yanbo Wang, Yuxuan Wang, Chen Chen, Chunyu Xue, Yu Feng, Anbang Wu, Quan Chen, Yin Chen, Qizhen Weng

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出Apollo系统，通过时空复用方法提升多模态模型训练效率，采用灵活的执行引擎和性能模型生成高质量部署计划，实测训练速度提升达1.31倍。

PyraVid: Hierarchical Multimodal Memory for Long-Horizon Video Reasoning

PyraVid: 用于长时间视频推理的分层多模态记忆

Sikuan Yan, Sicheng Dong, Haotong Wang, Ercong Nie, Yilun Liu, Jinhe Bi, Yingjie Xu, Susanna Schwarzmann, Riccardo Trivisonno, Volker Tresp, Yunpu Ma

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出PyraVid，一种分层多模态记忆框架，通过事件分割理论启发，解决长视频中多模态信息整合、人本信息对齐和证据聚合等挑战，提升长时间视频推理性能。

Hi-GaTA: Hierarchical Gated Temporal Aggregation Adapter for Surgical Video Report Generation

Hi-GaTA：用于外科视频报告生成的分层门控时间聚合适配器

Kedi Sun, Chaohui Dang, Yue Feng, James Glasbey, Theodoros N. Arvanitis, Le Zhang

机构 * School of Engineering, College of Engineering and Physical Sciences, University of Birmingham, Birmingham, UK（英国伯明翰大学工程学院） ； School of Computer Science, University of Birmingham, Birmingham, UK（英国伯明翰大学计算机科学学院） ； Department of Applied Health Sciences, University of Birmingham, Birmingham, UK（英国伯明翰大学应用健康科学系） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出Hi-GaTA框架，通过时间聚合压缩长视频序列生成LLM兼容的视觉前缀令牌，结合预训练的外科专用视频编码器和LoRA微调，实现高质量外科报告生成。

Comments 11 pages, 2 figures

Mining Forgery Traces from Reconstruction Error: A Weakly Supervised Framework for Multimodal Deepfake Temporal Localization

从重建误差中挖掘伪造痕迹：一种用于多模态深度伪造时间定位的弱监督框架

Midou Guo, Qilin Yin, Wei Lu, Rui Yang

机构 * School of Computer Science and Engineering（计算机科学与工程学院） ； Sun Yat-sen University（中山大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频多模态 ：multimodal(title)；分类 cs.CV

AI总结 本文提出RT-DeepLoc框架，通过重建误差识别深度伪造，利用MAE学习真实数据的时空模式，结合不对称视频对比损失提升定位精度，实验表明在大规模数据集上达到弱监督时间伪造定位的最新水平。

See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding

See What I Mean: 对齐视觉与语言表示以实现视频细粒度物体理解

Boyuan Sun, Bowen Yin, Yuanming Li, Xihan Wei, Qibin Hou

机构 * VCIP, CS, Nankai University（南开大学计算机科学与技术学院） ； Tongyi Lab, Alibaba Group（阿里云实验室） ； NKIARI, Shenzhen Futian（深圳福田国家信息研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SWIM方法，通过对齐视觉和语言表示，仅从文本提示中实现细粒度物体理解，解决了传统方法需要显式视觉提示的问题，通过构建NL-Refer数据集和多层交叉注意力图提升文本-视觉对齐性能。

Journal ref CVPR 2026

Visual Agentic Memory: Enabling Online Long Video Understanding via Online Indexing, Hierarchical Memory, and Agentic Retrieval

视觉代理记忆：通过在线索引、分层记忆和代理检索实现在线长视频理解

Aiden Yiliu Li, Nels Numan, Anthony Steed

机构 * University College London（伦敦大学学院） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出视觉代理记忆框架，通过在线索引、分层记忆和代理检索实现长视频理解，实验显示其在OVO-Bench和MM-Lifelong数据集上均取得优异成绩。

MARS: Technical Report for the CASTLE Challenge at EgoVis 2026

MARS：EgoVis 2026 CASTLE挑战的技术报告

Haoyu Zhang, Qiaohui Chu, Yisen Feng, Meng Liu, Weili Guan, Yaowei Wang, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室） ； Shandong Jianzhu University（山东建筑大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MARS系统，用于EgoVis 2026的CASTLE挑战，通过多模态代理推理解决需要多源信息的复杂问题，核心方法是多模态证据选择，主要贡献是实现了在多源数据上的有效推理。

Comments The Runner-up Solution for CASTLE Challenge @ EgoVis 2026

UAM: A Dual-Stream Perspective on Forgetting in VLA Training

UAM：VL A训练中遗忘的双流视角

Jianke Zhang, Yuanfei Luo, Yucheng Hu, Xiaoyu Chen, Yanjiang Guo, Ziyang Liu, Hongbin Xu, Tian Lan, Jianyu Chen

机构 * Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出UAM模型，通过双流架构解决VL A训练中因单一编码器导致的多模态能力下降问题，展示了通过架构分离而非冻结权重或辅助数据可实现语义保留，并在多种任务中取得高成功率。

Agentic Pipeline for Self-Synchronized Multiview Joint Angle Monitoring in Uncalibrated Environments

基于代理的自同步多视角关节角度监控管道：在无标定环境中

Juncheng Yu, Lusi A, Haoxuan Xie, Weiming Wang

机构 * National Engineering Research Center of Neuromodulation, School of Aerospace Engineering, Tsinghua University（神经调制国家工程研究中心，航空航天工程学院，清华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于代理的自同步多视角关节角度监控方法，利用两台摄像头在无标定环境下实现自动视频同步和自验证，通过多模态大语言模型和先进单目2D姿态估计模型提取候选姿态，并通过代理选择机制自动识别和跟踪目标个体，以在多人和遮挡情况下产生一致的2D姿态，从而估计关节角度。

Comments Accepted by EMBC 2026. 7 pages, 3 figures

SPIKE: An Adaptive Dual Controller Framework for Cost-Efficient Long-Horizon Game Agents

SPIKE：一种适应性双控制器框架，用于成本效益高的长周期游戏智能体

Wencan Jiang, Jiangning Zhang, Jianbiao Mei, Jinzhuo Liu, Yu Yang, Xiaobin Hu, Zhucun Xue, Yong Liu, Dacheng Tao

机构 * Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出SPIKE框架，通过双控制器设计实现成本高效长周期游戏智能体，通过事件触发机制和分层记忆结构提升目标导向性和任务完成率，实验表明在StarDojo数据集上显著提升成功率并降低资源消耗。

Comments https://wencanjiang.github.io/projects/SPIKE/

ISEP: Implicit Support Expansion for Offline Reinforcement Learning via Stochastic Policy Optimization

ISEP: 通过随机策略优化实现离线强化学习的隐式支持扩展

Yifei Chen, Shaoqin Zhu, Xiaoqiang Ji

机构 * The Chinese University of Hong Kong, Shenzhen Longgang（香港中文大学（深圳）松山湖校区） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出ISEP方法，通过随机策略优化实现离线强化学习中的隐式支持扩展，以解决传统方法在安全约束下难以发现最优行为的问题，核心贡献是通过价值函数插值和随机动作选择策略提高策略改进的导航能力。

Learning Native Continuation for Action Chunking Flow Policies

学习原生延续以实现动作分块流策略

Yufeng Liu, Hang Yu, Juntu Zhao, Bocheng Li, Di Zhang, Mingzhu Li, Wenxuan Wu, Yingdong Hu, Junyuan Xie, Junliang Guo, Dequan Wang, Yang Gao

机构 * Spirit AI 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出Legato方法，通过训练时的延续技术改进动作分块流基于VLA策略，减少动作边界不连续性和伪多模态切换，提升轨迹平滑度和任务完成效率。

Comments Accepted by Robotics: Science and Systems 2026 (RSS 2026). Project page: https://lyfeng001.github.io/Legato/

Peak-Detector: Explainable Peak Detection via Instruction-Tuned Large Language Models in Physiological Sign

峰值检测器：通过指令调优的大语言模型实现可解释的多模态峰值检测

Jiahui Li, Yida Zhang, Zixuan Zeng, Jiayu Chen, Yingjian Song, Yin Xiao, Nishan Dong, Junjie Lu, Younghoon Kwon, Xiang Zhang, Jin Lu, Wenzhan Song, Fei Dou

机构 * University of Georgia（佐治亚大学） ； Yixing People’s Hospital（宜兴人民医院） ； University of Washington（华盛顿大学） ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 本文提出Peak-Detector框架，利用指令调优的大语言模型实现跨模态、可解释的峰值检测，通过峰表示技术压缩时间序列数据并提升检测准确性，同时生成解释性内容以支持验证与错误分析。

Hierarchical Two-Stage Framework for Environment-Aware Long-Horizon Vessel Trajectory Prediction

面向环境的长航程船舶轨迹预测分层两阶段框架

Ganeshaaraj Gnanavel, Tharindu Fernando, Sridha Sridharan, Clinton Fookes

机构 * SAIVT Research Group, Queensland University of Technology（SAIVT研究组，昆士兰理工大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 本文提出分层两阶段框架，结合长短期预测器与网格感知短期预测器，通过分层融合机制提升船舶轨迹预测精度，实验显示在ADE和FDE上优于现有方法。

Implementation-Based Incentive Design for Autonomous Mobility-on-Demand and Transit Systems

基于实施的激励设计用于自动驾驶出行按需和公共交通系统

Xinling Li, Runyu Zhang, Gioele Zardini

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出了一种基于实施的激励设计方法，用于解决自动驾驶出行按需和公共交通系统在追求自私目标时如何实现社会最优运行点的问题，通过分解支付来解决运营商单方面偏离不具有吸引力的问题。

T-STAR: A Context-Aware Transformer Framework for Short-Term Probabilistic Demand Forecasting in Dock-Based Shared Micro-Mobility

T-STAR: 一种基于上下文的Transformer框架用于基于码头的共享微出行短期概率需求预测

Jingyi Cheng, Gonçalo Homem de Almeida Correia, Oded Cats, Shadi Sharif Azadeh

机构 * Transport and Planning, Delft University of Technology（代尔夫特理工大学交通与规划） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出T-STAR框架，通过两级结构分离一致需求模式和短期波动，提升短期概率需求预测的准确性，实验表明其在确定性和概率性准确性上均优于现有方法，且具备良好的时空鲁棒性。

Comments This work has been submitted to Transportation Research Part C

Architecture Dependent Temporal Observability Under Deployment Interference in Edge Inference Systems

边缘推理系统中部署干扰影响下的时间可观性依赖于架构

Akul Swami, Nikhil Chougule

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文研究了在边缘推理系统中部署干扰对时间可观性的影响，通过对比不同架构下的延迟分布和内存压力，发现单一时间源的统计信息可能掩盖了独立外部观察者可见的故障模式。

Comments 13 pages, 7 figures, 1 table. Workshop preprint

ATRACT: A Trustworthy Robotic Autonomous system to support Casualty Triage

ATRACT: 一种可靠的机器人自主系统以支持伤员分诊

Tasweer Ahmad, Rafael Pina, Sandip Pradhan, Arindam Sikdar, Mindula Illeperuma, Khizer Saeed, Peter Lee, Varuna De Silva, Ardhendu Behera

机构 * Department of Computer Science, Edge Hill University（埃德希尔大学计算机科学系） ； Institute for Digital Technologies, Loughborough University London（洛斯伯勒大学伦敦数字技术研究所） ； School of Architecture, Technology and Engineering, University of Brighton（布莱顿大学建筑、技术与工程学院） ； School of Criminology and Criminal Justice, University of Portsmouth（普茅斯大学犯罪学与刑事司法学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 本文提出ATRACT，一种人机协同的决策支持系统，通过多模态学习整合无人机视频与可穿戴传感器数据，以提高战场伤员分诊的准确性，同时减少前线医疗人员的风险。

Real-Time Non-Invasive Imaging and Detection of Spreading Depolarizations through EEG: An Ultra-Light Explainable Deep Learning Approach

实时非侵入式成像与检测扩散性去极化通过EEG：一种超轻量可解释深度学习方法

Yinzhe Wu, Sharon Jewell, Xiaodan Xing, Yang Nan, Anthony J. Strong, Guang Yang, Martyn G. Boutelle

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 本文提出一种超轻量多模态深度学习网络，通过融合EEG频谱图像和时间功率向量，提升单电极上的扩散性去极化检测精度，实现低密度EEG下的高效检测。

Making Sense of the Weather, Together: Collaborative Sensemaking in Severe Weather Livestreams

共同解读天气：在恶劣天气直播中协作意义建构

Julie A. Vera, Mark Zachry, David W. McDonald

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文研究恶劣天气事件中通过'天气主播'直播解读气象现象的协作意义建构，分析其如何利用多源信息、时间衔接技术和平台适应性，挑战传统危机沟通模式。

Comments Accepted to CSCW 2026; 29 pages, 4 figures