多模态大模型

Ego-Grounding for Personalized Question-Answering in Egocentric Videos

面向第一视角视频的个性化问答中的自我定位

Junbin Xiao, Shenglang Zhang, Pengxiang Zhu, Angela Yao

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MyEgo数据集，用于评估多模态大语言模型在需要自我定位的个性化问答中的能力，发现现有模型在自我记忆和推理方面存在显著不足。

Comments To appear at CVPR'26

HieraVid: Hierarchical Token Pruning for Fast Video Large Language Models

HieraVid：用于快速视频大语言模型的分层令牌修剪

Yansong Guo, Chaoyang Zhu, Jiayi Ji, Jianghang Lin, Liujuan Cao

机构 * Xiamen University（厦门大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 HieraVid通过分层修剪框架减少视频令牌冗余，提升视频大语言模型的效率，在保留性能的同时实现30%的令牌保留率。

FSKD: Monocular Forest Structure Inference via LiDAR-to-RGBI Knowledge Distillation

FSKD：通过LiDAR到RGBI知识蒸馏推断单目森林结构

Taimur Khan, Hannes Feilhauer, Muhammad Jazib Zafar

机构 * Helmholtz Centre for Environmental Research – UFZ（亥姆霍兹环境研究中心） ； Leipzig University（莱比锡大学） ； Georg-August University of Göttingen（哥廷根大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FSKD框架，利用多模态教师模型融合RGBI影像与LiDAR衍生的平面指标和垂直剖面，通过交叉注意力机制，使RGBI-only的SegFormer学生模型在零样本情况下实现最先进的CHM性能，同时预测PAI和FHD等多指标。

Comments Paper in-review

VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification

VideoZeroBench: 通过时空证据验证探测视频多模态大语言模型的极限

Jiahao Meng, Tan Yue, Qi Xu, Haochen Wang, Zhongwei Ren, Weisong Liu, Yuhao Wang, Renrui Zhang, Yunhai Tong, Haodong Duan

机构 * PKU（北京大学） ； WHU（武汉大学） ； CASIA（中国科学院自动化研究所） ； BJTU（北京交通大学） ； CUHK（香港中文大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 VideoZeroBench通过严格验证时空证据，揭示视频多模态大语言模型在长视频问答中的不足，发现即使在标准设置下，模型正确率也低于17%，且在严格约束下性能显著下降，凸显了基于证据的视频理解仍是瓶颈。

True (VIS) Lies: Analyzing How Generative AI Recognizes Intentionality, Rhetoric, and Misleadingness in Visualization Lies

真正的（视觉）谎言：分析生成式AI如何识别意图性、修辞和误导性在可视化谎言中

Graziano Blasilli, Marco Angelini

机构 * Sapienza University of Rome（罗马大学） ； Link Campus University（Link Campus大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文研究多模态大语言模型识别和解释误导性可视化的能力，并通过2336条新冠相关推文数据集分析其识别原因和潜在意图性，评估16种前沿模型并对比人类专家行为。

Learning Humanoid Navigation from Human Data

从人类数据学习人形导航

Weizhuo Wang, Yanjie Ze, C. Karen Liu, Monroe Kennedy

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出EgoNav系统，通过5小时人类行走数据训练人形机器人自主导航，无需机器人数据或微调。采用扩散模型预测未来轨迹分布，结合360度视觉记忆与DINOv3骨干网络，实现实时推理与路径选择，验证了在未知环境中避障和多模态覆盖的优越性。

Comments 8 pages 8 figures

Seeing Beyond the Image: ECG and Anatomical Knowledge-Guided Myocardial Scar Segmentation from Late Gadolinium-Enhanced Images

超越图像：结合心电图与解剖知识的晚期钆增强图像心肌瘢痕分割

Farheen Ramzan, Yusuf Kiberu, Nikesh Jathanna, Meryem Jabrane, Vicente Grau, Shahnaz Jamil-Copley, Richard H. Clayton, Chen, Chen

机构 * School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院） ； Department of Cardiology, Trent Cardiac Centre, Nottingham City Hospital, Nottingham University Hospitals NHS Trust（诺丁汉大学医院NHS信托基金诺丁汉市医院特伦特心脏中心心脏病科） ； School of Medicine, University of Nottingham（诺丁汉大学医学院） ； Department of Engineering Science, University of Oxford（牛津大学工程科学系） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种融合心电图电生理信息与AHA-17解剖先验的多模态框架，通过时间感知特征融合机制提升晚期钆增强图像中心肌瘢痕分割的准确性与鲁棒性。

Comments oral presentation at International Symposium on Biomedical Imaging (ISBI 2026)

VIGiA: Instructional Video Guidance via Dialogue Reasoning and Retrieval

VIGiA：通过对话推理和检索进行教学视频指导

Diogo Glória-Silva, David Semedo, João Maglhães

机构 * NOVA LINCS, NOVA School of Science and Technology, Portugal（新大学信息学与计算机科学研究中心，新大学科技学院，葡萄牙） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 VIGiA是一种多模态对话模型，通过对话推理和检索处理复杂的教学视频行动计划，实现基于视觉输入和计划的对话理解，优于现有方法，在计划感知的VQA任务中达到90%以上准确率。

Comments Published at EACL 2026 Findings

Journal ref Findings of the Association for Computational Linguistics: EACL 2026

VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding

VideoARM：基于分层记忆的代理推理用于长视频理解

Yufei Yin, Qianke Meng, Minghao Chen, Jiajun Ding, Zhenwei Shao, Zhou Yu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 VideoARM通过自适应代理推理和分层记忆结构，有效降低长视频理解的token消耗，优于现有方法DVD。

Comments Accepted to CVPR 2026, code available at https://milvlg.github.io/videoarm/

Efficient Mixture-of-Expert for Video-based Driver State and Physiological Multi-task Estimation in Conditional Autonomous Driving

高效多专家模型用于基于视频的驾驶员状态和生理多任务估计在条件自动驾驶中

Jiyao Wang, Xiao Yang, Zhenyu Wang, Ximeng Wei, Ange Wang, Dengbo He, Kaishun Wu

机构 * the Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Hong Kong（香港大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VDMoE模型，通过RGB视频和远程PPG数据监测驾驶员状态，优化多专家框架以提升多模态输入下的检测效率与准确性，通过新数据集验证其在条件自动驾驶中的有效性。

The Nonverbal Gap: Toward Affective Computer Vision for Safer and More Equitable Online Dating

非语言鸿沟：迈向更安全和公平的在线约会情感计算

Ratna Kandala, Niva Manchanda, Akshata Kishore Moharir

机构 * University of Kansas（堪萨斯大学） ； University of Maryland（马里兰大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文探讨在线约会中非语言信息缺失的问题，提出以公平性为核心的研究议程，涵盖实时不适检测、互动不对称建模、知情同意互动设计及长期互动总结等能力领域，强调需建立公平评估体系和设备端处理架构以提升安全性和公平性。

ComVi: Context-Aware Optimized Comment Display in Video Playback

ComVi：基于上下文的优化评论显示

Minsun Kim, Dawon Lee, Junyong Noh

机构 * KAIST（韩国科学技术院） ； Kookmin University（国民大学） 纠错

专题命中 视频多模态 ：audio-visual(abstract)；分类 cs.CV、cs.MM

AI总结 ComVi通过音频视频相关性计算，将评论映射到相关视频时间点，并优化时间相关性、流行度和显示时长，提升视频观看时的评论体验。

Comments To appear in Proceedings of the ACM CHI Conference on Human Factors in Computing Systems (CHI 2026)

Reinforcing Structured Chain-of-Thought for Video Understanding

强化结构链式思考以提升视频理解

Peiyao Wang, Haotian Xu, Noranart Vesdapunt, Rui Hou, Jingyi Zhang, Haibin Ling, Oleksandr Obiednikov, Ning Zhou, Kah Kuen Fu

机构 * Stony Brook University（石溪大学） ； Amazon（亚马逊） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SDRL框架，通过结构化链式思考格式和自监督机制，解决多模态大语言模型在视频理解中的推理漂移和时间感知问题，实现单阶段强化学习，提升模型泛化能力。

Comments Accepted to CVPR 2026 (Main Conference)

CliPPER: Contextual Video-Language Pretraining on Long-form Intraoperative Surgical Procedures for Event Recognition

CliPPER：基于长形式术中手术程序的上下文视频-语言预训练用于事件识别

Florian Stilz, Vinkle Srivastav, Nassir Navab, Nicolas Padoy

机构 * University of Strasbourg, CNRS, INSERM, ICube, UMR7357, France（斯特拉斯堡大学，法国国家科学研究中心，法国国家医学研究院，ICube，UMR7357，法国） ； IHU Strasbourg, France（斯特拉斯堡IHU，法国） ； Technical University of Munich, Germany（慕尼黑技术大学，德国） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CliPPER框架，通过手术讲座视频预训练，提升长形式手术视频的细粒度时间视频-文本识别，引入VTC_CTX和COP等预训练策略，改进多模态对齐，实现多个公开手术基准的新SOTA。

Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

分割后再地面：为长视频理解适应帧选择以查询类型

Jialuo Li, Bin Li, Jiahao Li, Yan Lu

机构 * Tsinghua University（清华大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DIG框架，根据查询类型调整帧选择策略，通过高效均匀采样处理全局查询，利用专用流程提取相关帧处理局部查询，提升长视频理解性能。

Comments CVPR 2026

Hierarchical Long Video Understanding with Audiovisual Entity Cohesion and Agentic Search

基于音频视觉实体凝聚力与代理搜索的层次化长视频理解

Xinlei Yin, Xiulian Peng, Xiao Li, Zhiwei Xiong, Yan Lu

机构 * University of Science and Technology of China（中国科学技术大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HAVEN框架，通过整合音频视觉实体凝聚力与层次化视频索引与代理搜索，解决长视频理解中的信息碎片化和全局一致性问题，实验显示在LVBench上达到84.1%的准确率。

Comments Accepted by CVPR2026

UASTrack: A Unified Adaptive Selection Framework with Modality-Customization in Single Object Tracking

UASTrack: 一种具有模态定制化的统一自适应选择框架在单目标跟踪中

He Wang, Tianyang Xu, Zhangyong Tang, Xiao-Jun Wu, Josef Kittler

机构 * School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机科学学院） ； Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音和信号处理中心） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 UASTrack通过统一自适应选择框架实现多模态跟踪中的模态定制化，有效过滤噪声并提升跟踪性能。

PEARL: Personalized Streaming Video Understanding Model

PEARL：个性化流视频理解模型

Yuanhong Zheng, Ruichuan An, Xiaopeng Lin, Yuxing Liu, Sihan Yang, Huanyu Zhang, Haodong Li, Qintong Zhang, Renrui Zhang, Guopeng Li, Yifan Zhang, Yuheng Li, Wentao Zhang

机构 * Peking University（北京大学） ； Adobe ； CASIA ； Stepfun ； CUHK（香港中文大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出个性化流视频理解任务PSVU，并引入PEARL-Bench基准测试，通过帧级和视频级两种模式评估模型对个性化概念的响应能力，提出无需训练的PEARL策略，实现先进性能。

Comments Arxiv Submission

PFM-VEPAR: Prompting Foundation Models for RGB-Event Camera based Pedestrian Attribute Recognition

基于RGB事件相机的行人属性识别的PFM-VEPAR：用于基础模型的提示方法

Minghe Xu, Rouying Wu, ChiaWei Chu, Xiao Wang, Yu Li

机构 * City University of Macau（澳门城市大学） ； Zhuhai College of Science and Technology（珠海科学技术学院） ； Macau University of Science and Technology（澳门科学大学） ； School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PFM-VEPAR，通过轻量级DCT和IDCT提取事件域特征，结合外部记忆库和Hopfield网络提升行人属性识别的准确性与效率。

Subspace Kernel Learning on Tensor Sequences

张量序列的子空间核学习

Lei Wang, Xi Ding, Yongsheng Gao, Piotr Koniusz

机构 * Griffith University（格里菲斯大学） ； Data61 CSIRO ； University of New South Wales（新南威尔士大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出UKTL框架，通过不确定性驱动的子空间加权和可扩展的Nyström线性化，实现对多模式张量的高效学习，取得最先进的性能和有意义的模式洞察。

Comments Accepted at the Fourteenth International Conference on Learning Representations (ICLR 2026)

S3T-Former: A Purely Spike-Driven State-Space Topology Transformer for Skeleton Action Recognition

S3T-Former：一种纯粹由脉冲驱动的状态空间拓扑变换器用于骨骼动作识别

Naichuan Zheng, Hailun Xia, Zepeng Sun, Weiyi Li, Yujia Wang

机构 * School of Information and Communication Engineering（信息与通信工程学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； International School（国际学校） ； School of Economics and Management（经济管理学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出S3T-Former，一种专为高效骨骼动作识别设计的脉冲驱动变换器，通过多流解剖脉冲嵌入和横向脉冲拓扑路由实现稀疏事件流，提升能效。

VideoAtlas: Navigating Long-Form Video in Logarithmic Compute

VideoAtlas: 在对数计算中导航长视频

Mohamed Eltahir, Ali Habibullah, Yazan Alshoibi, Lama Ayash, Tanveer Hussain, Naeemullah Khan

机构 * King Abdullah University of Science and Technology (KAUST)（卡斯特大学） ； Department of Computer Science, King Khalid University (KKU)（国王 Khalid 大学计算机科学系） ； Department of Computer Science, Edge Hill University（Edge Hill 大学计算机科学系） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 VideoAtlas通过层次化网格结构实现长视频的无损表示，解决视频表示和长上下文问题，提出Video-RLM架构，展示对数计算增长、环境预算和自适应计算分配等贡献。

Symphony: A Cognitively-Inspired Multi-Agent System for Long-Video Understanding

Symphony：一种受认知启发的多智能体系统用于长视频理解

Haiyang Yan, Hongyun Zhou, Peng Xu, Xiaoxue Feng, Mengyi Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Kuaishou Technology（快手科技） ； School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院） 纠错

专题命中 视频多模态 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Symphony多智能体系统，通过模拟人类认知模式，提升长视频理解任务的推理能力，实验显示在多个基准测试中表现优异。

Comments Accepted by cvpr2026

From Text to Forecasts: Bridging Modality Gap with Temporal Evolution Semantic Space

从文本到预测：通过时间演化的语义空间弥合模态差距

Lehui Li, Yuyao Wang, Jisheng Yan, Wei Zhang, Jinliang Deng, Haoliang Sun, Zhongyi Han, Yongshun Gong

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TESS方法，通过引入时间演化语义空间弥合文本与预测模型间的模态差距，实验显示在四个真实世界数据集上预测误差降低29%。

Comments 15 pages, 6 figures

PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs

PAS：一种无训练的时序编码稳定器

Bowen Sun, Yujun Cai, Ming-Hsuan Yang, Hang Wu, Yiwei Wang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对视频大语言模型中时序不一致问题，提出PAS机制，通过相位聚合平滑技术减少帧间扰动，提升注意力稳定性，实验表明在不增加计算开销的情况下提升了视频理解性能。

Geometry-Aware Semantic Reasoning for Training Free Video Anomaly Detection

基于几何的语义推理用于无训练视频异常检测

Ali Zia, Usman Ali, Muhammad Umer Ramzan, Hamza Abid, Abdul Rehman, Wei Xiang

机构 * School of Computing, Engineering \& Mathematical Sciences, La Trobe University, Melbourne, Australia School of Engineering ； Applied Sciences, GIFT University, Gujranwala 52250, Pakistan 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MM-VAD框架，通过将异常检测转为适应性测试时推理，利用双曲空间保留层次结构，并结合可学习提示和Mahalanobis细化提升性能，实现在多个基准上优于现有无训练方法。

Aura: Universal Multi-dimensional Exogenous Integration for Aviation Time Series

Aura：通用多维外源整合用于航空时间序列

Jiafeng Lin, Mengren Zheng, Simeng Ye, Yuxuan Wang, Huan Zhang, Yuhui Liu, Zhongyi Pei, Jianmin Wang

机构 * School of Software, BNRist, Tsinghua University（软件学院、BNRist、清华大学） ； Hongshen College, Chongqing University（弘深学院、重庆大学） ； School of Software, Tsinghua University（软件学院、清华大学） ； China Southern Airlines（中国南方航空） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Aura框架，通过整合多维外源因素提升航空时间序列预测精度，实验表明其在航空安全与可靠性方面具有广泛应用潜力。

Thinking in Streaming Video

流式视频思考

Zikang Liu, Longteng Guo, Handong Li, Ru Zhen, Xingjian He, Ruyi Ji, Xiaoming Ren, Yanhao Zhang, Haonan Lu, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； OPPO AI Center, OPPO Inc.（OPPO人工智能中心，OPPO公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ThinkStream框架，通过Watch-Think-Speak范式实现流式视频推理，采用RCSM压缩内存和流式强化学习提升效率，实验表明其在多个流式视频基准上性能优越且低延迟。

MonitorVLM:A Vision Language Framework for Safety Violation Detection in Mining Operations

MonitorVLM：一种用于采矿作业中安全违规检测的视觉语言框架

Jiang Wu, Sichao Wu, Yinsong Ma, Guangyuan Yu, Haoyuan Xu, Lifang Zheng, Jingliang Duan

机构 * School of Mechanical Engineering, University of Science and Technology Beijing（北京科技大学机械工程学院） ； Laboratory for Computational Sensing and Robotics, Johns Hopkins University（约翰霍普金斯大学计算感知与机器人实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 MonitorVLM通过视觉语言框架提升采矿作业中安全违规检测的精度和召回率，实现高效自动化监控。

MEGC2026: Micro-Expression Grand Challenge on Visual Question Answering

MEGC2026：面向视觉问答的微表情大奖挑战

Xinqi Fan, Jingting Li, John See, Moi Hoon Yap, Su-Jing Wang, Adrian K. Davison

机构 * Department of Computing and Mathematics, Manchester Metropolitan University（曼彻斯特 Metropolitan 大学计算与数学系） ； State Key Laboratory of Cognitive Science and Mental Health, Institute of Psychology, CAS & Department of Psychology, University of the Chinese Academy of Sciences（中国科学院心理研究所认知科学与心理健康国家重点实验室及中国科学院大学心理学系） ； School of Mathematical and Computer Sciences, Heriot-Watt University Malaysia（赫瑞-沃森大学马来西亚分校数学与计算机科学学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 MEGC2026通过视觉问答任务探索微表情识别，利用多模态大语言模型和大视觉-语言模型提升微表情分析能力。

Comments MEGC 2026 at IEEE FG 2026