多模态大模型

ERR@HRI 3.0 Challenge: Multimodal Detection of Errors and Anticipation in Human-Robot Interactions

ERR@HRI 3.0 挑战赛：人机交互中错误与预期的多模态检测

Maria Teresa Parreira, Micol Spitale, Maia Stiber, Shiye Cao, Amama Mahmood, Chien-Ming Huang, Hatice Gunes, Wendy Ju

机构 * Cornell University（康奈尔大学） ； Microsoft Research（微软研究院） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 ERR@HRI 3.0 挑战赛提供自然场景视频数据集，供研究者开发多模态机器学习模型检测人机交互错误与预期，三个团队提交的有效模型超卷积神经网络基线，为构建相关检测系统提供了数据、任务、基线及结果等参考。

Event Stream based Multi-Modal Video Anomaly Detection: A Benchmark Dataset and Algorithms

基于事件流的多模态视频异常检测：一个基准数据集和算法

Peipei Zhu, Yueqing Niu, Lin Zhu, Guanchong Niu, Yang Yu, Zheng Li

机构 * College of Pharmaceutical Engineering of Traditional Chinese Medicine, Tianjin University of Traditional Chinese Medicine（天津中医药大学中药制药工程学院） ； School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） ； Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院） ； State Key Laboratory of Component-based Chinese Medicine, Tianjin University of Traditional Chinese Medicine（天津中医药大学组分中药国家重点实验室） 纠错

专题命中 视频多模态 ：multi-modal(title)；分类 cs.CV、cs.AI、cs.MM

AI总结 该研究针对视频异常检测在复杂条件下的局限性，提出EVAD框架，利用事件相机与传统视频。构建大规模基准数据集，设计对比多模态预训练框架及自适应融合模块，实验验证了该方法在现实场景中检测VAD的有效性。

Cross-Modal Generative Framework for Signal Translation from Fetal-Maternal Electrocardiograms to Fetal Doppler Waveforms

用于从胎儿-母亲心电图到胎儿多普勒波形信号转换的跨模态生成框架

Tongli Su, Alireza Rafiei, Marly van Assen, Reza Sameni, Gari D. Clifford, Faezeh Marzbanrad, Nasim Katebi

机构 * Emory University（埃默里大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Monash University（莫纳什大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)

AI总结 该研究针对胎儿-母亲心血管系统关系建模问题提出跨模态生成框架，结合扩张卷积、跨模态注意力及自注意力，经训练可从双导联心电图合成多普勒包络，降低误差，量化母婴耦合贡献，推进了相关计算建模及胎儿评估。

Comments Accepted for oral presentation at IEEE EMBC 2026. 7 pages

Reviving Reflection-in-Action: Instilling Designerly Thinking in AI-Supported Ideation through Multimodal Prompting

复兴反思行动：通过多模态提示在AI支持的构思中注入设计思维

Samangi Wadinambiarachchi, Jenny Waycott, Greg Wadley

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 针对当前AI创造力支持工具主要依赖文本提示的局限，提出SketchifAI原型，通过多模态输入（文本、草图、草图加标签）增强设计学生的表达意图、创造力支持和发散思维，发现草图模态提升流畅性但用户偏好文本，探讨如何通过草图反思保留设计技能。

Comments ACM Creativity and Cognition 2026 conference (C&C'26)

Beyond Time Series: Spatial Reasoning for Epidemic Forecasting via Multimodal Learning

超越时间序列：基于多模态学习的空间推理用于流行病预测

Diana Guadalupe Gomez, Chenwei Wu, Zhiyi Wang, Liyue Shen, Alexander Rodríguez

机构 * University of Michigan（密歇根大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 提出M-SPICE框架，通过注意力机制融合区域级时序数据与空间辅助信号，在COVID-19、流感和ILI预测任务上超越现有基线。

Comments To appear in the Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026), AI for Science Track

Dreaming when Necessary: Advancing World Action Models with Adaptive Multi-Modal Reasoning

必要时做梦：通过自适应多模态推理推进世界行动模型

Yinzhou Tang, Jingbo Xu, Yu Shang, Zihao Song, Chen Gao, Wei Wu, Yong Li

机构 * Tsinghua University（清华大学） ； Manifold AI 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)

AI总结 提出AdaWAM，通过轻量动态路由器自适应触发文本或视觉推理，提升长时复杂任务中的推理效率和性能。

ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA

ReQuest：基于重新思考的问题感知帧选择用于长视频问答

Minkuk Kim, Suyong Yun, Young Tae Kim, Jinyoung Moon, Jinwoo Choi, Seong Tae Kim

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出ReQuest，一种不确定性驱动的、问题自适应的关键帧选择方法，通过轻量级选择器、重新思考路由和不确定性引导的NMS，在固定token预算下提升长视频问答准确率。

Comments Accepted at ECCV 2026

HumanMoveVQA: Can Video MLLMs reason about human movement in videos?

HumanMoveVQA：视频多模态大语言模型能否推理视频中的人类运动？

Pulkit Gera, Faegheh Sardari, Asmar Nadeem, Valentina Bono, Padraig Boulton, Adrian Hilton, Armin Mustafa

机构 * CVSSP, University of Surrey, Guildford, UK（萨里大学视觉、语音与信号处理中心，英国吉尔福德） ； Tesco, UK（乐购，英国） 纠错

专题命中 视频多模态 ：MLLM(summary_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出HumanMoveVQA基准，通过世界坐标系下的3D运动轨迹生成问答对，评估视频MLLM在全局轨迹和方向推理上的能力，发现现有模型存在显著差距。

Reasoning as Intersection: Consensus-Frame Alignment for Visual Focus in Video-MLLMs

推理即交集：视频多模态大语言模型中视觉焦点的一致性帧对齐

Chengwen Liu, Zhe Huang, Jisheng Dang, Hong Peng, Qi Tian, Tat-Seng Chua

机构 * School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Cloud and AI BU, Huawei（华为云与AI业务部） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出无时间标注的过程级奖励框架CF-GRPO，通过视频内在线索构建一致性帧先验，并利用一致性帧奖励优化模型帧使用与先验的对齐，提升视频推理性能。

Kwai Keye-VL-2.0 Technical Report

Kwai Keye-VL-2.0 技术报告

Kwai Keye Team, Bin Wen, Changyi Liu, Chengru Song, Chongling Rao, Guowang Zhang, Han Li, Haonan Fan, Hengrui Ju, Jiankang Chen, Jiapeng Chen, Jiawei Yuan, Kaixuan Yang, Kaiyu Jiang, Kun Gai, Lingzhi Zhou, Na Nie, Sen Na, Tianke Zhang, Tingting Gao, Xuanyu Zheng, Yulong Chen, Fan Yang, Haixuan Gao, Lele Yang, Mingqiao Liu, Muxi Diao, Qi Zhang, Qile Su, Wei Chen, Wentao Hong, Xingyu Lu, Yancheng Long, Yankai Yang, Yingxin Li, Yiyang Fan, Yu Xia, Yuzhe Chen, Ziliang Lai, Chuan Yi, Haonan Jia, Tianming Liang, Weixin Xu, Xiaoxiao Ma, Yang Tian, Yufei Han, Feng Han, Hang Li, Jing Wang, Jinghui Jia, Junmin Chen, Junyu Shi, Ruilin Zhang

机构 * Kuaishou Group（快手集团） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 提出开源MoE多模态基础模型Keye-VL-2.0，首次将DeepSeek稀疏注意力适配到GQA架构，支持无损256K上下文处理，并通过跨模态多教师策略蒸馏和上下文/视频强化学习解决多任务对齐中的灾难性遗忘，在长视频理解和智能体任务上达到同类最优。

Comments 31 pages, 11 figures

HarmVideoBench: Benchmarking Harmful Video Understanding in Large Multimodal Models

HarmVideoBench：大型多模态模型中有害视频理解的基准测试

Jiajun Wu, Haoyu Kang, Yining Sun, Jiacheng Hou, Heng Zhang, Danyang Zhang, Zhenjun Zhao, Haochi Zhang, Leixin Sun, Eric Hanchen Jiang, Yushan Li, Ruiyu Li, Mengkai Huang, Yan Gao, Xu Zhang, Guancheng Wan

机构 * Central South University（中南大学） ； Tsinghua University（清华大学） ； South China Normal University（华南师范大学） ； ByteDance Inc（字节跳动公司） ； University of Zaragoza（阿拉维达大学） ； CosmosMind ； Wuhan University（武汉大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Southeast University（东南大学） ； Tencent（腾讯公司） ； Nankai University（南开大学） ； Supermicro Computer Inc（Supermicro计算机公司） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 视频多模态 ：multimodal(title)；分类 cs.CV、cs.CL

AI总结 提出HarmVideoBench，一个包含1379个视频和4137道选择题的多层次诊断基准，从三个维度评估模型对有害视频的深层理解，并引入BCR方法将宏平均准确率从61.7%提升至84.4%。

Keep It Simple: Multi-Key Episodic Memory Retrieval for Ultra-Long Video Understanding

保持简洁：用于超长视频理解的多键情景记忆检索

Yeeun Choi, Youngbeom Yoo, Joon-Young Lee, Hyolim Kang, Seon Joo Kim

机构 * Yonsei University（延世大学） ； Adobe Research（奥多比研究院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对超长视频理解的两阶段范式需求，提出MERIT框架，通过多键表示与按需时间扩展实现精准检索，在三个长视频基准数据集上取得最优性能。

Comments Accepted to ECCV 2026 (Oral). Project Page: https://choi-yeeun.github.io/MERIT/

Minimax-Optimal Semiparametric Contextual Dynamic Pricing with Multimodal Revenue

带多模态收益的极小极大最优半参数情境动态定价

Xueping Gong, Zhuoluo Zhang, Zhaowei Miao, Jiheng Zhang

专题命中 视频多模态 ：multimodal(title)；分类 cs.AI

AI总结 该研究针对带多模态收益的情境动态定价问题，提出经试点校正的分层决策划分策略，达到依赖极小极大平滑性的时域速率，填补了半参数情境动态定价的相关理论空白。

Comments 53 pages

OmniStyle-INR: Universal and Multimodal Style Transfer for INRs

OmniStyle-INR：用于隐式神经表示的通用多模态风格迁移

Rafał Kajca, Michał Miziołek, Kornel Howil, Rafał Tobiasz, Przemysław Spurek

机构 * Jagiellonian University（雅盖隆大学） ； IDEAS Research Institute（IDEAS 研究所） 纠错

专题命中 视频多模态 ：multimodal(title)；分类 cs.CV

AI总结 研究针对不同数据模态的风格迁移问题，提出OmniStyle-INR框架，利用基于网络的连续表示作为通用域，实现了在文本提示和视觉示例引导下跨视觉模态的高质量风格迁移。

DAM-VLA: Decoupled Asynchronous Multimodal Vision Language Action model

DAM-VLA: 解耦异步多模态视觉语言动作模型

Pankhuri Vanjani, Zhuoyue Li, Jakub Suliga, Moritz Reuss, Gianluca Geraci, Xinkai Jiang, Rudolf Lioutikov

机构 * Intuitive Robots Lab, Karlsruhe Institute of Technology (KIT)（直觉机器人实验室，卡尔斯鲁厄理工学院） ； NVIDIA（英伟达） ； Robotics Institute of Germany（德国机器人研究所） 纠错

专题命中 视频多模态 ：multimodal(title)；分类 cs.CV

AI总结 针对VLA模型同步时钟与物理交互中不同模态频率不匹配的问题，提出DAM-VLA，通过解耦各模态时间处理、维护传感器速率更新的潜在缓冲区，并利用门控交叉注意力整合高频模态，在7个真实操作任务中平均成功率提升至95.2%。

Comments 17 pages, 8 figures

I Seek You in Videos: Identity-Conditioned Queries for Person-Centric Video Reasoning

我在视频中寻找你：面向以人为中心的视频推理的身份条件查询

Shibo Gao, Chongxiao Wang, Chenglong Huang, Jie Ma, Haolin Shi, Fei Ding, Jing Li, Qiang Lyu, Yangyang Liu, Yang Liu, Jun Liu, Linlin Huang, Peipei Yang

机构 * Beijing Jiaotong University（北京交通大学） ； HUJING Digital Media & Entertainment Group（汇晶数字媒体与娱乐集团） ； MAIS Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 该研究提出了身份条件查询（ICQ）任务，构建了ISYV基准、训练集与框架，实验显示主流多模态大语言模型在该任务上表现不佳，ISYV模型性能优于强基线且接近闭源模型。

Comments Accepted to ACM Multimedia 2026 (MM '26). 6 figures, 5 tables

ViSAGE: Constructing Self-Correcting Memories for Long-Form Video Understanding

ViSAGE：为长视频理解构建自修正记忆

Xinkui Zhao, Enbo Chen, Yifan Zhang, Chang Liu, Guanjie Cheng, Naibo Wang, Yueshen Xu

机构 * Zhejiang University（浙江大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 ViSAGE是一种多模态智能体记忆框架，通过跨模态绑定、双向记忆精调及多智能体交叉验证解决长视频理解中的实体混淆等问题，较最强基线准确率提升5.9%。

Comments Accept by ACMMM 2026

VideoAgent: All-in-One Framework for Video Understanding and Editing

VideoAgent: 视频理解与编辑的全能框架

Hengji Zhou, Lingxuan Huang, Jian Wang, Bing Zhou, Si Wu, Lianghao Xia, Chao Huang

机构 * South China University of Technology（华南理工大学） ； The University of Hong Kong（香港大学） ； Snap Inc（Snap公司） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出VideoAgent，一种基于多智能体编排的全能框架，通过自动镜头创建和30多个专业编辑智能体，解决现有系统在长视频理解和多样化编辑操作上的局限，在VideoEdit基准上实现87-95%编排成功率并降低60% API成本。

Comments Preprint. Code available at https://github.com/HKUDS/VideoAgent

Mapping Multimodal Pilot Stress and Fatigue During Flight Sessions

飞行训练期间多模态飞行员压力与疲劳的映射

Atandrila Chowdhury, Sudip Vhaduri, Julius Keller, Debra Henneberry, Mark Wilson

专题命中 视频多模态 ：multimodal(title)

AI总结 本研究结合生理信号与主观报告，分析学员飞行员飞行训练中的压力与疲劳模式，证实数据驱动方法可用于监测飞行员健康状态。

Comments Under Review

Mitigating Detector Ageing Effects with Graph-Based Multi-Modal Track Reconstruction at Belle II

在 Belle II 中使用基于图的多模态轨道重建减轻探测器老化效应

Lea Reuter, Tristan Brandes, Giacomo De Pietro, Torben Ferber

专题命中 视频多模态 ：multi-modal(title)

AI总结 研究 Belle II 探测器老化对轨道寻找的影响，采用基于图神经网络的算法，将轨道寻找设为全局关系聚类问题，经全探测器模拟评估性能，结果显示该算法在探测器老化时能提高鲁棒性，稳定跟踪性能。

Comments proceedings for Connecting The Dots 2025

Multimodal Empirical Bayes Variational Autoencoders for Joint Longitudinal and Time-to-Event Modeling

用于联合纵向和事件发生时间建模的多模态经验贝叶斯变分自编码器

Anders Sjöberg, Nils Olsson, Marcus Baaz, Mats Jirstrand

机构 * Fraunhofer-Chalmers Centre（弗劳恩霍夫-查尔默斯中心） ； Department of Electrical Engineering（电气工程系） ； Chalmers University of Technology（查尔姆斯理工大学） 纠错

专题命中 视频多模态 ：multimodal(title)

AI总结 研究针对纵向肿瘤测量等多源数据整合难的问题，扩展EB-VAE框架用于联合纵向和事件发生时间建模，比较不同解码器公式，纳入基因组协变量，实现肿瘤生长等联合预测，确定相关基因指标，提供了灵活概率框架。

Multimodal Smart Glove for Sign Language Recognition Using Deep Learning

基于深度学习的用于手语识别的多模态智能手套

Anh Thu Nguyen Ngoc, Tam Phong Truong, Thai Anh Nguyen Duong, Vu Linh Nguyen, Manh Duong Phung

专题命中 视频多模态 ：multimodal(title)

AI总结 研究旨在解决手语识别系统实际部署难题，提出集成可穿戴传感与深度学习的智能手套系统，利用柔性传感器、IMU及摄像头采集数据，经LSTM网络处理，准确率约95%，模型转换后可实时推理，证明系统用于手语翻译的可行性。

Comments In Proceedings of IFToMM International Symposium on Robotics and Mechatronics

M-EPDet: Real-Time Real-Bogus Classification and Transient Candidate Judgement for the EP-WXT Pipeline via Multi-Modal Data

M-EPDet：基于多模态数据的EP-WXT流水线实时真实-虚假分类与瞬变候选判断

Lang Chen, Yunfei Xu, Zhen Zhang, Dongyue Li, Hui Sun, Yuan Liu, Chenzhou Cui, Jinhui Xie, XiaoXiong Zuo, Shirui Wei, Wujun Shao

专题命中 视频多模态 ：multi-modal(title)

AI总结 提出M-EPDet三阶段框架，结合ResNet臂滤波器、双分支时-谱宇宙射线滤波器和背景感知贝叶斯块模块，实现EP-WXT数据实时候选筛选，真实源召回率98.31%，候选量减少99.25%。

Comments 20 pages, 13 figures, accepted by ApJS

TibetCPR: A Multimodal Tactile Feedback System to Enhance Cardiopulmonary Resuscitation Training in High-Altitude Regions of Tibet

TibetCPR：一种增强高海拔地区心肺复苏训练的多模态触觉反馈系统

Yibo Meng, Ruiqi Chen, Zhiming Liu, Xiaolan Ding

专题命中 视频多模态 ：multimodal(title)

AI总结 针对西藏地区心肺复苏训练资源匮乏的问题，提出低成本自引导训练系统TibetCPR，结合深度电触觉与节奏视觉反馈，实验表明能显著稳定按压节奏与深度，并提炼出自引导训练的设计原则。

Comments Accept to MobileHCI 2026

InstructVVT: Instruction-Driven Video Virtual Try-On without Auxiliary Spatial Priors

InstructVVT：无需辅助空间先验的指令驱动视频虚拟试穿

Dingbao Shao, Song Wu, Xinyu Chen, Qian Wang, Jiahang Li, Kuai Jiang, Jiang Lin, Yuhang Liu, Ziyu Chen, Duo Li, Jiaxin Hu, Shengrong Gu, Ziheng Tang, Rongrong Liu, Yanlun Peng, Liang Li, Junlan Feng, Lujia Jin, Ting Zhang, Jian Yang, Zili Yi

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 InstructVVT是基于DiT的视频虚拟试穿框架，通过双层级参考调控方案无需推理时空间先验，在ViViD-S等数据集上优于现有开源方法，解决了现有方法依赖辅助先验的问题。

Comments 23 pages, 10 figures. Dingbao Shao and Song Wu contributed equally. Zili Yi is the corresponding author

VidForensics-M1: Meta-Detection Reinforcement Learning with Verifiable Temporal Grounding for AI-Generated Video Forensics

VidForensics-M1：用于AI生成视频取证的、具备可验证时间定位的元检测强化学习

Bowei Liu, Zheng Lu, Yuhan Bian, Xinchen Zhang, Xingming Shui, Yuesheng Huang, Xuhuan Li, Zihao Liu, Yifan Yang, Jun Zhou, Xiu Li

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； Renmin University of China（中国人民大学） ； Microsoft（微软公司） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究针对AI生成视频检测泛化性不足的问题，首次将元检测引入该领域，提出结合可验证时间证据的VidForensics-M1模型及相关机制，实现了鲁棒可泛化的检测。

Comments 27 pages, 15 figures

Goal-oriented Navigation Instruction Generation with Tour Video Priors

基于旅游视频先验的面向目标的导航指令生成

Fangdi Li, Juncheng Liao, Changxu Cheng, Jiazhi Wang, Senda Chen, Tao Wang, Wuyue Zhao

机构 * Uni-Ubi AI（优必爱人工智能） ； Zhejiang University（浙江大学） ； Tongji University（同济大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 本研究提出面向目标的视频 grounding 导航指令生成任务VideoNIG，设计两阶段课程学习框架解决该任务，实验表明其可提升指令质量，集成VLN智能体后可实现端到端导航。

StreamArena: Toward Continuous, Interactive, and Long-Horizon Agentic Streaming Video Understanding

StreamArena：面向连续、交互式且长视界的智能体流媒体视频理解

Xichen Zhang, Guankai Li, Yinghao Zhu, Shijian Wang, Sitong Wu, Shaozuo Yu, Meng Chu, Yuan Lu, Jiaya Jia

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Xiaohongshu Inc.（小红书公司） ； The University of Hong Kong（香港大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 针对当前智能体流媒体视频理解评估的缺陷，提出StreamArena基准，设计StreamMind架构解决连续交互与长视界理解的张力，在四项能力上优于现有基线并降低延迟。

Visual Representation Matters: Exploiting Temporal Differences in Video-to-Audio Generation

视觉表示很重要：利用视频到音频生成中的时间差异

Zehua Chen, Junyou Wang, Yuxuan Jiang, Zhenying Fang, Yusheng Dai, Jianfei Chen, Ziwei Liu, Jun Zhu

专题命中 视频多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 针对现有基于条件扩散的视频到音频（V2A）生成方法需额外网络或强归纳偏置的问题，提出TD-V2A框架，利用时间差异（TD）增强视觉条件，提升了V2A生成质量。

Beyond Frame Selection: Generative Latent Evidence Aggregation for Long-Video Understanding

超越帧选择：用于长视频理解的生成式潜在证据聚合

Bowen Liu, Shuning Wang, Xinpeng Ding, Zhiheng Wu, Bodong Du, Xiaomeng Li

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Baidu Inc.（百度公司） ； Alibaba Group（阿里巴巴集团） ； Xidian University（西安电子科技大学） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究针对长视频理解的帧选择局限，提出GenEvA框架，通过查询条件化分布聚合跨帧潜在证据，在四个基准和两个视频多模态大语言模型主干上显著提升性能且开销极低。