多模态大模型

HFS: Holistic Query-Aware Frame Selection for Efficient Video Understanding

HFS: 为高效视频推理的全局查询感知帧选择

Yiqing Yang, Yun Li, Daiqing Qi, Lehan Yang, Tianlong Wang, Wenhao Zhang, Sheng Li, Kin-man Lam

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.MM

AI总结 HFS提出一种端到端可训练的帧选择框架，通过任务自适应方法提升视频推理效率。

Comments Accepted to the Main Track of ACM Multimedia 2026 (ACM MM '26)

MuseVLA: An Adaptive Multimodal Sensing Vision-Language-Action Model for Robotic Manipulation

MuseVLA: 一种用于机器人操作的自适应多模态感知视觉-语言-动作模型

Xingyuming Liu, Ruichun Ma, Heyu Guo, Qixiu Li, Qingwen Yang, Lin Luo, Shiqi Jiang, Chenren Xu, Jiaolong Yang, Baining Guo

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； Microsoft Research Asia（微软亚洲研究院） ； Princeton University（普林斯顿大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出MuseVLA模型，通过将传感器作为按需工具集成，实现自适应多模态感知；设计传感器图像统一表示，并引入数据合成流水线，在灵巧手操作任务中平均成功率80.6%，显著优于RGB-only和多模态基线。

Fact-Checking at Scale: Multimodal AI for Authenticity and Context Verification in Online Media

大规模事实核查：用于在线媒体真实性与上下文验证的多模态AI

Van-Hoang Phan, Tung-Duong Le-Duc, Long-Khanh Pham, Anh-Thu Le, Quynh-Huong Dinh-Nguyen, Dang-Quan Vo, Hoang-Quoc Nguyen-Son, Anh-Duy Tran, Dang Vu, Minh-Son Dao

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.MM

AI总结 本文为2025年ACM多媒体大会多媒体验证挑战赛开发了多模态验证系统，整合视觉取证等技术，可检测脱离上下文的媒体，提升了多媒体验证水平，为相关从业者提供实用工具。

Pro$^2$Assist: Continuous Step-aware Proactive Assistance with Multi-modal Egocentric Perception for Long-horizon Procedural Tasks

Pro²Assist：面向长程流程任务的、基于多模态自我中心感知的步骤感知主动式辅助系统

Lilin Xu, Bufang Yang, Siyang Jiang, Kaiwei Liu, Kaiyuan Hou, Yuang Fan, Hongkai Chen, Zhenyu Yan, Xiaofan Jiang

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.AI

AI总结 本研究提出Pro²Assist，一种基于多模态自我中心感知的步骤感知主动式辅助系统，通过AR眼镜感知与持续推理提升长程流程任务辅助效果，在动作理解与主动时机准确率上优于基线，获多数用户认可。

Comments To appear in IMWUT'26

DataClaw0: Agentic Tailoring Multimodal Data from Raw Streams

DataClaw0: 从原始流中智能定制多模态数据

Cong Wan, Zeyu Guo, Zijian Cai, Jiangyang Li, SongLin Dong, Lin Peng, Xiangyang Luo, Zhiheng Ma, Yihong Gong

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Shenzhen University of Advanced Technology（深圳理工大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出DataClaw0模型，通过两阶段流水线将生成语义合成锚定于确定性事实锚点，结合SFT与GRPO实现复杂数据精炼意图的对齐，首个数据精炼基准验证其高效性。

Comments add base model: Qwen3.5-27B

OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation

OmniVAE：用于联合生成的具有跨模态对齐的音频-视频变分自编码器

Jun Zhan, Chen Yang, Yitian Gong, Donghua Yu, Kuangwei Chen, Wenbo Zhang, Kexin Huang, Qi Luo, Zhe Xu, Ying Zhu, Jin Wang, Tengyue Zhang, Qi Chen, Cheng Chang, Songlin Wang, Junqi Dai, Jiasheng Ye, Xiaogui Yang, Tianyi Liang, Xiangyu Peng, Zhaoye Fei, Shimin Li, Qinyuan Cheng, Xie Chen, Xinchi Chen, Xipeng Qiu

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 研究针对音频和视频联合生成中跨模态对齐难的问题，提出OmniVAE，通过联合训练学习音频和视频潜在表示间的细粒度语义对齐，使用对比目标捕捉对应关系并对齐潜在空间，还提炼特征提升可学习性，实验证明其有效提升生成质量和同步准确性。

Comments 15 pages, 2 figures, 6 tables

Quality Action Assurance: Multimodal Verification of Examiner Claims in VR OSCEs

质量行动保证：虚拟现实客观结构化临床考试中考官声明的多模态验证

Harry Rogers, Sally Shiels, Ashley Tomlinson, James Thomas, James Aylward, Nathan Gauge, Helen Higham, Alison Noble

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对VR儿科OSCEs中考官评分受主观因素影响问题，提出多模态框架QAA，结合约束时间动作对齐模型与大语言模型，通过对比动作与真实事件序列验证考官声明，提升了评估的公平性。

Great X: A Unified Multi-Modal Simulator Bridging the Sim2Real Gap for 6G

Great X：一种统一的多模态模拟器，弥合6G的模拟与现实差距

Yuan Gao, Kongwu Huang, Jun Jiang, Shiyi Mu, Shugong Xu

机构 * Shanghai University（上海大学） ； Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 针对6G无线研究中多模态数据集收集难题及现有模拟器不足，提出在虚幻引擎实现统一单引擎模拟器Great-X，集成光线追踪等技术，构建含大量同步样本的Great-MCD，实验显示其性能优于现有模拟器及测量数据基线。

Diagnosing Long-Video Quantitative Reasoning in Multimodal LLMs via Enumeration and Counting

EC-Bench：超长视频的枚举与计数基准

Fumihiko Tsuchiya, Taiki Miyanishi, Shunsuke Yasuki, Mahiro Ukai, Nakamasa Inoue, Shuhei Kurita, Yusuke Iwasawa, Yutaka Matsuo

机构 * The University of Tokyo, Japan（东京大学） ； Institute of Science Tokyo, Japan（东京科学大学） ； National Institute of Informatics, Japan（国立信息学研究所） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 EC-Bench针对超长视频的枚举与计数问题，通过152部超过30分钟的视频和1699个查询，评估多模态大语言模型的性能，揭示模型在时间推理和计数任务中的局限性。

Comments The first two authors are equally contributed. The data and code are publicly available at: https://github.com/matsuolab/EC-Bench

EventVGGT: Exploring Cross-Modal Distillation for Consistent Event-based Depth Estimation

EventVGGT：探索跨模态蒸馏以实现一致的基于事件的深度估计

Yinrui Ren, Jinjing Zhu, Kanghao Chen, Zhuoxiao Li, Jing Ou, Zidong Cao, Tongyan Hua, Peilun Shi, Yingchun Fu, Wufan Zhao, Hui Xiong

机构 * HKUST(GZ)（香港科技大学（珠海）） ； CUHK（香港中文大学） ； SCNU（华南师范大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 EventVGGT通过跨模态蒸馏实现一致的基于事件的深度估计，有效提升深度预测精度和泛化能力。

Comments Accepted to ECCV 2026

ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance

ForeSea：面向视频监控的多模态查询AI取证搜索

Hyojin Park, Yi Li, Janghoon Cho, Sungha Choi, Jungsoo Lee, Taotao Jing, Shuai Zhang, Munawar Hayat, Dashan Gao, Ning Bi, Fatih Porikli

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 针对监控视频中多模态查询与时间定位难题，提出ForeSea系统，采用三阶段即插即用流程，结合跟踪、多模态嵌入和视频LLM，在ForeSeaQA基准上准确率提升3.1%，时间IoU提升10.1%。

Comments ECCV2026

Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving

Drive-JEPA：视频JEPA结合多模态轨迹蒸馏实现端到端驾驶

Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin Zheng, Xiao-Xiao Long, Chang-Tien Lu, Cheng Lu

机构 * Virginia Tech（弗吉尼亚理工学院） ； Purdue University（普渡大学） ； XPENG Motors（小鹏汽车） ； Nanjing University（南京大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出Drive-JEPA框架，结合视频联合嵌入预测架构（V-JEPA）与多模态轨迹蒸馏，通过自监督视频预训练和动量感知选择机制提升端到端驾驶的规划性能，在NAVSIM上达到新最优。

Multimodal and Multiscale Spatial-Temporal Semantic Search and Recommendation with AI Foundation Models

基于AI基础模型的多模态与多尺度时空语义搜索与推荐

Yuanyuan Tian, Wenwen Li, Xiao Chen, Michael Brook, Michael Brubaker, Anna Liljedahl, Chitta Baral

机构 * School of Geographical Sciences and Urban Planning, Arizona State University（地理科学与城市规划学院，亚利桑那州立大学） ； Alaska Native Tribal Health Consortium（阿拉斯加原住民部落健康联盟） ； Woodwell Climate Research Center（伍德沃德气候研究中心） ； School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出融合大语言模型和视觉-语言模型的框架，通过CAMERA算法融合文本与视觉信息生成更丰富嵌入，以及ASTRA算法结合尺度依赖的时空相关性与语义相似性进行重排序，在环境事件文档检索中优于单模态方法。

Comments 17 pages, accepted for publication in the ACM Transactions on Spatial Algorithms and Systems

RAMEN: Resolution-Adjustable Multimodal Encoder for Earth Observation

RAMEN: 面向地球观测的分辨率可调多模态编码器

Nicolas Houdré, Diego Marcos, Hugo Riffaud de Turckheim, Dino Ienco, Laurent Wendling, Camille Kurtz, Sylvain Lobry

机构 * Institut National des Sciences de l'Univers (INSU), France（法国国家科学研究院） ； CNRS, France（法国国家科学研究中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出RAMEN，一种传感器无关的分辨率可调多模态编码器，通过将分辨率作为可控参数，在统一潜空间中实现多模态地球观测数据的连贯分析，并在PANGAEA基准上优于现有模型。

Journal ref CVPR 2026

From Correspondence to Actions: Human-Like Multi-Image Spatial Reasoning in Multi-modal Large Language Models

从对应到动作：多模态大语言模型中类人多图像空间推理

Masanari Oi, Koki Maeda, Ryuto Koike, Daisuke Oba, Nakamasa Inoue, Naoaki Okazaki

机构 * University of Tokyo（东京大学） 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 提出HATCH框架，通过补丁级空间对齐和动作-答案推理两个目标，提升多模态大模型在多图像空间推理中的性能，在三个基准上超越同规模基线。

Comments ICML 2026

Glove2Hand: Synthesizing Natural Hand-Object Interaction from Multi-Modal Sensing Gloves

Glove2Hand：从多模态传感手套合成自然的手-物体交互

Xinyu Zhang, Ziyi Kou, Chuan Qin, Mia Huang, Ergys Ristani, Ankit Kumar, Lele Chen, Kun He, Abdeslam Boularias, Li Guan

机构 * Meta Reality Labs（Meta现实实验室） ； Rutgers University（罗格斯大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出Glove2Hand框架，将多模态传感手套视频转化为逼真的裸手，并保留物理交互动态；引入3D高斯手模型和扩散手恢复器，创建HandSense数据集，提升下游任务性能。

Comments CVPR 2026 Highlight. This version includes the motion retarget process in the appendix

Probing Multimodal Large Language Models on Cognitive Biases in Chinese Short-Video Misinformation

探究多模态大语言模型在中国短视频虚假信息中的认知偏差

Jen-tse Huang, Chang Chen, Shiyang Lai, Wenxuan Wang, Michelle R. Kaufman, Mark Dredze

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Chinese University of Hong Kong（香港中文大学） ； University of Chicago（芝加哥大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文通过200个短视频数据集评估8种多模态大语言模型在健康领域虚假信息中的表现，发现Gemini-2.5-Pro表现最佳（信念分数71.5/100），而模型易受权威频道ID等社会线索影响。

Comments Accepted to ACL 2026 (Findings)

DPC-VQA: Decoupling Quality Perception and Residual Calibration for Video Quality Assessment

DPC-VQA: 解耦质量感知与残差校准用于视频质量评估

Xinyue Li, Shubo Xu, Zhichao Zhang, Zhaolin Cai, Yitong Chen, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Baidu Inc.（百度公司） ； Xinjiang University（新疆大学） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 提出DPC-VQA框架，通过冻结多模态大模型提供感知先验，轻量校准分支预测残差修正，实现低训练成本下视频质量评估，在UGC和AIGC基准上取得竞争性能。

Video Understanding by Design: How Datasets Shape Video Models

通过设计理解视频：数据集如何塑造视频模型

Lei Wang, Syuan-Hao Li, Piotr Koniusz, Yongsheng Gao

机构 * School of Engineering and Built Environment, Electrical and Electronic Engineering, Griffith University（工程与建筑环境学院，电气与电子工程学院，格里菲斯大学） ； School of Computer Science and Engineering, University of New South Wales（计算机科学与工程学院，新南威尔士大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

AI总结 本文从数据集视角出发，提出统一框架连接数据集结构、归纳偏差与架构设计，分析数据集特性如何驱动视频理解架构创新，并讨论不同数据体制下的表征偏差。

Comments Research report

Cambrian-P: Pose-Grounded Video Understanding

Cambrian-P: 基于姿态的视频理解

Jihan Yang, Zifan Zhao, Xichen Pan, Shusheng Yang, Junyi Zhang, Bingyi Kang, Hu Xu, Shang-Wen Li, Saining Xie

机构 * New York University（纽约大学） ； UC Berkeley（加州大学伯克利分校） ； Meta FAIR 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 该研究提出Cambrian-P，一种增强的视频多模态大语言模型，通过引入可学习的相机令牌和姿态回归头，利用姿态作为轻量级监督信号，显著提升了空间推理能力，并在多个视频问答基准上实现了SOTA表现。

Comments Project Page: https://cambrian-mllm.github.io/

FEWT: Frequency-Enhanced Wavelet-based Transformer for Multimodal Wheeled Bimanual Manipulation

FEWT：用于多模态轮式双臂操作的频率增强型小波Transformer

Jiaxin Huang, Hanyu Liu, Yunsheng Ma, Jian Shen, Yilin Zheng, Jiayi Wen, Zhigong Song

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本研究针对轮式双臂操作的空间视觉与物理动力学表示不匹配问题，提出FEWT框架，整合FE-EMA与TS-DWT模块并结合STF传感器，在模拟及真实操作任务中较基准取得显著性能提升。

EsaacSim: A Multimodal Event Camera Add-on for NVIDIA Isaac Sim

EsaacSim：适用于NVIDIA Isaac Sim的多模态事件相机附加组件

Ignacio Bugueno-Cordova, Malte Kuhlmann, Nicolás Navarro-Guerrero, Miguel Campusano, Rodrigo Verschae

机构 * Leibniz Universität Hannover（莱布尼茨汉诺威大学） ； L3S Research Center（L3S研究中心） ； University of Southern Denmark（南丹麦大学） ； University of Chile（智利大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出适用于NVIDIA Isaac Sim的多模态事件相机附加组件EsaacSim，可实现多模态事件相机在线仿真，在多种分辨率下具备高效性能，支持机器人研究的多模态仿真与合成数据生成。

Journal ref The 19th European Conference on Computer Vision Workshops (ECCVW 2026); Workshop on Neuromorphic Vision (NeVi)

AquaJEPA: An Action-Conditioned Multimodal JEPA Family for Underwater Robot Dynamics

AquaJEPA：面向水下机器人动力学的动作条件多模态预测表示

Alan-Barsag Gazzaev, Alexey Gavrilov, Sergey Muravyov

机构 * ITMO University（ITMO大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 该研究提出动作条件多模态预测模型AquaJEPA，在Stonefish环境中对比多种基线，经120个带计划DVL损失的配对环境实验，其闭环性能最优，配对最终误差显著优于多数基线。

Comments Submitted to IEEE ICRA 2027

Autonomous Driving with Priority-Ordered STL Specifications Under Multimodal Uncertainty

多模态不确定性下基于优先级排序STL规范的自动驾驶

Taha Bouzid, Shuhao Qi, Mircea Lazar, Sofie Haesaert

机构 * Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 提出一种不确定性感知的轨迹规划框架，通过信号时序逻辑的词典序优先级处理冲突目标，并结合模型预测路径积分控制实现，在仿真中验证了有效性。

Transformers for Multimodal Brain State Decoding: Integrating Functional Magnetic Resonance Imaging Data and Medical Metadata

用于多模态脑状态解码的Transformer：整合功能磁共振成像数据和医学元数据

Danial Jafarzadeh Jazi, Maryam Hajiesmaeili

机构 * Department of Quantom and Converging Sciences（量子与交叉科学系） ； Islamic Azad University Central Tehran Branch（伊斯兰 Azad 大学中央德黑兰分部） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出一种结合Transformer架构和多模态输入的框架，用于解码fMRI数据和DICOM元数据的脑状态，提升模型的准确性与鲁棒性。

Binge Watch: Reproducible Multimodal Benchmarks Datasets for Large-Scale Movie Recommendation on MovieLens-10M and 20M

binge观看：用于大规模电影推荐的可重复多模态基准数据集，基于MovieLens-10M和20M

Giuseppe Spillo, Alessandro Petruzzelli, Cataldo Musto, Marco de Gemmis, Pasquale Lops, Giovanni Semeraro

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文发布M3L-10M和M3L-20M两个大规模多模态数据集，通过丰富MovieLens-10M和20M数据集，为大规模电影推荐提供可重复的基准数据。

Comments Accepted at RecSys 2026

CIG-MAE: Cross-Modal Information-Guided Masked Autoencoder for Self-Supervised WiFi Sensing

CIG-MAE：用于自监督WiFi感知的跨模态信息引导掩码自动编码器

Gang Liu, Yanling Hao, Yixuan Zou

专题命中 视频多模态 ：cross-modal(title,abstract)

AI总结 研究利用WiFi CSI进行人类行为识别，针对监督方法受限及现有SSL不适用于CSI的问题，提出CIG-MAE，采用对称双流架构、自适应掩码策略和正则化器，实验证明其在多方面优于现有方法，提升了数据效率等。

Comments 12 pages, 7 figures. Published in IEEE Internet of Things Journal (Early Access)

AwareLLM: A Proactive Multimodal Ecosystem for Personalized Human-AI Collaboration to Enhance Productivity

AwareLLM: 一种主动多模态生态系统，用于个性化人机协作以提升生产力

Amog Rao, Utkarsh Agarwal, Amol Harsh, Siddharth Siddharth

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 AwareLLM通过整合多模态数据与大语言模型，实现主动适应用户心理生理状态，提升任务表现并降低认知疲劳，推动人机协作新范式。

GIM-ENDO: A Multimodal Endoscopic Image and Video Dataset for Gastric Intestinal Metaplasia Morphology and Pathology

GIM-ENDO：用于胃肠化生形态与病理的多模态内镜图像和视频数据集

Mojgan Forootan, Mahziar Setayeshfar, Ali Darvishi, Mohammad Tashakoripour, Hamidreza Bolhasani

机构 * Gastroenterology and Liver Disease Research Center, Research Institute for Gastroenterology and Liver Diseases, Shahid Beheshti University of Medical Sciences（沙希德·贝赫什提医科大学胃肠病与肝病研究中心，胃肠病与肝病研究所） ； Iran University of Medical Sciences（伊朗医科大学） ； Shiraz University of Medical Sciences（设拉子医科大学） ； Gastroenterology Department, Amiralam Hospital, Tehran University of Medical Sciences（德黑兰医科大学阿米拉拉姆医院胃肠病科） ； Department of Computer Engineering, Science and Research Branch, Islamic Azad University（伊斯兰阿扎德大学科学与研究分校计算机工程系） 纠错

专题命中 视频多模态 ：multimodal(title)；分类 cs.CV

AI总结 针对胃黏膜肠化生（GIM）公开数据集缺失的问题，构建了包含多模态内镜图像、视频及病理标注的数据集GIM-ENDO，涵盖六种主要内镜征象和亚型分级，以促进AI辅助诊断。

Unveiling Stochasticity: Universal Multi-modal Probabilistic Modeling for Traffic Forecasting

揭示随机性：面向交通预测的通用多模态概率建模

Weijiang Xiong, Robert Fonod, Nikolas Geroliminis

机构 * Urban Transport Systems Laboratory (LUTS), EPFL（智能交通系统实验室（LUTS），EPFL） 纠错

专题命中 视频多模态 ：multi-modal(title)；分类 cs.AI

AI总结 本文提出一种通用多模态概率建模方法，通过替换输出层为GMM层，提升交通预测的不确定性建模能力，实验表明其在多种数据集上表现优异。