多模态大模型

Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies

基于Mamba的第一人称视频跨模态动作识别：通过CLS令牌融合策略整合RGB和手部骨架流

Juan Ignacio Bustos Gorostegui, Maria Elena Buemi

机构 * Univ. of Buenos Aires. Faculty of Exact and Natural Sciences. Dept. of Computer Science (DC)（布宜诺斯艾利斯大学。精确与自然科学学院。计算机科学系） ； CONICET-Univ. of Buenos Aires. Institute of Computer Sciences (ICC)（布宜诺斯艾利斯大学CONICET联合体。计算机科学研究所） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出一种基于Mamba的跨模态架构，通过四种CLS令牌融合策略（朴素、平均、加权和基于上下文）整合RGB视频和手部骨架数据，在H2O数据集上平均策略达到最佳性能，Top-1准确率在Tiny配置下提升超10%。

Comments 4 pages , 2 figures , Egovis2026 , CVPR2026

Bounded-Compute Multimodal Regression for Product-Rating Prediction

有界计算多模态回归用于产品评分预测

William Leach, Ru He, Sizhuo Ma, Yizhen Jia, Min Cao, Jian Wang, Rick Cao

机构 * Snap Inc. 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对严格延迟预算下的标量回归任务，提出一种有界计算适配方法，通过替换语言模型头为轻量MLP并固定输入，在LoViF 2026挑战赛中实现高效多模态回归。

Comments Accepted to the LoViF Workshop at CVPR 2026. 8 pages, 2 figures

From Affect to Complex Behavior: Advancing Multimodal Human-Centered AI at the 10th ABAW Workshop & Competition

从情感到复杂行为：第十届ABAW研讨会与竞赛推进多模态以人为中心的人工智能

Dimitrios Kollias, Panagiotis Tzirakis, Alan Cowen, Stefanos Zafeiriou, Irene Kotsia, Eric Granger, Marco Pedersoli, Simon Bacon, Jens Madsen, Soufiane Belharbi, Muhammad Haseeb Aslam, Chunchang Shao, Guanyu Hu

机构 * Queen Mary University of London（伦敦皇后玛丽大学） ； Hume AI ； Google Deepmind（谷歌DeepMind） ； Imperial College London（伦敦帝国理工学院） ； Cogitat ； LIVIA ； ILLS ； ETS Montreal（蒙特利尔ETS） ； Concordia University（Concordia大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文介绍了第十届ABAW研讨会与竞赛，通过多模态挑战和论文，推动真实环境下人类情感与行为的建模、分析和理解。

Comments accepted at CVPR 2026

Mining Multi-Modality Spatio-Temporal Cues for Video Important Person Identification

挖掘多模态时空线索用于视频重要人物识别

Xiao Wang, Minglei Yang, Bin Yang, Wenke Huang, Zheng Wang, Xin Xu, Mang Ye

机构 * School of Computer Science and Technology, Wuhan University of Science and Technology（武汉科技大学计算机科学与技术学院） ； Hubei Province Key Laboratory of Intelligent Information Processing and Real-time Industrial System, Wuhan University of Science and Technology（湖北省智能信息处理与实时工业系统重点实验室） ； School of Computer Science, National Engineering Research Center for Multimedia Software, Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University（计算机科学学院，国家多媒体软件工程技术研究中心，湖北省多媒体与网络通信工程重点实验室，武汉大学） ； College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对视频中人物重要性随时间变化的问题，提出VIP-Net框架，通过多模态时空线索融合与时间重要性矫正，在Temporal-VIP数据集上达到67.3%准确率。

RMPL: Relation-aware Multi-task Progressive Learning with Stage-wise Training for Multimedia Event Extraction

RMPL：基于关系感知的多任务渐进学习与分阶段训练的多媒体事件抽取

Yongkang Jin, Jianwen Luo, Jingjing Wang, Jianmin Yao, Yu Hong

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 提出RMPL框架，通过分阶段训练结合单模态事件抽取和多模态关系抽取的异构监督，在低资源条件下实现多媒体事件抽取，并在M2E2基准上取得一致改进。

Comments Accepted by ACM ICMR 2026

Cross-modal characterization of infant cry: validation of a chest-surface accelerometer in extracting acoustic vocal function measures

婴儿哭声的跨模态表征：胸表加速度计在提取声学发声功能测量中的验证

Winko W. An, Saketh Sundar, Lisa Yankowitz, Daryush D. Mehta, Carol L. Wilkinson

机构 * Division of Developmental Medicine, Boston Children’s Hospital（发育医学部，波士顿儿童医院） ； Harvard Medical School（哈佛医学院） ； Harvard University（哈佛大学） ； Children’s Hospital of Philadelphia（费城儿童医院） ； Center for Laryngeal Surgery and Voice Rehabilitation, Massachusetts General Hospital（嗓音康复中心，麻省总医院） 纠错

专题命中 视频多模态 ：cross-modal(title)

AI总结 本研究验证了胸表加速度计在婴儿哭声分析中的有效性，发现其能可靠捕获基频和抖动等声学特征，为噪声鲁棒且保护隐私的临床研究提供替代方案。

DriveWAM: Video Generative Priors Enable Scalable World-Action Modeling for Autonomous Driving

DriveWAM: 视频生成先验实现自动驾驶的可扩展世界-动作建模

Chen Shi, Jinrui Xu, Shaoshuai Shi, Kehua Sheng, Bo Zhang, Li Jiang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Voyager Research, Didi Chuxing（Voyager Research，滴滴出行） 纠错

专题命中 视频多模态 ：image-text(abstract)；分类 cs.CV

AI总结 提出DriveWAM，通过将预训练视频扩散Transformer适配为自回归视频-动作策略，并引入场景演化驾驶引导和选择性KV记忆，实现可扩展的世界-动作建模，在NAVSIM和PhysicalAI基准上取得强规划性能。

Adaptive Temporal Gating of Longitudinal Magnetic Resonance Imaging for Alzheimer's Prediction

用于阿尔茨海默病预测的纵向磁共振成像自适应时间门控

Alireza Moayedikia, Sara Fin, Alicia Troncoso Lora, Uffe Kock Wiil

机构 * organization= School of Business Law ； Entrepreneurship, Swinburne University of Technology , city= Melbourne , state= VIC , country= Australia ； organization= Australian Regenerative Medicine Institute, Monash University , city= Melbourne , state= VIC , country= Australia ； organization= Data Science \& Big Data Lab, Universidad Pablo de Olavide , city= Seville , country= Spain ； organization= The Maersk Mc-Kinney M ller Institute, University of Southern Denmark , city= Odense , country= Denmark 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出TAF-Net混合CNN-Transformer架构，通过自适应时间门控融合纵向3D MRI的时空表示，在MCI-to-AD转化预测中仅用结构MRI即达到最优性能，接近需多模态数据的方法。

Rethinking Video-Language Model from the Language Input Perspective

从语言输入角度重新思考视频-语言模型

Xiang Fang, Wanlong Fang, Changshuo Wang, Xiaoye Qu, Daizong Liu

机构 * School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） ； University College London（伦敦大学学院） ； Huazhong University of Science and Technology（华中科技大学） ； Wuhan University（武汉大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文从语言输入角度出发，提出一种即插即用的框架，通过生成正负文本、属性文本推理和自加权损失，提升视频-语言模型的性能。

Comments Published in AAAI 2026

CuriosAI Submission to the CASTLE Challenge at EgoVis 2026

CuriosAI 在 EgoVis 2026 CASTLE 挑战赛中的提交

Yuto Kanda, Hayato Tanoue, Takayuki Hori

机构 * SoftBank Corp（软银公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对600多小时多视角自我中心视频的185道选择题，提出SVA（搜索-验证-回答）三阶段流水线和TMKG（时间多模态知识图谱）两种方法，SVA达到0.50准确率并作为最终提交。

Comments The 4th place solution for the CASTLE Challenge at the CVPR EgoVis Workshop 2026

STAMBRIDGE: Spectral-Temporal Amplitude-aware Mid-Feature Bridge for EEG Visual Decoding

STAMBRIDGE：用于脑电视觉解码的谱时幅度感知中间特征桥

Jiahe Meng, Weiming Zeng, Yueyang Li, Bo Chai, Hongjie Yan, Zhiguo Zhang, Wai Ting Siok, Nizhuan Wang

机构 * Lab of Digital Image and Intelligent Computation, Shanghai Maritime University（数字图像与智能计算实验室，上海 Maritime 大学） ； Department of Language Science and Technology, The Hong Kong Polytechnic University（语言科学与技术系，香港理工大学） ； Department of Neurology, Affiliated Lianyungang Hospital of Xuzhou Medical University（神经内科，徐州医学院附属连云港医院） ； Institute of Computing and Intelligence, Harbin Institute of Technology Shenzhen（计算与智能研究所，哈尔滨工业大学深圳研究院） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出STAMBRIDGE两阶段框架，通过谱时幅度感知调制（STAM）提取稳健脑电特征，并利用中间特征语义桥（MFSB）实现稳定的跨模态对齐，在THINGS-EEG基准上取得34.50% Top-1和65.95% Top-5的200路零样本检索准确率。