多模态大模型

EII-SCL: Harnessing Emotional Inertia for Multimodal Emotion Recognition in Conversation

EII-SCL：利用情感惯性进行对话中的多模态情感识别

Zilong Huang, Kong Aik Lee, Chong-Xin Gan, Zezhong Jin, Ruichen Zuo, Man-Wai Mak

机构 * Electronic Engineering,\ Hong Kong Polytechnic University, Hong Kong SAR, China 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

AI总结 研究对话中的多模态情感识别问题，提出情感惯性引导监督对比学习模块EII-SCL，通过构建受惯性影响样本为对比目标提供信息，利用情感惯性先验，无需额外数据，与现有模型无缝集成，实验证明该方法优于现有方法。

Comments Accept by Interspeech 2026

GMoT: Gated Motion-Aware Tokenization for Fine-Grained Micro-Gesture Video Reasoning with Multimodal LLMs

GMoT：用于基于多模态大语言模型的细粒度微手势视频推理的门控运动感知令牌化

Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Great Bay University（大湾区大学） ； Dongguan Key Laboratory for Intelligence and Information Technology（东莞市智能信息技术重点实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究针对微手势识别中运动易被掩盖及MLLMs处理运动学困难的问题，提出GMoT模块，通过空间加权池等提取运动线索并融合，引入渐进奖励引导策略优化范式，在多数据集上表现出色，还提出BRG召回及跨域转移协议。

Comments Accepted to ACM MM 2026

LoRA-Based Cascaded Multimodal Fusion for Action Recognition in Medical Training Environments

基于LoRA的级联多模态融合在医学训练环境中的动作识别

Divya Mereddy, Jeevan Beedareddy

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究面向医疗训练环境的动作识别，提出基于LoRA的级联多模态融合框架，结合特定模态适应与顺序融合，无需重新训练组件，在两个数据集上评估，结果显示该策略优于单模态模型且性能有竞争力。

SVF-CR: Synchronized Visual-Facial Cross-Refinement for Multimodal Ambivalence and Hesitancy Recognition

SVF-CR：用于多模态矛盾心理和犹豫识别的同步视觉-面部交叉细化

Hyein Park, Namho Kim, Junhwa Kim

机构 * Konyang University（公州大学） ； Korean Broadcasting System (KBS)（韩国广播公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态矛盾心理和犹豫识别，提出SVF-CR框架，通过提取视频和面部令牌，经多种注意力机制细化，构建视觉-面部证据并融合文本、声学特征，实验证明该框架提升了公共宏F1。

AT-Attn: Temporal-Aware Cross-Attention for Longitudinal Multimodal Alzheimer's Disease Diagnosis

AT-Attn：用于纵向多模态阿尔茨海默病诊断的时间感知交叉注意力机制

Xinyue Du, Yibo Liu, Zhenglei Zhou, Xuancheng Yao, Weimin Zhong, Qiuhui Chen

机构 * Xinyue Du1, Yibo Liu2, Zhenglei Zhou3, Xuancheng Yao2, Weimin Zhong1, Qiuhui Chen14（未知） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究针对纵向AD诊断中多模态信息整合难题，提出AT-Attn框架，结合多种技术整合MRI与临床信息，在患者级五折交叉验证中，该模型多项指标优于单模态和简单融合基线，为AD诊断提供临床相关补充信息。

Comments Submitted to IEEE BIBM 2026. 8 pages, 4 figures

K9-Bench: Evaluating Multimodal LLMs on Canine-Centric Videos

K9-Bench：在以犬类为中心的视频上评估多模态大语言模型

Khush Attarde, Yusuf Ali, Megha Thukral, Divye Bhutani, Thomas Ploetz, Zsolt Kira

机构 * Ogmen Robotics Inc.（Ogmen机器人公司） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 介绍K9-Bench基准，通过约5000个问答对测试多模态大语言模型对犬类动作和互动理解。提出数据生成管道创建数据集，发现前沿模型在犬类任务上零样本性能有限，还提供通用数据集构建管道。

Kamera: Unified Position-Invariant Multimodal KV Cache for Training-Free Reuse

Kamera: 统一的位置无关多模态KV缓存，用于免训练复用

Bole Ma, Jan Eitzinger, Harald Koestler, Gerhard Wellein

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出Kamera，一种免训练的位置无关KV缓存复用方法，通过低秩条件补丁修复跨块绑定丢失，在MM-NIAH和文档QA上恢复完整精度，显著降低多模态代理的重计算开销。

Catching Lies Without Sending the Video: Privacy-Preserving Multimodal Deception Detection

无需发送视频即可识谎：隐私保护的多模态欺骗检测

Nikita Sharma, Pranav Sara, Karan Singla

机构 * University of California, San Diego（加州大学圣迭戈分校） ； Case Western Reserve University, Ohio（凯斯西储大学） ； WhissleAI, USA（WhissleAI（美国）） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 提出Whissle方法，通过设备端提取文本、情感、行为等紧凑摘要，在无需传输原始视频的情况下实现与云端模型相当的欺骗检测性能（AUC 0.741），并揭示先前75%准确率存在说话者泄露问题。

When Does a Video-Language Model Stop Watching? Reward Strength Controls the Formation and Reversal of Visual Shortcuts in Multimodal RLVR

视频语言模型何时停止观看？多模态RLVR中视觉捷径的形成与逆转受奖励强度控制

Zekun Xu

机构 * Zekun Xu（徐泽坤） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态强化学习中视觉捷径的形成与逆转机制，发现惩罚强度可控制其出现和消除，且存在关键干预窗口。

Comments 11 pages, 4 figures

ROSE: Benchmarking the Perception-to-Action Gap in Multimodal Models

ROSE：多模态模型中感知到行动差距的基准测试

Yihao Wang, Zijian He, Jie Ren, Keze Wang

机构 * Sun Yat-sen University（中山大学） ； Shaanxi Normal University（陕西师范大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出ROSE基准，通过固定视觉场景并变化区域约束与符号输出，测试多模态大模型在不同上下文中将相同视觉证据转化为所需行动的能力，发现模型性能下降高达44.5个百分点，揭示感知到行动的瓶颈。

Comments 29 pages, 11 figures

HYDRA-X: Native Unified Multimodal Models with Holistic Visual Tokenizers

HYDRA-X: 具有整体视觉分词器的原生统一多模态模型

Guozhen Zhang, Xuerui Qiu, Yutao Cui, Tianhui Song, Changlin Li, Junzhe Li, Tao Huang, Xiao Zhang, Yang Li, Jianbing Wu, Miles Yang, Zhao Zhong, Liefeng Bo, Limin Wang

机构 * Nanjing University（南京大学） ； CASIA（中国科学院自动化研究所） ； Tencent Hunyuan（腾讯混元） ； Zhongguancun Academy（中关村学院） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出HYDRA-X，首个在单一ViT中统一图像和视频分词的原生统一多模态模型，通过因果时间注意力和分层时间压缩实现高效重建，并利用轻量化解压缩器注入语义，显著提升编辑一致性和收敛速度。

ProcessThinker: Enhancing Multi-modal Large Language Models Reasoning via Rollout-based Process Reward

ProcessThinker: 通过基于展开的过程奖励增强多模态大语言模型推理

Jingpei Wu, Xiao Han, Weixiang Shen, Boer Zhang, Zifeng Ding, Volker Tresp

机构 * LMU Munich（慕尼黑大学） ； Harvard University（哈佛大学） ； University of Cambridge（剑桥大学） ； Mina AI ； Konrad Zuse School of Excellence in Reliable AI (relAI)（康拉德·楚泽可靠人工智能卓越学校（relAI）） 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出ProcessThinker，一种无需显式过程奖励模型的后训练方法，通过步骤标记格式和基于展开的过程奖励，为多步推理提供密集的步骤级奖励，提升多模态推理一致性。

Comments Accepted at ICLR 2026 Workshop on Logical Reasoning of Large Language Models. 7 pages, 1 figure

EgoPressDiff: Multimodal Video Diffusion for Egocentric UV-Domain Hand-Pressure Estimation

EgoPressDiff: 用于自我中心UV域手部压力估计的多模态视频扩散模型

Yuan Zeng, Zilue Gao, Yujia Shi, Zongqing Lu, Wenming Yang, QingMin Liao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频多模态 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出EgoPressDiff，一种条件视频扩散框架，通过多模态条件策略（手部姿态、3D网格顶点和深度信息）从视觉输入生成UV压力图，解决了现有方法中的量化误差和时间不一致问题，在EgoPressure数据集上实现SOTA，Volumetric IoU相对提升34%以上。

Comments Accepted to IEEE ICASSP 2026

NARU: A Benchmark for NARrative Evolution and Cultural Nuance Understanding in Japanese Extreme Long Video

NARU：用于理解日语超长视频中叙事演变与文化细微差别的基准

Yuheng Huang, Jianlang Chen, Jiayang Song, Hua Qi, Aza Kai, Vincent Markert, Edison Marrese-Taylor, Jianjun Zhao, Lei Ma

机构 * The University of Tokyo（东京大学） ； Kyushu University（九州大学） ； Macau University of Science and Technology（澳门科技大学） ； Infinimind Japan Inc.（Infinimind日本公司） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 视频多模态 ：MLLM(summary_cn,abstract_cn)；分类 cs.CV、cs.AI、cs.MM

AI总结 该研究推出NARU基准，涵盖155个146.8小时日语视频的1481个问题，评估模型在长程叙事整合与文化推理上的局限，为MLLM开发提供测试平台。

Comments Yuheng Huang and Jianlang Chen contributed equally to this work. More details available on the project's website https://ma-labo.github.io/naru/ and https://infinimind.io/en/company/news/2026/narubench-release

Beyond Trial-and-Error: Agentic Optimization for Image-to-Video Adherence

超越试错：面向图像到视频一致性的智能体优化

Aman Tyagi, Hemanth Boinpally, Jonathan Chen, Douglas Gebert, Steven Hickson

机构 * Google Cloud（谷歌云） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 针对图像到视频模型试错效率低的问题，提出Agentic Self-Improvement框架，通过两阶段优化提升视频与文本一致性，生成视频胜率达69%，为视频生成模型提供实用可控的优化方法。

CARVE: Cross-Slice Anisotropic Reallocation of Visual Evidence for Efficient 3D Medical Volume Understanding

CARVE：用于高效3D医学体积理解的视觉证据跨切片各向异性重分配

Zhenyu Yi, Qiang Hu, Zhenhao Li, Jiaxuan Zhao, Yusong Sun, Lichi Zhang

专题命中 视频多模态 ：MLLM(summary_cn,abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对3D医学体积理解中切片式MLLM的视觉令牌冗余问题，提出无需训练的CARVE框架，通过跨切片各向异性重分配压缩80%令牌，在AMOS-MM等基准上性能优于现有方法。

Removing Temporal Note Redundancy Improves Multimodal Reinforcement Learning for Medicine

消除时间性笔记冗余可提升医学多模态强化学习性能

Chenran Weng, Joo Seung Lee, Malini Mahendra, Anil Aswani

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究针对机械通气决策的RL方法缺失笔记临床信息的问题，提出冗余感知多模态框架，通过两种策略去除笔记冗余，在ICU数据上显著提升了RL临床决策性能。

A Hierarchical Energy-Based Model for Multimodal Cognition

面向多模态认知的分层能量基模型

Subir Varma

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究提出IM-LEPP多模态能量基模型，扩展单模态LEPP整合视觉与语言，能解释注意现象、复现心理语言学发现，还与Transformer模型形成可证伪对比并提出实验预测。

Comments 48 pages, 14 figures

Paths: Prompt-aware Spatio-temporal Transformer with Hierarchical Multi-modal Fusion for RGB-Event Video Person Re-Identification

Paths：面向RGB-Event视频行人重识别的感知提示的时空Transformer与分层多模态融合

Yakun Huo, Yingquan Wang, Yangyang Liu, Tianyu Yan, Yunzhi Zhuge, Pingping Zhang, Huchuan Lu

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 针对现有RE-VReID方法时空建模解耦、多模态融合不足的问题，提出含MAB、PST、HMF模块的Paths框架，在三个基准上验证了有效性。

Comments Accepted by ACM MM2026. More modifications may be performed

TennisVAR: A Stroke-Evidence-Grounded Multimodal Large Language Model for Tactical Reasoning in Tennis Videos

TennisVAR：一种基于击球证据的多模态大语言模型，用于网球视频中的战术推理

Yifan Mei, Qingling Shi, Changli Wu, Jiayuan Rao, Jiayi Ji, Liujuan Cao

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对网球视频理解的感知与理解差距，提出回合级战术推理任务，构建专家标注基准TRACE，开发基于证据的多模态大语言模型TennisVAR，实现网球视频的战术推理。

Comments Project Page: https://whynotgit2025.github.io/TennisVAR/

Visual-to-Haptic Augmentation in XR: A Wearable Glove for Perceptual Grounding in Multimodal Interaction

XR中的视觉到触觉增强：一种用于多模态交互感知接地的可穿戴手套

Faisal Mohd, Hamdi Elsaddik, Erhan Baturay Onural, Jihong Zhang, Fedwa Laamarti, Abdulmotaleb El Saddik

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.MM

AI总结 该研究针对XR系统触觉感知利用不足的问题，提出一款可穿戴手套及视觉到触觉映射算法，经20人实验验证，其触觉增强可提升XR交互的真实感与沉浸感，为多模态XR系统提供感知增强层。

Comments 11 pages, 4 figures. Published in the Proceedings of the 1st Workshop on Shaping Future Human Connection: Social Augmentation through XR Technologies (SAXR 2026), April 13, 2026, Barcelona, Spain

Journal ref Proceedings of the 1st Workshop on Shaping Future Human Connection: Social Augmentation through XR Technologies (SAXR 2026), CEUR Workshop Proceedings, Vol. 4226, pp. 252-262, 2026

Investigating Multimodal Informativity under Different Partner Visibility Conditions in Video-Mediated Dialogue

视频介导对话中不同伙伴可见性条件下的多模态信息性研究

Esam Ghaleb, Hugh Mee Wong, Kristina Kobrock

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本研究针对视频介导对话，构建基于语音、手势或两者的模型识别指称对象，发现手势可单独预测指称，融合模型在转录模型不确定时效果最佳，还揭示了伙伴可见性对互动的语用效应。

EMMR: Emotion-Mediated Multimodal Reasoning for Personality Assessment in Asynchronous Video Interviews

EMMR：异步视频面试中用于人格评估的情绪介导多模态推理

Dongsheng Hu, Tianyi Zhang, Chuang Liu, Yuan Zong Yong Li, Wenming Zheng, Xiu-xiu Zhan

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究针对异步视频面试人格评估中以文本为中心的方法忽略非言语线索的问题，提出EMMR框架，在OPVA和AVI-6数据集上提升了MAE、MSE和PCC，证明整合情绪线索可优化评估效果。

When One Modality Is Not Enough: Multimodal Sex and Life-Stage Classification of Red Deer from Aerial RGB-Thermal Video

当单模态不够时：基于航拍RGB-热红外视频的马鹿多模态性别与生命阶段分类

Hugo Markoff, Christoph Praschl, Ivan Ludoški, Sara Beery, Michael Ørsted, David C. Schedl

机构 * Aalborg University（奥尔堡大学） ； University of Applied Sciences Upper Austria（上奥地利应用科学大学） ； University of Novi Sad（诺威萨德大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究以马鹿为对象，融合航拍RGB与热红外视频的自监督DINOv3特征，构建多模态分类流程，在四次飞行中实现26只个体25只的正确分类，提升了种群性别与生命阶段分类的鲁棒性，可自动化获取兽群结构数据。

Comments Accepted at the ECCV 2026 Workshop on Computer Vision for Ecology (CV4Ecology), archival proceedings track. 17 pages, 7 figures, 5 tables

Seeing Is Not Deciding: Can Multimodal LLMs Act as Effective CEOs?

视觉感知不等于决策：多模态大语言模型能成为有效的首席执行官吗？

Yuyang Dai, Xueqing Peng, Yuxia Wang, Preslav Nakov, Zhuohan Xie

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究构建C-SUITEBENCH多模态基准，评估9个前沿模型作为CEO的决策能力，发现多模态输入可提升证据推理但会损害受限资源分配，揭示多模态智能体的视觉感知与受限行动是可分离瓶颈。

Comments 25 pages

Multimodal Auto-regressive Transformer Surrogate for Modeling Variable Operations and Quantifying Uncertainty in Geological Carbon Storage

用于建模地质碳封存中可变操作与量化不确定性的多模态自回归Transformer代理模型

Yifu Han, Louis J. Durlofsky

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究提出多模态自回归Transformer代理模型，用于地质碳封存中可变操作建模与不确定性量化，经4000次GEOS流模拟训练后，可精准预测相关参数并降低关键元参数的不确定性。

Models as Tools: An Agentic Coordination Framework for Unified Multimodal Visual Tracking

模型作为工具：用于统一多模态视觉跟踪的智能体协调框架

Wenrui Cai, Yuzhe Li, Qingjie Liu, Yunhong Wang

机构 * Beihang University（北京航空航天大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对现有视觉跟踪方法的瓶颈，提出ACTrack智能体协调框架，整合异构模型工具的互补优势，仅用30%可训练参数便在多类基准上实现性能超越。

Comments 21 pages, 15 Tables, 7 Figures

OrEdge: Efficient Multi-Modal Anomaly Detection in Distributed Software Systems via Orthogonal-Domain Learning

OrEdge：基于正交域学习的分布式软件系统高效多模态异常检测

Amr M. Zaki, Farhoud Jafari Kaleibar, Honggeun Ji, Komal Sarda, Marin Litoiu

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 OrEdge是基于正交域学习的轻量级多模态异常检测框架，通过OrEdgeCore重构模块，在微服务数据集上实现了高精度，且模型参数仅9.6K，推理延迟较现有方法降低一个数量级以上，可高效部署于边缘设备。

CALM-AH: An ABAW11-Calibrated Multimodal Ensemble with Reliability-Gated Multi-Expert Consensus for Video-Level Ambivalence and Hesitancy Recognition

CALM-AH：面向视频层面矛盾与犹豫识别的ABAW11校准多模态集成模型，采用可靠性门控多专家共识机制

Wenzhuo Sun, Mingjian Liang, Richard Attfield, Zongyuan Ge, Xuelian Cheng, Pamela Carreno-Medrano

机构 * Monash University（莫纳什大学） ； Monash Suzhou Research Institute（莫纳什苏州研究院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对ABAW11视频层面矛盾与犹豫识别任务，提出CALM-AH多模态集成模型及RG-MEC门控多专家共识机制，在ABAW11数据集上分别取得0.7525与0.7771的Macro-F1性能。

CaM-Wolf: Causal-Aware Multimodal Agents for Social Deduction Games

CaM-Wolf：面向社交推理游戏的因果感知多模态智能体

Zheng Zhang, Nanjie Yao, Jiarui He, Deheng Ye, Peilin Zhao, Hao Wang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究针对现有SDG智能体多模态特性缺失的问题，提出首个整合多模态感知生成的CaM-Wolf，经实验验证其游戏性能与交互质量均有提升。

Comments Accepted by ACMMM 2026