多模态大模型

Hierarchical and Multimodal Data for Daily Activity Understanding

层级化和多模态数据用于日常活动理解

Ghazal Kaviani, Yavuz Yarici, Seulgi Kim, Mohit Prabhushankar, Ghassan AlRegib, Mashhour Solh, Ameya Patil

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Amazon Lab126（亚马逊Lab126） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 DARai数据集通过多模态和层级注释，旨在理解现实环境中的人类活动，支持单模态和多模态传感器融合实验，揭示日常活动理解中的挑战。

Comments Accepted for publication in DMLR

CALM-AH: An ABAW11-Calibrated Multimodal Ensemble with Reliability-Gated Multi-Expert Consensus for Video-Level Ambivalence and Hesitancy Recognition

CALM-AH：面向视频层面矛盾与犹豫识别的ABAW11校准多模态集成模型，采用可靠性门控多专家共识机制

Wenzhuo Sun, Mingjian Liang, Richard Attfield, Zongyuan Ge, Xuelian Cheng, Pamela Carreno-Medrano

机构 * Monash University（莫纳什大学） ； Monash Suzhou Research Institute（莫纳什苏州研究院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对ABAW11视频层面矛盾与犹豫识别任务，提出CALM-AH多模态集成模型及RG-MEC门控多专家共识机制，在ABAW11数据集上分别取得0.7525与0.7771的Macro-F1性能。

OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation

OmniVAE：用于联合生成的具有跨模态对齐的音频-视频变分自编码器

Jun Zhan, Chen Yang, Yitian Gong, Donghua Yu, Kuangwei Chen, Wenbo Zhang, Kexin Huang, Qi Luo, Zhe Xu, Ying Zhu, Jin Wang, Tengyue Zhang, Qi Chen, Cheng Chang, Songlin Wang, Junqi Dai, Jiasheng Ye, Xiaogui Yang, Tianyi Liang, Xiangyu Peng, Zhaoye Fei, Shimin Li, Qinyuan Cheng, Xie Chen, Xinchi Chen, Xipeng Qiu

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 研究针对音频和视频联合生成中跨模态对齐难的问题，提出OmniVAE，通过联合训练学习音频和视频潜在表示间的细粒度语义对齐，使用对比目标捕捉对应关系并对齐潜在空间，还提炼特征提升可学习性，实验证明其有效提升生成质量和同步准确性。

Comments 15 pages, 2 figures, 6 tables

Quality Action Assurance: Multimodal Verification of Examiner Claims in VR OSCEs

质量行动保证：虚拟现实客观结构化临床考试中考官声明的多模态验证

Harry Rogers, Sally Shiels, Ashley Tomlinson, James Thomas, James Aylward, Nathan Gauge, Helen Higham, Alison Noble

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对VR儿科OSCEs中考官评分受主观因素影响问题，提出多模态框架QAA，结合约束时间动作对齐模型与大语言模型，通过对比动作与真实事件序列验证考官声明，提升了评估的公平性。

A Platform-Agnostic Multimodal Digital Human Modelling Framework: Neurophysiological Sensing in Game-Based Interaction

一种平台无关的多模态数字人类建模框架：基于游戏交互的神经生理传感

Daniel J. Buxton, Mufti Mahmud, Jordan J. Bird, Thomas Hughes-Roberts, David J. Brown

机构 * Nottingham Trent University（诺丁汉特伦大学） ； King Fahd University of Petroleum and Minerals（国王法赫德石油和矿物大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出了一种平台无关的多模态数字人类建模框架，通过统一的神经生理传感和游戏交互环境，支持AI驱动的可重复、可扩展的交互研究。

ViSAGE: Constructing Self-Correcting Memories for Long-Form Video Understanding

ViSAGE：为长视频理解构建自修正记忆

Xinkui Zhao, Enbo Chen, Yifan Zhang, Chang Liu, Guanjie Cheng, Naibo Wang, Yueshen Xu

机构 * Zhejiang University（浙江大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 ViSAGE是一种多模态智能体记忆框架，通过跨模态绑定、双向记忆精调及多智能体交叉验证解决长视频理解中的实体混淆等问题，较最强基线准确率提升5.9%。

Comments Accept by ACMMM 2026

FORGE: Frame Orthogonality in Relevance Geometry for Long-Form Video Understanding

FORGE：用于长视频理解的相关几何中的帧正交性

Ghazal Kaviani, Ghassan AlRegib

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Center for Signal and Information Processing (CSIP)（信号与信息处理中心 (CSIP)） ； School of Electrical and Computer Engineering（电气与计算机工程学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 研究长视频理解中推理时最大化查询相关信息问题，提出FORGE模型无关方法，通过在预训练嵌入空间引入查询条件几何统一相关性和多样性，实验证明该方法在关键帧选择和问答上有显著提升。

Comments Under Review

FibVLA: An Efficient Temporal Vision-Language-Action Model with Fibonacci Sampling

FibVLA：一种采用斐波那契采样的高效时序视觉-语言-动作模型

Li Lin, Wujun Xu, Weiwei Meng, Kaiwen Xia, Kang Hao Cheong, Shuai Wang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出FibVLA框架，通过对数事后采样和流匹配等技术，解决了视觉-语言-动作模型时序信息捕捉与推理效率的矛盾，提升了动作性能与实时响应能力。

Temporal Policy: History-Initialized Action Generation for Robotic Learning from Demonstration

时间策略：用于机器人演示学习的历史初始化动作生成

Dylan Miller, Martin Jagersand

机构 * University of Alberta（阿尔伯塔大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出Temporal Policy生成框架，将动作生成为时间耦合传输问题，在降低近一个数量级传输成本的同时匹配基线成功率，实现高频闭环控制。

Comments Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

SAVVY: Student Attention Visualization for Video-based Learning Analysis

SAVVY：面向视频学习分析的学生注意力可视化

Shixian Zhou, Minghuan Shen, Xiaolin Wen, Zijun Qiu, Yongliang Jiang, Xiangyang Wu, Fei Wu, Yong Wang, Zhiguang Zhou

专题命中 视频多模态 ：multimodal(abstract)

AI总结 针对现有视频学习注意力分析算法易受噪声干扰、教师修订成本高的问题，提出基于多模态脑信号的注意力建模框架，开发整合视听注意力的SAVVY可视化系统，经验证可有效辅助教学视频优化。

COIVis: Eye-tracking-based Visual Exploration of Concept Learning in MOOC Videos

COIVis：基于眼动的MOOC视频概念学习视觉探索

Zhiguang Zhou, Ruiqi Yu, Yuming Ma, Hao Ni, Guojun Li, Li Ye, Xiaoying Wang, Yize Li, Yigang Wang, Yong Wang

专题命中 视频多模态 ：multimodal(abstract)

AI总结 COIVis通过眼动追踪技术分析MOOC视频中学习过程，提取课程概念并定义感兴趣概念，提供多视角可视化，帮助教师理解学习者认知状态，支持个性化干预和教学优化。

Comments 17pages, 8 figures

Journal ref IEEE Transactions on Visualization and Computer Graphics, vol. 32, no. 7, pp. 7074-7091, July 2026