多模态信息融合

Two-Stage Multi-Modal Fusion with Adaptive Alignment for Action Quality Assessment

用于动作质量评估的具有自适应对齐的两阶段多模态融合

Kanglei Zhou, Ruizhi Cai, Xinning Wang, Yijian Zheng, Liyuan Wang, Jianguo Li, Xiaohui Liang

机构 * Tsinghua University（清华大学） ； Beihang University（北京航空航天大学） ； Children’s Hospital, Capital Institute of Pediatrics（首都儿科研究所附属儿童医院） ； Zhongguancun Laboratory（中关村实验室） 纠错

专题命中 音视频/视觉语言融合 ：multi-modal fusion(title,abstract)；分类 cs.CV

AI总结 研究动作质量评估问题，提出两阶段多模态融合框架DualAlign，通过自适应对齐解决跨模态错位等挑战，引入MM-JDM数据集，实验表明该框架在多模态评估中表现出色，相比现有方法有显著提升且在特定条件下稳健。

Comments Accepted to IJCV

SAC$^2$-Net: Semantic Anchoring and Complementary-Consensus Fusion for Multimodal Micro-Expression Recognition

SAC$^2$-Net：面向多模态微表情识别的语义锚定与互补共识融合

Xuepeng Zheng, Tong Chen, Chaoping Gui, Yingjuan Jia, Hanpu Wang, Yuhao Shan

机构 * College of Electronic and Information Engineering, Southwest University（西南大学电子信息工程学院） 纠错

专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 针对微表情识别中光流与运动放大模态的不对称失效问题，提出SAC$^2$-Net，通过语义锚定软对齐减少跨模态异质性，并设计互补共识融合机制实现可靠性感知融合，在五个基准上取得最优或竞争力强的性能。