多模态大模型

Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach

团队RAS在第10届ABAW竞赛中的表现：多模态valence和arousal估计方法

Elena Ryumina, Maxim Markitantov, Alexandr Axyonov, Dmitry Ryumin, Mikhail Dolgushin, Denis Dresvyanskiy, Alexey Karpov

机构 * St. Petersburg Federal Research Center of the Russian Academy of Sciences（俄罗斯科学院圣彼得堡联邦研究中心） ； ITMO University（ITMO大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种多模态方法，用于在真实环境中估计valence和arousal。结合面部、行为和音频模态，利用GRADA、Transformer、Qwen3-VL-4B-Instruct和Mamba等技术，实现跨模态融合，最终在Aff-Wild2数据集上达到0.658的CCC值。

Comments 8 pages, 1 figure

OmniForcing: Unleashing Real-time Joint Audio-Visual Generation

OmniForcing：释放实时联合音频视觉生成

Yaofeng Su, Yuming Li, Zeyue Xue, Jie Huang, Siming Fu, Haoran Li, Ying Li, Zezhong Qian, Haoyang Huang, Nan Duan

机构 * JD Explore Academy（京东探索学院） ； Fudan University（复旦大学） ； Peking University（北京大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出OmniForcing框架，通过因果蒸馏将双向扩散模型转化为高保真流式自回归生成器，解决双流架构中的训练不稳定问题，实现25FPS的实时生成性能。

Comments 14 pages