多模态大模型

Music Audio-Visual Question Answering Requires Specialized Multimodal Designs

音乐音频视觉问答需要专门的多模态设计

Wenhao You, Xingjian Diao, Wenjun Huang, Chunhui Zhang, Keyi Kong, Weiyi Wu, Chiyu Ma, Zhongyu Ouyang, Tingxuan Wu, Ming Cheng, Soroush Vosoughi, Jiang Gui

机构 * University of Waterloo（滑铁卢大学） ； Dartmouth College（达特茅斯学院） ； UC Irvine（加州大学尔湾分校） ； New York University（纽约大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(title,abstract)；分类 cs.CV、cs.MM、eess.AS

AI总结 本文探讨了音乐音频视觉问答任务中多模态设计的必要性，指出需专门的输入处理、空间时间架构和音乐特定建模策略以应对连续密集的音频视觉内容和复杂时间动态。

Comments Accepted to Annual Meeting of the Association for Computational Linguistics (ACL 2026). The first two authors contributed equally

See, Hear, and Understand: Benchmarking Audiovisual Human Speech Understanding in Multimodal Large Language Models

看见、听见与理解：多模态大语言模型中人类语音理解基准测试

Le Thien Phuc Nguyen, Zhuoran Yu, Samuel Low Yu Hang, Subin An, Jeongik Lee, Yohan Ban, SeungEun Chung, Thanh-Huy Nguyen, JuWan Maeng, Soochahn Lee, Yong Jae Lee

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Kookmin University（国民大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AV-SpeakerBench基准测试，通过3212道多选题评估多模态大语言模型在真实视频中对语音的细粒度理解能力，发现Gemini 2.5 Pro在音频视觉融合方面表现最佳。

Comments Findings of CVPR 2026

SPP-SBL: Space-Power Prior Sparse Bayesian Learning for Block Sparse Recovery

SPP-SBL：空间功率先验稀疏贝叶斯学习用于块稀疏恢复

Yanhao Zhang, Zhihan Zhu, Yong Xia

机构 * LMIB of the Ministry of Education, School of Mathematical Sciences, Beihang University（北京航空航天大学数学科学学院教育部数学、信息与行为重点实验室） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)

AI总结 本文提出SPP-SBL方法，通过空间功率先验和EM算法结合高阶方程求解，解决块稀疏信号结构未知的恢复问题，提升恢复精度。

Comments IEEE Transactions on Signal Processing, 2026

Journal ref In IEEE Transactions on Signal Processing, vol. 74, pp. 1293-1308, 2026