多模态大模型

VGGSounder: Audio-Visual Evaluations for Foundation Models

VGGSounder：基础模型的音视频评估

Daniil Zverev, Thaddäus Wiedemer, Ameya Prabhu, Matthias Bethge, Wieland Brendel, A. Sophia Koepke

机构 * Technical University of Munich, MCML（慕尼黑技术大学，MCML） ； University of Tübingen（图宾根大学） ； Tübingen AI Center（图宾根人工智能中心） ； MPI for Intelligent Systems, ELLIS Institute（智能系统Max Planck研究所，ELLIS研究所） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 针对VGGSound数据集在音视频基础模型评估中的标签不完整、类别重叠和模态错位等问题，提出重新标注的多标签测试集VGGSounder，并引入模态混淆指标分析模型性能退化。

Comments Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) 2025

ASR-Agnostic Multimodal Spectrotemporal Modeling for Early Dementia Detection

ASR无关的多模态谱时建模用于早期痴呆检测

Chukwuemeka Ugwu, Oluwafemi Richard Oyeleke

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI、eess.AS

AI总结 提出一种不依赖语音识别的框架，直接从梅尔频谱图中提取谱时位移场作为数字生物标志物，结合CNN-ConvGRU声学嵌入和交叉注意力融合，在三种语言语料库上验证了多模态融合的语料依赖性。

LLM-Powered Interactive Robotic Action Synthesis from Multimodal Speech, Gestures, and Music

基于多模态语音、手势和音乐的LLM驱动交互式机器人动作合成

Snehasis Banerjee, Ranjan Dasgupta

机构 * TCS Research, Tata Consultancy Services（塔塔咨询服务公司TCS研究院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出利用大语言模型融合语音、手势和音乐节拍等多模态输入，合成复杂机器人动作序列的框架，实现更自然的人机交互。

Comments IROS 2025 Workshop on Action and Interaction: Humans and Robots in Collaboration

On Optimizing Multimodal Jailbreaks for Spoken Language Models

关于优化口语语言模型的多模态越狱攻击

Aravind Krishnan, Karolina Stańczak, Dietrich Klakow

机构 * Saarland University（萨尔大学） ； DFKI GmbH（德国人工智能研究中心） ； ETH AI Center（ETH人工智能中心） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 提出联合音频文本多模态攻击框架JAMA，通过梯度优化同时扰动语音和文本模态，在四个SLM上实现1.5至20倍于单模态的越狱成功率，并分析其运行机制。

Comments Accepted at INTERSPEECH 2026

MAGE: Modality-Agnostic Music Generation and Target-Source Extraction

MAGE：模态无关的音乐生成与编辑

Muhammad Usama Saleem, Tejasvi Ravi, Tianyu Xu, Rajeev Nongpiur, Ishan Chatterjee, Mayur Jagdishbhai Patel, Pu Wang

机构 * Google（谷歌） ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)

AI总结 MAGE提出了一种模态无关框架，统一了多模态音乐生成与混合编辑，通过可控多模态FluxFormer和音频视觉 nexus 对齐机制，实现灵活且高效的音乐生成与编辑。

Listening Between the Lines: Joint Learning of ASR Embeddings and LLM-Augmented Linguistics for Dementia Detection

弦外之音：ASR嵌入与LLM增强语言学联合学习用于痴呆检测

Olivier Jiyoun Jung, Jonghyeon Park, Myungwoo Oh

机构 * Division of Communication and Media, Ewha Womans University, South Korea（韩国梨花女子大学传播与媒体学院） ； NAVER Cloud, South Korea（韩国NAVER Cloud） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 提出多模态框架，结合Whisper的声学表示与LLM提取的语言特征，通过门控融合网络实现痴呆检测，在ADReSS和ADReSSo上F1分别达89.47%和90.14%。

Comments Accepted at INTERSPEECH 2026