多模态大模型

Evaluating Hallucinations in Audio-Visual Multimodal LLMs with Spoken Queries under Diverse Acoustic Conditions

通过多样声学条件下的语音查询评估音频-视觉多模态大语言模型的幻觉

Hansol Park, Hoseong Ahn, Junwon Moon, Yejin Lee, Kyuhong Shim

机构 * Department of Intelligent Software, Sungkyunkwan University（智能软件系，成均馆大学） ； Department of Computer Science and Engineering, Sungkyunkwan University（计算机科学与工程系，成均馆大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(title)；image-text(abstract)；分类 cs.AI、eess.AS

AI总结 研究探讨语音查询对多模态幻觉的影响，通过RePOPE-Spk基准测试发现语音查询导致错误率显著增加，提出改进方法以提升语音界面可靠性。

Comments Submitted to Interspeech2026

DeSTA2.5-Audio: Toward General-Purpose Large Audio Language Model with Self-Generated Cross-Modal Alignment

DeSTA2.5-Audio：迈向通用大规模音频语言模型的自我生成跨模态对齐

Ke-Han Lu, Zhehuai Chen, Szu-Wei Fu, Chao-Han Huck Yang, Sung-Feng Huang, Chih-Kai Yang, Chee-En Yu, Chun-Wei Chen, Wei-Chih Chen, Chien-yu Huang, Yi-Cheng Lin, Yu-Xiang Lin, Chi-An Fu, Chun-Yi Kuan, Wenze Ren, Xuanjun Chen, Wei-Ping Huang, En-Pei Hu, Tzu-Quan Lin, Yuan-Kuei Wu, Kuan-Po Huang, Hsiao-Ying Huang, Huang-Cheng Chou, Kai-Wei Chang, Cheng-Han Chiang, Boris Ginsburg, Yu-Chiang Frank Wang, Hung-yi Lee

专题命中 音频语音多模态 ：cross-modal(title,abstract)；分类 cs.CL、eess.AS

AI总结 本文提出DeSTA2.5-Audio，一种通用大规模音频语言模型，通过自我生成的跨模态对齐策略解决知识保留与音频感知的平衡问题，展示了在多个音频-语言基准测试中的优异性能。

Comments Published in IEEE Transactions on Audio, Speech and Language Processing (TASLP). Model and code available at: https://github.com/kehanlu/DeSTA2.5-Audio

Do Language Models Associate Sound with Meaning? A Multimodal Study of Sound Symbolism

语言模型是否将声音与意义关联？一种多模态研究声音象征主义

Jinhong Jeong, Sunghyun Lee, Jaeyoung Lee, Seonah Han, Youngjae Yu

机构 * Yonsei University（延世大学） ； Seoul National University（首尔国立大学） ； Korea University（韩国大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究语言模型在多模态输入中对声音象征性的处理，通过分析不同语义维度下的音节注意力分数，揭示模型对声音与意义关联的理解机制。

Comments 33 pages, 27 tables, 10 figures, accepted to AAAI 2026 (Oral)

Few-shot Acoustic Synthesis with Multimodal Flow Matching

少样本声学合成与多模态流匹配

Amandine Brunetto

机构 * Center for Robotics, Mines Paris - PSL University（机器人中心，巴黎 Mines - PSL 大学） 纠错

专题命中 音频语音多模态 ：multimodal(title)；分类 cs.CV、eess.AS

AI总结 本文提出FLAC方法，通过流匹配生成少样本声学合成，结合空间、几何和声学线索生成新的场景房间脉冲响应，优于现有八样本基线。

Comments To appear at CVPR 2026. 23 pages, 16 figures. Project Page: https://amandinebtto.github.io/FLAC/