多模态大模型

To Be Multimodal or Not to Be: Query-Adaptive Audio-Visual Person Retrieval via Active Modality Detection

多模态还是非多模态：通过主动模态检测的查询自适应音视频人物检索

Erfan Loweimi, Mengjie Qian, Kate Knill, Guanfeng Wu, Chi-Ho Chan, Abbas Haider, Muhammad Awan, Josef Kittler, Hui Wang, Mark Gales

机构 * University of Cambridge（剑桥大学） ； Queen's University Belfast（贝尔法斯特女王大学） ； University of Surrey（萨里大学） ； Cisco（思科） ； Southwest Jiaotong University（西南交通大学） ； Teesside University（泰赛德大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(title)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出一种查询自适应框架，通过跨模态分数一致性检测主动模态，在BBC Rewind语料库上达到94.2%的P@1，优于单模态和固定融合方法。

Comments INTERSPEECH 2026

Beyond Generative Decoding: Discriminative Hidden-State Readout from a Native Omni-Modal LLM for Multimodal Sentiment Analysis

超越生成式解码：来自原生全模态大语言模型的判别性隐藏状态读出用于多模态情感分析

Bin Wen, Tien-Ping Tan

机构 * School of Computer Sciences, Universiti Sains Malaysia, Penang, Malaysia（计算机科学学院，马来西亚国际科学大学，槟城） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；omni-modal(title,abstract)；分类 cs.MM、eess.AS

AI总结 针对多模态情感分析中生成式读出将连续回归绑定到离散自回归解码导致精度和效率损失的问题，提出基于原生全模态大语言模型Qwen2.5-Omni-7B的Thinker模块的判别性读出方法，通过轻量回归头直接映射最终层隐藏状态，在单消费级GPU上实现最先进性能。

Comments 18 pages, 4 figures, 6 tables

O_O-VC: Synthetic Data-Driven One-to-One Alignment for Any-to-Any Voice Conversion

O_O-VC: 基于合成数据驱动的任意到任意语音转换一一对一对齐

Huu Tuong Tu, Huan Vu, cuong tien nguyen, Dien Hy Ngo, Nguyen Thi Thu Trang

机构 * VNPT AI, VNPT Group（VNPT AI，VNPT集团） ； Hanoi University of Science and Technology（河内科学技术大学） ； Business AI Lab, National Economics University（国家经济大学商业人工智能实验室） 纠错

专题命中 音频语音多模态 ：any-to-any(title,abstract)；分类 eess.AS

AI总结 本文提出了一种基于合成数据驱动的任意到任意语音转换方法，通过利用高质量预训练多说话人文本到语音模型生成的合成语音数据，学习源语音到目标语音的直接映射，从而在保留语言内容的同时捕捉说话人特定特征，并在零样本场景中提升适应性和性能。

Comments EMNLP 2025

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025

Leveraging Cascaded Binary Classification and Multimodal Fusion for Dementia Detection through Spontaneous Speech

利用级联二分类和多模态融合进行自发语音中的痴呆症检测

Yin-Long Liu, Yuanchao Li, Rui Feng, Liu He, Jia-Xin Chen, Yi-Ming Wang, Yu-Ang Chen, Yan-Han Peng, Jia-Hong Yuan, Zhen-Hua Ling

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 本文提出了一种级联二分类和多模态融合的方法，用于通过自发语音进行早期痴呆症检测，解决了类别不平衡问题，并在Mini-Mental State Examination评分回归任务中实现了优于基线方法的性能。

Comments Accepted by Interspeech 2025

Journal ref Proc. Interspeech 2025, pp. 544-548, 2025

ExpSpeech-Net: Multimodal Fusion of Expression and Speech for Deepfake Detection

ExpSpeech-Net: 表情与语音的多模态融合用于深度伪造检测

Ruchika Sharma, Rudresh Dwivedi

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 音频语音多模态 ：multimodal(title)；分类 cs.CV

AI总结 提出轻量级ExpSpeech-Net模型，通过融合面部表情和语音模式，利用SqueezeNet和RNN骨干网络及智能特征选择，实现高效深度伪造检测，准确率达94.5%。

InfoShield: Privacy-Preserving Speech Representations for Mental Health Screening via Information-Theoretic Optimization

InfoShield：通过信息论优化实现心理健康筛查的隐私保护语音表示

Xueyang Wu, Siyuan Liu, Kezhuo Yang, Guang Ling

机构 * Shenzhen NeurStar Inc., China（深圳NeurStar公司，中国） ； University of York, United Kingdom（约克大学，英国） ； Shanghai Jiao Tong University, China（上海交通大学，中国） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 提出InfoShield框架，通过最小化语音表示与敏感属性间的互信息，在保持抑郁分类性能的同时有效降低人口统计信息泄露风险。

Automatic Labelling of Speech Translation Errors

语音翻译错误的自动标注

Dominik Macháček, Maike Züfle, Ondrej Klejch

机构 * Charles University（查尔斯大学） ； University of Edinburgh（爱丁堡大学） ； Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 针对语音翻译缺乏置信度评估方法的问题，提出STEL标注协议，通过文本和多模态系统分析，发现直接语音处理对任务必要且与文本系统互补。