多模态大模型

CueNet: Robust Audio-Visual Speaker Extraction through Cross-Modal Cue Mining and Interaction

CueNet：通过跨模态线索挖掘与交互实现鲁棒的音频视觉说话人提取

Jiadong Wang, Ke Zhang, Xinyuan Qian, Ruijie Tao, Haizhou Li, Björn Schuller

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(title)；分类 cs.MM

AI总结 本文提出CueNet，通过跨模态线索挖掘与交互提升音频视觉说话人提取的鲁棒性，验证了模型在不同视觉退化下的优越性能。

Delayed Bidirectional Alignment via Disentangled Audio Semantics for Audio-Visual Segmentation

通过解耦音频语义实现延迟双向对齐的音频视觉分割

Jingqi Tian, Yiheng Du, Haoji Zhang, Yuji Wang, Isaac Ning Lee, Xulong Bai, Tianrui Zhu, Jingxuan Niu, Yansong Tang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Peking University（北京大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV、eess.AS

AI总结 本文提出DDAVS方法，通过解耦音频语义和延迟双向对齐解决音频视觉分割中的多源纠缠和视听错位问题，实验表明其在多种场景下均取得最优性能。

Comments Accepted by ECCV 2026

VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

VIB-AVSR：基于变分信息瓶颈的噪声鲁棒LLM视听语音识别

Piyush Arora, Navlika Singh, Umberto Cappellazzo, Stavros Petridis, Maja Pantic

机构 * Imperial College London（帝国理工学院伦敦分校） ； NatWest AI Research（NatWest人工智能研究） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、eess.AS

AI总结 提出VIB-AVSR，通过在LLM骨干中插入变分信息瓶颈层来正则化表示，无需架构修改或额外数据，即可在多种噪声条件下提升AVSR鲁棒性。

Comments Accepted to INTERSPEECH 2026. Our code is available at https://github.com/PiyushArora1010/VIB-AVSR

AMR: Adaptive Modality Routing for Multimodal Polyglot Speaker Identification

AMR: 面向多语言多模态说话人识别的自适应模态路由

Chuxiao Zuo, Yao Zhu, Minqiang Xu, Manhong Wang, Yunke Zhang, Fei Huang

机构 * Honor Device Co., Ltd（Honor设备有限公司） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态说话人识别中模态缺失和语言不匹配问题，提出自适应模态路由（AMR）模块，动态评估输入质量并融合音频和面部特征，在POLY-SIM 2026评测集上平均准确率达99.07%。

Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation

Unison：和谐运动、语音和声音以实现以人为中心的音频视频生成

Shihao Cheng, Jiaxu Zhang, Quanyue Song, Shansong Liu, Zhizhi Guo, Xiaolei Zhang, Chi Zhang, Xuelong Li, Zhigang Tu

机构 * DeepMind ； OpenAI 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 Unison通过显式促进运动、语音和声音模态的协调，解决音频视频生成中模态不一致的问题，提升感知质量和跨模态同步性能。

The NTNU System at the S&I Challenge 2025 SLA Open Track

NTNU系统在S&I挑战2025 SLA开放赛道中的表现

Hong-Yun Lin, Tien-Hong Lo, Yu-Hsuan Fang, Jhen-Ke Lin, Chung-Chun Wang, Hao-Chien Lu, Berlin Chen

机构 * National Taiwan Normal University（国立台湾师范大学） ； Department of Computer Science and Information Engineering（计算机科学与信息工程系） ； Institute of AI Interdisciplinary Applied Technology（人工智能跨学科应用技术研究所） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CL、eess.AS

AI总结 本文提出整合W2V与Phi-4多模态大语言模型的系统，通过分数融合策略提升SLA评估性能，在Speak & Improve Challenge 2025中取得第二名，RMSE为0.375。

Comments submitted to the ISCA SLaTE-2025 Workshop

Rehearsed Multi-Agent Live Product Demonstrations with Real-Time Voice Question Answering

排练式多智能体实时语音问答产品演示

Rahul Khedar, Mayank Malhotra, Avinash Karn, Mouli V, Prakhar Mehrotra

机构 * PayPal AI 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 提出多智能体系统Rhetor，通过跨模态特征表示、接地脚本、排练循环和运行时同步，实现带语音问答的实时产品演示自动化。

Comments Preprint. 4 figures, 1 algorithm, 5 tables. Systems paper with a preliminary six-session case study on four deployed applications; full benchmark protocol proposed, corpus run to appear in a later revision

SpeakerCard-1M: An Evidence-Grounded Corpus for In-the-Wild Speaker Verification

SpeakerCard-1M：面向野外说话人确认的基于证据的说话人卡片语料库

Junyi Peng, Oldřich Plchot, Xiao Song, Dading Chong, Lichun Fan, Hang Su, Themos Stafylakis, Junjie Li, Kong Aik Lee, Shuai Wang, Jian Luan, Jan Černocký

机构 * Brno University of Technology, Czechia（布拉格技术大学，捷克） ； Peking University, China（北京大学，中国） ； Xiaomi, China（小米，中国） ； Athens University of Economics and Business, Greece（雅典经济与商业大学，希腊） ； The Hong Kong Polytechnic University, Hong Kong（香港理工大学，香港） ； Nanjing University, China（南京大学，中国） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

AI总结 提出SpeakerCard-1M双语说话人资源，通过声学探针和受限LLM生成结构化说话人卡片，并定义跨模态协议以支持基于证据的说话人确认。

Comments Corpus and protocols at https://junyipeng00.github.io/SpeakerCard-1M-page