多模态大模型

H2H Music Improv: A Communication Model and Audio-Visual Dataset for Music Improvisation

H2H音乐即兴：一种音乐即兴的通信模型及视听数据集

Aleksandra Teng Ma, Anthony Cammarota, Jiayi Wang, Alexandria Smith, Cheng-Zhi Anna Huang, Jeffrey Albert, Alexander Lerch

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.MM、eess.AS

AI总结 该研究针对现有AI即兴系统缺乏通信意识的问题，通过与专业即兴者协作推导通信模型，并构建首个自由即兴的H2H视听数据集，为AI音乐伙伴设计提供新资源。

Comments Published in the Proceedings of the Society for Music Information Retrieval Conference (ISMIR) 2026

Omni-LiveAvatar: Minute-Level Real-Time Streaming Joint Audio-Visual Avatar Generation

Omni-LiveAvatar：分钟级实时流式视听联动数字人生成

Lunjie Zhu, Xingtong Ge, Fangyu Lin, Yi Zhang, Zhening Liu, Mengfei Li, Yumeng Zhang, Guanglu Song, Yu Liu, Jun Zhang

专题命中 音频语音多模态 ：audio-visual(title)；cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 本研究提出Omni-LiveAvatar框架，通过渐进式自回归蒸馏等技术，实现分钟级实时流式视听联动数字人生成，速度较LTX-2提升33倍且性能优于基线模型。

Parameter- and Bandwidth-Efficient Edge--cloud Many-to-Many Speech-to-Text Translation

带宽高效且隐私保护的边缘-云多对多语音翻译

Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Lei Chen, Ming Liu, Bing Qin, Yang Xiang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 音频语音多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 提出边缘-云协同框架ESRT，通过分割推理架构压缩中间特征实现带宽降低10倍和语音隐私保护，并采用多任务加权课程学习策略实现45种语言的多对多语音翻译。

Leading-Silence Augmentation and Multi-Stage Synthetic Supervision for the Second MLC-SLM Challenge

面向第二届MLC-SLM挑战赛的前置静音增强与多阶段合成监督

Kexin Shi, Renhe Sun, Yuge Huang, Ximeng Wang, Jiayi Zhou, Jian Liu, Malu Zhang

机构 * Ant Group（蚂蚁集团） ； UESTC（电子科技大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 针对第二届MLC-SLM挑战赛的两项任务，分别采用前置静音增强等策略微调VibeVoice-ASR-7B、用合成问答对微调Qwen3-Omni-30B-A3B-Instruct，提升了任务1和任务2的评估性能。

Decoding Student Minds: Leveraging Conversational Agents for Psychological and Learning Analysis

解码学生心智：利用对话代理进行心理和学习分析

Nour El Houda Ben Chaabene, Hamza Hammami, Laid Kahloul

机构 * STIH Laboratory, Sorbonne University（索邦大学STIH实验室） ； LIPAH-LR11ES14, National Engineering School of Tunis（突尼斯国家工程学院LIPAH-LR11ES14） ； Faculty of Sciences of Tunis（突尼斯科学学院） ； LINFI Laboratory（LINFI实验室） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出一种结合多模态数据和语义推理的对话代理，用于实时分析学生认知和情感状态，提升学习表现和情感福祉。

SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos

SALSA-V：基于视频的捷径增强式长同步音频生成模型

Amir Dellali, Luca A. Lanzendörfer, Florian Grötschla, Roger Wattenhofer

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 SALSA-V是一种多模态视频转音频生成模型，通过掩码扩散目标和捷径损失实现长音频同步高保真生成，仅需8步采样即可快速生成，性能优于现有SOTA，可用于专业音频合成任务。