多模态大模型

Balancing Multi-modal Sensor Learning via Multi-objective Optimization

通过多目标优化平衡多模态传感器学习

Heshan Fernando, Quan Xiao, Parikshit Ram, Yi Zhou, Horst Samulowitz, Nathalie Baracaldo, Tianyi Chen

机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） ； IBM Research（IBM研究院） ； Cornell University（康奈尔大学） 纠错

专题命中 音频语音多模态 ：multi-modal(title,abstract)

AI总结 本文提出MIMO方法，通过多目标优化平衡多模态传感器学习，提升系统可靠性并减少计算开销。

JoyStreamer: Unlocking Highly Expressive Avatars via Harmonized Text-Audio Conditioning

JoyStreamer: 通过和谐的文本-音频条件化解锁高度表达性的化身

Ruikui Wang, Jinheng Feng, Lang Tian, Huaishao Luo, Chaochao Li, Liangbo Zhou, Huan Zhang, Youzheng Wu, Xiaodong He

机构 * JD Technology（京东科技） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 本文提出JoyAvatar框架，通过双教师增强训练算法和动态调节多模态条件，提升视频化身生成的自然性和时序一致性，优于现有模型并在多人群对话等复杂应用中表现突出。

SIREN: Spatially-Informed Reconstruction of Binaural Audio with Vision

SIREN：基于视觉的双耳音频重建

Mingyeong Song, Seoyeon Ko, Junhyug Noh

机构 * Ewha Womans University, Seoul, Korea（韩国首尔梨花女子大学） 纠错

专题命中 音频语音多模态 ：audio-visual(abstract)

AI总结 SIREN通过视觉引导将单声道音频转换为双耳音频，利用双头自注意力机制生成场景图，并通过两阶段波形域融合抑制混响，提升时间频率和相位敏感度指标。

Comments 5 pages, 1 figure, to appear in ICASSP 2026