多模态大模型

Semantic Audio-Visual Navigation in Continuous Environments

语义音频视觉导航在连续环境中

Yichen Zeng, Hebaixu Wang, Meng Liu, Yu Zhou, Chen Gao, Kehan Chen, Gongping Huang

机构 * Wuhan University（武汉大学） ； Zhongguancun Academy（中关村学院） ； Shandong Jianzhu University（山东建筑大学） ； Nankai University（南开大学） ； Tsinghua University（清华大学） ； CASIA（中国科学院自动化研究所） ； UCAS（中国科学院大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出MAGNet模型，通过多模态Transformer实现语义目标推理，提升在连续空间中导航的鲁棒性与成功率。

Comments This paper has been accepted to CVPR 2026

Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling

通过多模态深度扩展适应文本LLM到语音

Kazuki Yano, Jun Suzuki, Shinji Watanabe

机构 * Tohoku University（东北大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出多模态深度扩展方法，通过在冻结的文本LLM中插入新层并仅训练这些层来适应语音数据，实验表明其在ASR性能上接近全微调，且文本能力退化更少。

FlexAI: A Multi-modal Solution for Delivering Personalized and Adaptive Fitness Interventions

FlexAI: 一种多模态解决方案，用于提供个性化和自适应的健身干预

Shivangi Agarwal, Zoya Ghoshal, Bharat Jain, Siddharth Siddharth

专题命中 音频语音多模态 ：multi-modal(title,abstract)

AI总结 FlexAI通过整合计算机视觉、生理传感器和大语言模型，提供实时个性化健身指导，显著提升用户参与度和效果。

Beyond Metadata: Multimodal, Policy-Aware Detection of YouTube Scam Videos

超越元数据：多模态、政策感知的YouTube诈骗视频检测

Ummay Kulsum, Aafaq Sabir, Abhinaya S. B., Anupam Das

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 本文提出多模态、政策感知的YouTube诈骗视频检测方法，通过结合文本、音频和视频信息，提升检测性能和鲁棒性，同时提供可解释的政策依据。

Comments Accepted at AAAI ICWSM 2026

Omni-MMSI: Toward Identity-attributed Social Interaction Understanding

Omni-MMSI：迈向基于身份的社会互动理解

Xinpeng Li, Bolin Lai, Hardy Chen, Shijian Deng, Cihang Xie, Yuyin Zhou, James Matthew Rehg, Yapeng Tian

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Georgia Institute of Technology（佐治亚理工学院） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出Omni-MMSI任务，要求从原始音频、视觉和语音输入中全面理解社会互动，通过身份属性的社会线索识别与推理，提升AI助手对人类互动的感知与响应能力。

Comments Accepted to CVPR 2026. Project page: https://sampson-lee.github.io/omni-mmsi-project-page