多模态大模型

ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation

ViPo-MLLM：用于无注释手语翻译的视觉-姿势多模态大语言模型

Ahmed Abul Hasanaath, Bicheng Xu, Mir Rayat Imtiaz Hossain, Leonid Sigal, Hamzah Luqman

机构 * King Fahd University of Petroleum and Minerals（国王法赫德石油矿物大学） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 音频语音多模态 ：MLLM(title,title_cn)；multimodal(title)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究尝试无注释手语翻译，提出ViPo-MLLM框架结合时空RGB和人体姿势特征，用专用编码器与交叉模态注意力，经结构化提示和训练后由大语言模型处理。该模型在数据集取得新成果，验证了机制有效性。

mllm-shap: A Shapley Value Explainability Platform for Text-Audio Multimodal Large Language Models

mllm-shap：面向文本-音频多模态大语言模型的Shapley值可解释性平台

Jakub Muszyński, Paweł Pozorski, Maria Ganzha

机构 * Warsaw University of Technology（华沙理工大学） 纠错

专题命中 音频语音多模态 ：MLLM(title,title_cn)；multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出mllm-shap框架，通过模态感知掩码、多轮对话追踪和音素对齐分组技术，将Shapley值可解释性扩展到文本-音频多模态大语言模型，并实现10-50倍的计算加速。

Comments Submitted to ACL2026

How do Multimodal Foundation Models Encode Text and Speech? An Analysis of Cross-Lingual and Cross-Modal Representations

Hyunji Lee, Danni Liu, Supriti Sinhamahapatra, Jan Niehues

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(title,abstract)；multimodal foundation model(title,abstract)；分类 cs.CL

Comments NAACL 2025

OpenGlass: A Sensing-Computing Split Architecture for Local MLLM-Driven Real-Time Visual Assistance

OpenGlass：用于本地MLLM驱动的实时视觉辅助的传感-计算分离架构

Mengzhang Li, Yuan Yao

机构 * Shanghai Qizhi Institute（上海期智研究院） ； College of AI, Tsinghua University（清华大学人工智能学院） 纠错

专题命中 音频语音多模态 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对视障和低视力用户，OpenGlass以传感-计算分离解决云MLLM辅助需上传数据、有网络延迟，以及可穿戴眼镜计算和电量受限问题，在本地设备实现低延迟多模态视觉辅助，并给出评估结果。

Comments Accepted to ACL 2026 System Demonstrations. 11 pages, 5 figures, 8 tables

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations), pages 829-839, 2026

WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM

WAVE: 基于多模态大语言模型的学习统一且多功能的音频-视觉嵌入

Changli Tang, Qinfan Xiao, Ke Mei, Tianyi Wang, Fengyun Rao, Chao Zhang

机构 * Tsinghua University（清华大学） ； WeChat Vision, Tencent Inc.（腾讯公司） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(title,abstract)；multi-modal(abstract)；cross-modal(abstract)

AI总结 WAVE通过联合多模态多任务训练方法，实现了统一且多功能的音频-视觉嵌入，显著提升了跨模态检索和问答性能。

FutureOmni: Evaluating Future Forecasting from Omni-Modal Context for Multimodal LLMs

FutureOmni：从全模态上下文中评估多模态大语言模型的未来预测能力

Qian Chen, Jinlan Fu, Changsong Li, Min Zhang, See-Kiong Ng, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；omni-modal(title,abstract)；cross-modal(abstract)；audio-visual(abstract)

AI总结 提出FutureOmni基准，评估多模态大模型从音视频线索预测未来的能力，发现现有模型在语音密集场景下表现差，并设计OFF训练策略提升性能。

Comments Accepted by ICML 2026

AV-Odyssey Bench: Can Your Multimodal LLMs Really Understand Audio-Visual Information?

Kaixiong Gong, Kaituo Feng, Bohao Li, Yibing Wang, Mofan Cheng, Shijia Yang, Jiaming Han, Benyou Wang, Yutong Bai, Zhuoran Yang, Xiangyu Yue

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Project page: https://av-odyssey.github.io/

When the Interviewer Is a Bot: Behavior, Breakdowns, and Trust in MLLM-Led Interviews

当面试官是机器人时：多模态大语言模型（MLLM）主导的面试中的行为、故障与信任

He Zhang, Kambinachi Chukwuma, ChanMin Kim, John M. Carroll

专题命中 音频语音多模态 ：MLLM(title,title_cn)；multimodal(abstract)

AI总结 该研究通过构建InterviewBot系统开展实证研究，分析了MLLM主导面试的行为、故障与社会动态，为以人为中心的面试自动化提供设计启示。

Comments Accepted to ACM HCOMP 2026

AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning

AVSCap：为全模态视频字幕编排视听协同

Yanghai Wang, Jiahao Wang, Jiafu Tang, Yuanxing Zhang, Zhe Cao, Hanyan Bian, Zijie Zhang, Weiliang Luo, Zhiyu Pan, Zixuan Dong, Jiaheng Liu, Zhaoxiang Zhang

机构 * Nanjing University（南京大学） ； Kuaishou Technology（快手科技） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；omni-modal(title,abstract)；multimodal(abstract)；cross-modal(abstract)

AI总结 研究全模态视频字幕编排视听协同问题，提出AVSCap框架，构建训练语料库，采用两阶段策略训练字幕生成器，引入新基准，实验表明该模型在非语音音频覆盖率和跨模态绑定方面表现出色，提升了整体性能。

InteractiveOmni: A Unified Omni-modal Model for Audio-Visual Multi-turn Dialogue

InteractiveOmni: 一种用于音频-视觉多轮对话的统一多模态模型

Wenwen Tong, Hewei Guo, Dongchuan Ran, Jiangnan Chen, Jiefan Lu, Kaibin Wang, Keqiang Li, Xiaoxu Zhu, Jiakui Li, Kehan Li, Xueheng Li, Lumin Li, Chenxu Guo, Jiasheng Zhou, Jiandong Chen, Xianye Wu, Jiahao Wang, Silei Wu, Lei Chen, Hanming Deng, Yuxuan Song, Dinghao Zhou, Guiping Zhong, Ken Zheng, Shiyin Kang, Lewei Lu

机构 * SenseTime Research（商汤科技研究院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；omni-modal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)

AI总结 InteractiveOmni是一种统一的多模态模型，通过多阶段训练策略提升多轮对话能力，提供高效的音频-视觉交互体验。

Cross-Modal Backdoors in Multimodal Large Language Models

多模态模型中的跨模态后门

Runhe Wang, Li Bai, Haibo Hu, Songze Li

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 研究提出一种利用轻量级连接器漏洞的跨模态后门攻击，通过污染连接器实现跨模态后门激活，展示攻击的有效性和可迁移性，揭示多模态对齐中的基本漏洞。

CLASP: Cross-modal Salient Anchor-based Semantic Propagation for Weakly-supervised Dense Audio-Visual Event Localization

Jinxing Zhou, Ziheng Zhou, Yanghao Zhou, Yuxin Mao, Zhangling Duan, Dan Guo

专题命中 音频语音多模态 ：cross-modal(title,abstract)；audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

Cross-modal Prompts: Adapting Large Pre-trained Models for Audio-Visual Downstream Tasks

Haoyi Duan, Yan Xia, Mingze Zhou, Li Tang, Jieming Zhu, Zhou Zhao

专题命中 音频语音多模态 ：cross-modal(title,abstract)；audio-visual(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

Comments Accepted to NeurIPS 2023

Fine-grained Audio-Visual Joint Representations for Multimodal Large Language Models

Guangzhi Sun, Wenyi Yu, Changli Tang, Xianzhao Chen, Tian Tan, Wei Li, Lu Lu, Zejun Ma, Chao Zhang

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI、eess.AS

Cross-Modal Global Interaction and Local Alignment for Audio-Visual Speech Recognition

Yuchen Hu, Ruizhe Li, Chen Chen, Heqing Zou, Qiushi Zhu, Eng Siong Chng

专题命中 音频语音多模态 ：cross-modal(title,abstract)；audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.MM、eess.AS

Comments 12 pages, 5 figures, Accepted by IJCAI 2023

Audio-visual Generalised Zero-shot Learning with Cross-modal Attention and Language

Otniel-Bogdan Mercea, Lukas Riesch, A. Sophia Koepke, Zeynep Akata

专题命中 音频语音多模态 ：cross-modal(title,abstract)；audio-visual(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL、eess.AS

Comments CVPR 2022

CoLA: Cross-Modal Low-rank Adaptation for Multimodal Downstream Tasks

CoLA: 跨模态低秩适配用于多模态下游任务

Wish Suharitdamrong, Tony Alex, Muhammad Awais, Sara Atito

机构 * Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音和信号处理中心） ； University of Surrey（塞维利亚大学） ； Surrey Institute for People-Centred AI（以人为本的人工智能研究所） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(title,abstract)；audio-visual(abstract)；分类 cs.CV、cs.CL

AI总结 提出CoLA框架，通过引入跨模态适配路径扩展LoRA，实现双流架构中单模态基础模型的高效多模态适配，在视觉-语言和音频-视觉任务上分别提升约3%和2%的相对性能。

Comments Accepted by ICML 2026, 17 pages, 6 Figures

SMART: Shot-Aware Multimodal Video Moment Retrieval with Audio-Enhanced MLLM

SMART: 基于音频增强多模态大模型的镜头感知视频时刻检索

An Yu, Weiheng Lu, Jian Li, Zhenfei Zhang, Yunhang Shen, Felix X. -F. Ye, Ming-Ching Chang

机构 * Department of Computer Science, University at Albany - SUNY（University at Albany - SUNY 计算机科学系） ； School of Software & Microelectronics, Peking University（北京大学软件与微电子学院） ； Nanjing University（南京大学） ； Xiamen University（厦门大学） ； Department of Mathematics and Statistics, University at Albany - SUNY（University at Albany - SUNY 数学与统计学系） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；MLLM(title,abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI

AI总结 提出SMART框架，融合音频与视觉特征，利用镜头感知令牌压缩技术，在多模态大模型基础上实现视频时刻检索，在Charades-STA和QVHighlights上取得显著提升。

To Be Multimodal or Not to Be: Query-Adaptive Audio-Visual Person Retrieval via Active Modality Detection

多模态还是非多模态：通过主动模态检测的查询自适应音视频人物检索

Erfan Loweimi, Mengjie Qian, Kate Knill, Guanfeng Wu, Chi-Ho Chan, Abbas Haider, Muhammad Awan, Josef Kittler, Hui Wang, Mark Gales

机构 * University of Cambridge（剑桥大学） ； Queen's University Belfast（贝尔法斯特女王大学） ； University of Surrey（萨里大学） ； Cisco（思科） ； Southwest Jiaotong University（西南交通大学） ； Teesside University（泰赛德大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(title)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出一种查询自适应框架，通过跨模态分数一致性检测主动模态，在BBC Rewind语料库上达到94.2%的P@1，优于单模态和固定融合方法。

Comments INTERSPEECH 2026

LatentOmni: Rethinking Omni-Modal Understanding via Unified Audio-Visual Latent Reasoning

LatentOmni: 通过统一的音频-视觉潜在推理重新思考多模态理解

Yifan Dai, Zhenhua Wu, Bohan Zeng, Daili Hua, Jialing Liu, Bozhou Li, Yuran Wang, Chengzhuo Tong, Hao Liang, Xiaochen Ma, Junbo Niu, Tianyu Guo, Yang Shi, Yue Ding, Yiyan Ji, Bingyin Mei, Yushuo Guan, Yuanxing Zhang, Pengfei Wan, Fangcheng Fu, Wentao Zhang

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； Peking University（北京大学） ； HKUST（香港科技大学） ； CASIA（中国科学院自动化研究所） ； Nanjing University（南京大学） ； Renmin University of China（中国人民大学） ； Tsinghua University（清华大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；omni-modal(title)；multimodal(abstract)；cross-modal(abstract)

AI总结 本文提出LatentOmni框架，通过统一的音频-视觉潜在空间进行多模态推理，利用特征级监督和Omni-Sync Position Embedding保持时间一致性，从而在多个音频-视觉推理基准测试中取得最佳性能。

Comments 21 pages, 15 figures

Multimodal Confidence Modeling in Audio-Visual Quality Assessment

音频视频质量评估中的多模态置信度建模

Mayesha Maliha R. Mithila, Mylene C. Q. Farias

机构 * Texas State University Department of Computer Science（德克萨斯州立大学计算机科学系） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出MCM-AVQA框架，通过多模态置信度感知方法提升音频视频质量评估的准确性与可解释性，特别在处理不对称退化时表现更优。

Comments Accepted at ICIP 2026, 6 pages, 4 figures, no supplementary material

Cross-Modal Binary Attention: An Energy-Efficient Fusion Framework for Audio-Visual Learning

跨模态二进制注意力：面向音频视觉学习的高效融合框架

Mohamed Saleh, Zahra Ahmadi

机构 * Peter L. Reichertz Institute for Medical Informatics of TU Braunschweig and Hannover Medical School（图林根工业大学和汉诺威医学院医学信息学研究所） ； Lower Saxony Center for AI and Causal Methods in Medicine (CAIMed)（下萨克森人工智能与因果医学方法中心） 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)；audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 提出CMQKA和SNNergy，通过高效二进制操作实现线性复杂度的跨模态融合，显著提升音频视觉任务的能耗效率和性能

Residual Cross-Modal Fusion Networks for Audio-Visual Navigation

残差跨模态融合网络用于音频视觉导航

Yi Wang, Yinfeng Yu, Bin Ren

机构 * School of Computer Science and Technology, Xinjiang University, Urumqi, China（新疆大学计算机科学与技术学院） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive（丝绸之路多语认知联合国际实验室） ； School of Mechatronic Engineering and Automation Shanghai University, Shanghai, China（上海大学机电工程与自动化学院） 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)；audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出残差跨模态融合网络，通过双向残差交互实现音频视觉信息互补建模，提升跨域导航性能。

Comments Main paper (10 pages). Accepted for publication by the 14th international conference on Computational Visual Media (CVM 2026)

AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control

AV-Edit: 通过音频-视觉语义联合控制实现多模态生成式声音效果编辑

Xinyue Guo, Xiaoran Yang, Lipan Zhang, Jianxuan Yang, Zhao Wang, Jian Luan

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 AV-Edit通过联合利用视觉、音频和文本语义，实现多模态生成式声音效果编辑，提升音频编辑的精度和质量。

Robust Wake Word Spotting With Frame-Level Cross-Modal Attention Based Audio-Visual Conformer

Haoxu Wang, Ming Cheng, Qiang Fu, Ming Li

专题命中 音频语音多模态 ：cross-modal(title,abstract)；audio-visual(title,abstract)；multi-modal(abstract)；分类 cs.MM、eess.AS

Comments Accepted by ICASSP 2024

Multimodal Variational Auto-encoder based Audio-Visual Segmentation

Yuxin Mao, Jing Zhang, Mochu Xiang, Yiran Zhong, Yuchao Dai

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV、eess.AS

Comments Accepted by ICCV2023,Project page(https://npucvr.github.io/MMVAE-AVS),Code(https://github.com/OpenNLPLab/MMVAE-AVS)

Audio-visual speech separation based on joint feature representation with cross-modal attention

Junwen Xiong, Peng Zhang, Lei Xie, Wei Huang, Yufei Zha, Yanning Zhang

专题命中 音频语音多模态 ：cross-modal(title,abstract)；audio-visual(title,abstract)；multi-modal(abstract)；分类 cs.CV、eess.AS

Comments 5 pages, 3 figures

Deep Cross-Modal Audio-Visual Generation

Lele Chen, Sudhanshu Srivastava, Zhiyao Duan, Chenliang Xu

专题命中 音频语音多模态 ：cross-modal(title,abstract)；audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.MM

MatchLM2Lite: A Scalable MLLM-to-Lite Framework for Reproduced Content Identification

MatchLM2Lite: 一种可扩展的MLLM-to-Lite框架用于重复内容识别

Xiaotian Fan, Hiok Hian Ong, David Yuchen Wang, Zirui Zhu, Kanchan Sarkar, Kun Xu

机构 * Tiktok（字节跳动） ； National University of Singapore School of Computing（新加坡国立大学计算机学院） 纠错

专题命中 音频语音多模态 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 提出MatchLM2Lite框架，通过将多模态大语言模型蒸馏为轻量模型，实现视频、音频和文本联合建模的实时重复内容识别，在降低35倍计算成本的同时保持高准确率，并成功部署于大规模生产环境。

Multi-Modal Scene Graph with Kolmogorov-Arnold Experts for Audio-Visual Question Answering

多模态场景图与科莫戈罗夫-阿诺尔德专家网络用于音频-视觉问答

Zijian Fu, Changsheng Lv, Xianlin Zhang, Mengshi Qi, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, China（网络与交换技术国家重点实验室，北京邮电大学） 纠错

专题命中 音频语音多模态 ：multi-modal(title,abstract)；audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出基于多模态场景图与科莫戈罗夫-阿诺尔德专家网络的SHRIKE模型，用于提升音频-视觉问答任务中的跨模态交互建模与时间推理性能。