多模态大模型

mllm-shap: A Shapley Value Explainability Platform for Text-Audio Multimodal Large Language Models

mllm-shap：面向文本-音频多模态大语言模型的Shapley值可解释性平台

Jakub Muszyński, Paweł Pozorski, Maria Ganzha

机构 * Warsaw University of Technology（华沙理工大学） 纠错

专题命中 音频语音多模态 ：MLLM(title,title_cn)；multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出mllm-shap框架，通过模态感知掩码、多轮对话追踪和音素对齐分组技术，将Shapley值可解释性扩展到文本-音频多模态大语言模型，并实现10-50倍的计算加速。

Comments Submitted to ACL2026

SMART: Shot-Aware Multimodal Video Moment Retrieval with Audio-Enhanced MLLM

SMART: 基于音频增强多模态大模型的镜头感知视频时刻检索

An Yu, Weiheng Lu, Jian Li, Zhenfei Zhang, Yunhang Shen, Felix X. -F. Ye, Ming-Ching Chang

机构 * Department of Computer Science, University at Albany - SUNY（University at Albany - SUNY 计算机科学系） ； School of Software & Microelectronics, Peking University（北京大学软件与微电子学院） ； Nanjing University（南京大学） ； Xiamen University（厦门大学） ； Department of Mathematics and Statistics, University at Albany - SUNY（University at Albany - SUNY 数学与统计学系） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；MLLM(title,abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI

AI总结 提出SMART框架，融合音频与视觉特征，利用镜头感知令牌压缩技术，在多模态大模型基础上实现视频时刻检索，在Charades-STA和QVHighlights上取得显著提升。

Test-Time Scaling in Multimodal Foundation Models: A Comprehensive Survey of Generation and Reasoning

多模态基础模型中的测试时扩展：生成与推理的综合调查

Cong Wan, Ying He, Zhongzhan Huang, Hefeng Wu

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；分类 cs.CV

AI总结 本文首次系统综述多模态基础模型中的测试时扩展（TTS）方法，提出统一分类框架（采样、反馈、搜索三类），总结应用与基准，并讨论未来方向。

Comments Accepted by ACL 2026, Findings

AVI-Bench: Toward Human-like Audio-Visual Intelligence of Omni-MLLMs

AVI-Bench：迈向全模态大语言模型的人类级视听智能

Yaoting Wang, Ziyi Zhang, Wenming Tu, Shaoxuan Xu, Wenjie Du, Cheng Liang, Weijun Wang, Yuanchao Li, Guangyao Li, Hao Fei, Yuanchun Li, Henghui Ding, Yunxin Liu

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI、eess.AS

AI总结 提出AVI-Bench基准，通过感知、理解、推理三阶段跨模态任务评估全模态大语言模型的视听智能，并引入AVI-Bench-PriSe测试原始视听感知，揭示当前模型局限，构建四级AVI分类体系。

Comments 31 pages, 8 figures, ICML 2026

OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs

OmniMem: 面向流式音视频大语言模型的扰动感知记忆压缩

Guangzhi Sun, Yixuan Li, Yudong Yang, Chao Zhang

机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） ； Department of Engineering, University of Cambridge（剑桥大学工程系） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、cs.AI、eess.AS

AI总结 提出OmniMem，一种针对音视频LLM的流式记忆压缩框架，通过模态感知分配和扰动感知选择压缩KV缓存，在保持长视频理解的同时减少内存，在多个基准上提升2-4%准确率。

Comments Code: https://github.com/bytedance/SALMONN/tree/omni_mem

Cross-Modal Masking for Robust Silent Speech Synthesis Using sEMG and Lipreading

基于sEMG和唇读的鲁棒无声语音合成的跨模态掩蔽

Eder del Blanco, David Gimeno-Gómez, Eva Navas, Carlos-D. Martínez-Hinarejos, Inma Hernáez

机构 * Aholab research group within the HiTZ Center at University of the Basque Country (UPV/EHU)（巴斯克大学HiTZ中心内Aholab研究组） ； PRHLT research center, Universitat Politècnica de València (UPV)（瓦伦西亚理工大学PRHLT研究中心） 纠错

专题命中 音频语音多模态 ：cross-modal(title)；multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 提出掩蔽多模态语音合成框架，联合表面肌电图和唇读信号，通过训练时模态掩蔽提升鲁棒性，在多说话人设置下词错误率降低14个百分点。

Comments 12 pages, 7 figures and 6 tables. Submitted to Transactions on Audio, Speech and Language Processing

Multimodal Group Emotion Recognition In-the-Wild Towards a Privacy-Safe Non-Individual Approach

面向隐私安全的非个体化方法的多模态群体情绪识别

Anderson Augusma

机构 * Université Grenoble Alpes（格勒诺布尔-阿尔卑斯大学） ； Univ. Grenoble Alpes（格勒诺布尔-阿尔卑斯大学） ； Univ. of Glasgow（格拉斯哥大学） ； Inria（法国国家信息与自动化研究所） ； Univ. Paris-Saclay（巴黎-萨克雷大学） ； TU Delft（代尔夫特理工大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出两种多模态框架（交叉注意力融合+帧注意力池化，以及变分编码器多解码器），利用集体音视频信号进行群体情绪识别，避免使用个体特征，在保护隐私的同时实现鲁棒性能。

Comments Doctoral thesis

Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition

Dr. SHAP-AV：通过Shapley归因解码音频-视觉语音识别中的相对模态贡献

Umberto Cappellazzo, Stavros Petridis, Maja Pantic

机构 * Imperial College London, UK（伦敦帝国学院，英国） ； NatWest AI Research, UK（英国NatWest人工智能研究） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、eess.AS

AI总结 本文提出Dr.SHAP-AV框架，通过Shapley值分析音频-视觉语音识别中模态贡献，揭示噪声环境下模型对视觉的依赖及音频贡献的稳定性，推动模态加权机制和Shapley归因作为标准诊断工具。

Comments Accepted to INTERSPEECH 2026 [Long Paper track]. Project website: https://umbertocappellazzo.github.io/Dr-SHAP-AV

Multi-View Speech Representation Learning for Parkinson's Disease Detection Using Context-guided Cross-modal Attention

基于上下文引导跨模态注意力的多视角语音表示学习用于帕金森病检测

George Theodosiou, Loukas Ilias, Dimitris Askounis

机构 * National Technical University of Athens（雅典国家技术大学） 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)

AI总结 提出多分支深度学习框架，融合Log-Mel谱图、MFCC和HuBERT嵌入三种互补语音模态，通过上下文引导跨模态注意力机制动态加权，在PC-GITA语料库上实现91.51%准确率和95.97% AUC，验证了异质语音建模对帕金森病检测的有效性。

Evaluating Multimodal Steganalysis for Split-Payload Audiovisual Steganography

评估针对拆分载荷视听隐写的多模态隐写分析

Prateek Paudel, Nitin Jha, Abhishek Parakh

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 本文研究拆分载荷视听隐写能否逃避单模态和多模态隐写分析，实验表明跨模态拆分载荷可增加检测难度，但多模态检测器的优势主要来自视频流而非真正的音视频联合信号。

Subtitle-Aligned Fine-Tuning of Whisper for Swiss German ASR: Benchmark Contamination, Convention Mismatch, and an Honest Baseline at 25.6% WER (13.8% cWER)

针对瑞士德语音识别的Whisper字幕对齐微调：基准污染、惯例不匹配以及25.6% WER（13.8% cWER）的诚实基线

Felix Akeret

机构 * Independent Researcher, Zurich, Switzerland（独立研究员，瑞士苏黎世） ； ETH Zürich（苏黎世联邦理工学院） ； University of Bern（伯尔尼大学） ； FHNW（西北应用科学与艺术大学） ； CeTIM Leiden/Munich（CeTIM 莱顿/慕尼黑） 纠错

专题命中 音频语音多模态 ：multimodal(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过1,367小时广播语音与标准德语字幕的弱监督，系统微调Whisper large-v3用于瑞士德语音识，发现公开结果因基准污染被高估，并发布两个诚实评估的模型。

Comments 15 pages, 21 tables. Models available at https://huggingface.co/Flix-AI

Is Text All You Need? Text as a Universal Information Bottleneck for Speech LLMs

文本就是一切？文本作为语音大语言模型的通用信息瓶颈

Ming-Hao Hsu, Yuxuan Hu, Shujie Liu, Jinyu Li, Yan Lu, Zhizheng Wu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Microsoft Corporation（微软公司） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 提出Convex Gate（C-Gate）桥接语音与LLM，通过凸包约束将语音表示限制在LLM输入嵌入流形内，在ASR和情感识别上取得联合最优性能，并揭示几何结构而非离散性是关键设计因素。

HydraQE: OSU's Submission for the IWSLT 2026 Speech Translation Metrics Shared Task

HydraQE: OSU 在 IWSLT 2026 语音翻译指标共享任务中的提交

Kevin Krahn, Eric Fosler-Lussier

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL

AI总结 提出 HydraQE，一个基于 Qwen3-ASR 的端到端无参考语音翻译质量估计系统，通过可学习的稀疏标量混合和轻量双向 Transformer 实现跨模态交互，并在人类标注、MetricX-24 和 xCOMET 伪标签上训练三个预测头，优于级联文本基线。

Comments Accepted to IWSLT 2026; 9 pages, 3 figures, 4 tables

TRADE: Transducer-Augmented Decoder for Speech LLM

TRADE: 换能器增强的语音大语言模型解码器

Yun Tang, Shanil Puri, Shinji Watanabe, Subhabrata Mukherjee

机构 * Hippocratic AI ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 提出TRADE模型，通过换能器分支增强多模态大语言模型，实现帧同步对齐与语言推理结合，支持流式和非流式解码，在多个基准上取得低词错误率。

Signals Are Not States: Neuro-Symbolic Safeguards for Culturally Aware Classroom AI

信号不是状态：面向文化意识课堂AI的神经符号安全机制

Sina Bagheri Nezhad

机构 * Independent Researcher（独立研究者） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出NSCR框架，通过神经符号方法处理课堂多模态信号，区分可观测证据与文化负载解读，减少文化偏见对课堂AI的负面影响。

Comments Accepted at the Workshop on Stereotypes Across Cultures in Language Technologies @ ACL 2026

DuplexOmni: Real-Time Listening, Seeing, Thinking, and Speaking for Full-Duplex Interaction

DuplexOmni：用于全双工交互的实时听、看、思考和说话

Muye Huang, Lingling Zhang, Xingyu Yu, Lei Shi, Zhanyu Ma, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He, Jun Liu

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 提出DuplexOmni方法，通过异步协作的交互层（端到端实时处理流式音视频并生成响应）和思考层（复杂推理与工具使用）实现实时多模态全双工交互，并开发Writer-Director管道构建训练数据，在多个基准上表现优异。