多模态大模型

Efficient Audio-Visual Event Recognition via Knowledge Distillation and Dynamic INT8 Quantization of a Hybrid Cross-Attention Network

通过混合交叉注意力网络的知识蒸馏和动态 INT8 量化实现高效视听事件识别

Parinaz Binandeh Dehaghani, Danilo Pena, A. Pedro Aguiar

机构 * University of Porto, Porto, Portugal（葡萄牙波尔图大学） ； ResoSight, Montreal, Canada（ResoSight公司） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)

AI总结 研究针对视听事件识别模型在边缘设备部署的难题，提出结合架构压缩、知识蒸馏和动态 INT8 量化的框架。构建教师与学生模型，经知识蒸馏训练学生模型，再用动态量化减小模型大小。实验表明该框架有效平衡准确率与效率，利于在资源受限平台部署。

Comments 15 pages, 4 figures

Audio-Visual Continual Test-Time Adaptation without Forgetting

音频视觉持续测试时间适应无需遗忘

Sarthak Kumar Maharana, Akshay Mehra, Bhavya Ramakrishna, Yunhui Guo, Guan-Ming Su

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)

AI总结 本文提出AVReCAP方法，在测试时无需源数据即可提升模型性能，通过动态检索最佳融合层参数减少灾难性遗忘。

Comments ECCV 2026 & ICML 2026 Workshop Continual Adaptation at Scale: Towards Sustainable AI

LH-AVLN: A Benchmark for Long-Horizon Audio-Visual-Language Navigation

LH-AVLN：长距离视听语言导航基准测试

Rufeng Chen, Yue Chang, Zili Shao, Zhaofan Zhang, Li Chen, Hechang Chen, Hui Xiong, Sihong Xie

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Jilin University（吉林大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)

AI总结 介绍长距离视听语言导航基准LH-AVLN，结合多目标任务执行等。提出免训练参考智能体PAG-Nav，可维护语义地图并规划。实验表明现有智能体完成任务有困难，PAG-Nav提供更强诊断基线。

Comments 12 pages, 3 figures

LoGSAM: Parameter-Efficient Cross-Modal Grounding for MRI Segmentation

LoGSAM: 用于MRI分割的参数高效跨模态接地

Mohammad Robaitul Islam Bhuiyan, Sheethal Bhat, Melika Qahqaie, Andreas Maier, Tri-Thien Nguyen, Paula Andrea Pérez-Toro, Tomás Arias-Vergara

机构 * Pattern Recognition Lab, Friedrich-Alexander-Universität, Erlangen, Germany（德国埃朗根-纽伦堡大学模式识别实验室） ； Siemens Healthineers, Erlangen, Germany（德国埃朗根西门子医疗） 纠错

专题命中 音频语音多模态 ：cross-modal(title)；分类 cs.CV

AI总结 LoGSAM通过将放射科医生的语音转录为文本提示，利用预训练基础模型实现MRI肿瘤的高效分割，采用LoRA微调提升领域适应性，达到80.32%的Dice分数。

Comments 10 pages, 3 figures, 5 tables

FillGauss: Fine-Grained Filling-Aware Impact Sound Generation for 3D Gaussian Splatting

FillGauss：用于3D高斯点云的细粒度填充感知撞击声生成

Chen Yang, Ganye Wen, Bin Huang, Jiayi Lyu, Zehai Niu, Linlin Shen, Jinbao Wang

专题命中 音频语音多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.MM

AI总结 研究针对多模态AI中从视觉合成撞击声的挑战，提出细粒度填充感知撞击声生成任务。基于FillImpact数据集，构建FillGauss框架，融合多种要素实现位置、撞击物及填充感知音频生成，达物理基础跨模态音频生成新水平。

SALMONN-2: Advancing General-Purpose Hearing Abilities with Self-Supervised Representations

SALMONN-2：利用自监督表示提升通用听力能力

Xiaoyu Yang, Xuenan Xu, Wenyi Yu, Siyin Wang, Changli Tang, Terumi Chiba, Siyuan Hou, Ziyang Zhang, Wen Wu, Baoxiang Li, Guangzhi Sun, Chao Zhang, Philip Woodland

专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS

AI总结 研究探索自监督学习音频表示能否为音频大语言模型提供基础，提出基于统一SSL编码器的SALMONN-2，用多层特征融合适配器，还探索多模态上下文学习。实验表明通用SSL编码器性能良好，SALMONN-2达先进水平，且特定训练可获多模态上下文学习能力。

Comments Disclaimer: This work has been submitted to the IEEE for possible publication

ESCUCHA: A Spanish Speech Benchmark for Heterogeneous Acoustic Conditions

ESCUCHA：用于异构声学条件的西班牙语语音基准测试

Fernando López, Ana Ayala, Guillermo Segovia, Fernando Ibáñez, Ana Martínez, Pablo Gómez, Jordi Luque

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 针对现实声学条件下西班牙语语音理解受关注少的问题，引入ESCUCHA基准测试，含1000个人工挑选与音频配对的问题，强调推理与语言多样性，涵盖多类问题，测试发现先进模型与人类存在性能差距。

Comments Under review