多模态大模型

MaineCoon: Pursuing A Real-Time Audio-Visual Social World Model

MaineCoon: 追求实时音视频社交世界模型

Lichen Bai, Tianhao Zhang, Shitong Shao, Dingwei Tan, Qiyu Zhong, Zhengpeng Xie, Haopeng Li, Qinghao Huang, Dandan Shen, Tengjiao Ji, Wei Wang, Peicheng Wu, Yuxuan Zhao, Xiangyu Zhu, Welly Luo, Shurui Yang, Zeke Xie

机构 * Catnip AI Team（Catnip AI团队） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出MaineCoon，首个22B参数的实时音视频自回归模型，支持单GPU上高达47.5 FPS的流式生成和亚秒级交互，专为社交互动应用优化，引入自重采样、跨模态对齐、领域偏好优化和强化在线策略蒸馏等技术。

Comments 32 pages, 13 figures, 3 tables

Plug-and-Steer: Decoupling Separation and Selection in Audio-Visual Target Speaker Extraction

Plug-and-Steer：解耦分离与选择的音视频目标说话人提取

Doyeop Kwak, Suyeon Lee, Joon Son Chung

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.MM、eess.AS

AI总结 提出Plug-and-Steer方法，通过解耦分离与目标选择，利用冻结的纯音频骨干网络和潜引导矩阵实现高保真音视频目标说话人提取。

Comments Accepted by Interspeech 2026; demo available https://plugandsteer.github.io

Synergizing Zero-Shot Cross-Lingual Alzheimer Detection with Language-Invariant Multimodal Bi-Geometric Adversarial Learning

协同零样本跨语言阿尔茨海默检测与语言不变多模态双几何对抗学习

Girish, Mohd Mujtaba Akhtar, Farhan Sheth, Muskaan Singh, Juliana Gerard, Paula McClean, Kongfatt Wong-Lin

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 提出ORBIT框架，通过跨注意力融合、多语言对抗和球面-双曲几何学习实现零样本跨语言阿尔茨海默病检测，多模态融合优于单模态基线。

Comments Accepted to INTERSPEECH 2026

Are you speaking my languages? On spoken language adherence in multimodal LLMs

你在说我的语言吗？多模态大语言模型中的口语遵循问题

Hyungwon Kim, Kandarp Joshi, Lillian Zhou, Pavel Golik, Petar Aleksic

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 音频语音多模态 ：multimodal(title)；分类 cs.CL、eess.AS

AI总结 针对多模态大语言模型在自动语音识别中输出语言识别错误的问题，提出软提示方法、监督微调和思维链推理三种缓解策略，并引入新指标量化语言违背，比较各方法在减少违规和保持ASR性能上的效果。

Comments 7 pages, 3 tables in the main body

Evaluating Large Language Models Abilities for Addressee, Turn-change, and Next Speaker Prediction in Meetings

评估大型语言模型在会议中的收话人、话轮转换和下一说话人预测能力

Ryo Fukuda, Takatomo Kano, Siddhant Arora, Marc Delcroix, Naohiro Tawara, Atsunori Ogawa, Yuya Chiba, Atsushi Ando, William Chen, Shinji Watanabe

机构 * NTT, Inc., Japan（日本电信电话公司） ； Language Technologies Institute, Carnegie Mellon University, USA（卡内基梅隆大学语言技术研究所） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CL

AI总结 利用大型语言模型（LLMs）研究多模态多人对话中的话轮转换，构建了收话人检测、话轮转换预测和下一说话人预测三个任务的评估框架，实验表明LLMs在下一说话人预测上优于监督模型和人类，但多模态LLM在收话人检测和话轮转换预测上仍低于人类水平。

Comments Accepted to INTERSPEECH 2026

Membership Inference Attacks against Large Audio Language Models

针对大型音频语言的成员推断攻击

Jia-Kai Dong, Yu-Xiang Lin, Hung-Yi Lee

机构 * National Taiwan University（国立台湾大学） ； NTU Artificial Intelligence Center of Research Excellence（国立成功大学人工智能卓越研究中心） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 首次系统评估大型音频语言模型的成员推断攻击，提出盲基线协议控制分布偏移，发现跨模态记忆仅源于说话人声纹与文本绑定。

Comments Accepted by Interspeech 2026

ALAS: An Automatic Latent Alignment Score for Audio Language Models

ALAS：音频语言模型的自动潜在对齐分数

Pooneh Mousavi, Yingzhi Wang, Mirco Ravanelli, Cem Subakan

机构 * Concordia University（Concordia 大学） ； Mila-Quebec AI Institute（Mila-Quebec 人工智能研究所） ； Centrale Supelec（Centrale Supelec 研究院） ； Laval University（Laval 大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、eess.AS

AI总结 提出ALAS指标，通过计算音频与文本表示的跨模态余弦相似度，无需训练即可评估语音-LLM的音频-文本对齐质量，揭示模型对齐深度与任务需求的关系。

Bridging the Usability Gap: Lessons from Interpreting Studies for Machine Interpreting Design

弥合可用性差距：口译研究对机器口译设计的启示

Claudio Fantinuoli

机构 * University of Mainz（美因茨大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文定义机器口译为语音翻译的子领域，指出其存在“准确性幻觉”，并借鉴口译研究提出未来设计的三个优先方向：能动性、共同基础与体验，以弥合可用性差距。

Ten Years of the Stochastic Resonance Model of Tinnitus: From Phantom Perception to Adaptive Sensory Optimization

耳鸣的随机共振模型十年：从幻想到自适应感觉优化

Patrick Krauss, Achim Schilling

专题命中 音频语音多模态 ：cross-modal(abstract)

AI总结 本文综述了耳鸣的随机共振模型，该模型将耳鸣重新解释为听觉系统为补偿听力损失而自适应上调神经噪声的副产品，并总结了理论、实验和临床应用进展。

MAJIC: Leveraging Articulatory Motion for Speech-based Emotion Recognition

MAJIC: 利用发音运动进行基于语音的情感识别

Tanmay Srivastava, Paras Bhavnani, Benjir Alvee Islam, Shubham Jain

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 提出MAJIC多模态情感识别系统，通过融合下颌和面部肌肉的发音运动特征与音频特征，在多种语言和场景下实现93%准确率和91%F1分数，优于纯音频基线。