多模态大模型

When the Interviewer Is a Bot: Behavior, Breakdowns, and Trust in MLLM-Led Interviews

当面试官是机器人时：多模态大语言模型（MLLM）主导的面试中的行为、故障与信任

He Zhang, Kambinachi Chukwuma, ChanMin Kim, John M. Carroll

专题命中 音频语音多模态 ：MLLM(title,title_cn)；multimodal(abstract)

AI总结 该研究通过构建InterviewBot系统开展实证研究，分析了MLLM主导面试的行为、故障与社会动态，为以人为中心的面试自动化提供设计启示。

Comments Accepted to ACM HCOMP 2026

Rationale-Guided Learning for Multimodal Emotion Recognition

基于理由引导学习的多模态情感识别

Sujung Oh, Jung Uk Kim, Sangmin Lee

专题命中 音频语音多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态情感识别忽略人类因果推理的问题，提出理由引导学习框架，结合双加工理论与MLLM生成的理由训练模型，在IEMOCAP和MELD基准取得最优性能，且推理无额外开销。

Comments ICASSP 2026

Journal ref S. Oh, J. U. Kim and S. Lee, "Rationale-Guided Learning for Multimodal Emotion Recognition," ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Barcelona, Spain, 2026, pp. 12577-12581

From Talking to Singing: A New Challenge for Audio-Visual Deepfake Detection

从说话到唱歌：音视频深度伪造检测的新挑战

Ke Liu, Jiwei Wei, Wenyu Zhang, Shuchang Zhou, Ruikun Chai, Yutao Dai, Chaoning Zhang, Yang Yang

机构 * Center for Future Media, School of Computer Science and Engineering, University of Electronic Science and Technology of China（未来媒体中心，计算机科学与工程学院，电子科技大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.AI、cs.MM

AI总结 针对现有音视频深度伪造检测方法在唱歌场景中性能下降的问题，提出文本引导的音视频伪造检测框架（T-AVFD），通过面部真实性模式学习和多模态差异权重学习，在说话和唱歌场景中均实现鲁棒检测。

Comments Accepted by ICML 2026

Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence

Ex-Omni-2D：具备原生视觉存在的高表达全模态对话模型

Haoyu Zhang, Zhipeng Li, Xiaoying Tang, Tianshu Yu, Yiwen Guo

专题命中 音频语音多模态 ：omni-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 Ex-Omni-2D是一种全模态对话框架，可生成含文本、个性化语音与参考条件视频的协同响应，通过特定机制实现高效增量生成，在指定分辨率下达成1.293的端到端RTF，提供实用的质量效率平衡点。

Generation-Step-Aware Framework for Cross-Modal Representation and Control in Multilingual Speech-Text Models

跨模态表示与控制的多语言语音-文本模型生成步骤感知框架

Toshiki Nakai, Varsha Suresh, Vera Demberg

机构 * Saarland University（萨尔兰大学） ； Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息学研究所，萨尔兰信息学园区） 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)；分类 cs.CL

AI总结 本文提出一个生成步骤感知框架，用于评估多语言语音-文本模型中的跨模态计算，发现跨模态语言对齐在生成初期最强，随后转向模态特定的自回归处理。

Comments 8 pages for the main text, 9 Figures, 9 Tables

Music Interpretation and Emotion Perception: A Computational and Neurophysiological Investigation

音乐诠释与情感感知：计算与神经生理学调查

Vassilis Lyberatos, Spyridon Kantarelis, Ioanna Zioga, Christina Anagnostopoulou, Giorgos Stamou, Anastasia Georgaki

机构 * School of Electrical and Computer Engineering, National Technical University of Athens（电气与计算机工程学院，国家技术大学雅典） ； Department of Music Studies, National and Kapodistrian University of Athens（音乐研究系，国家与卡波迪斯特里亚大学雅典） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究利用计算和神经生理学方法，探究不同演奏情境（如曲目、调式练习曲和即兴演奏）及表现力水平对表演者情感传达和听众反应的影响，发现表现力和即兴演奏具有独特声学特征并引发更强情感反应，且即兴演奏带来更大的神经生理放松。

Comments Accepted at SMC 2025