多模态大模型

Unlocking Spatial Grounding in Large Audio-Visual Retrieval models

在大型视听检索模型中解锁空间定位

Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.AI、cs.MM、eess.AS

AI总结 研究针对视听声源定位任务，利用大规模视听检索模型的潜在表示，引入LAIP框架，通过音频信息池化恢复局部空间信息，在相关数据集上取得领先性能，证明可从现有检索表示解锁定位，为检索和定位任务提供统一路径。

OmniMate: Open-Ended Real-Time Streaming Audio-Visual Generation for Interactive Avatars

OmniMate：用于交互式虚拟化身的开放式实时流视听生成

Quanyue Song, Yishan He, Yanbo Ding, Zhixiang He, Yongxiang Li, Caigui Jiang, Zhi Zhi Guo

机构 * China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.（中国电信人工智能技术（北京）有限公司） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 研究针对实时交互式流中生成范围未知和跨模态身份一致性退化的挑战，提出OmniMate框架，通过生成进度控制器和多参考条件模块，实现高质量、低延迟的开放式实时交互式视听虚拟化身生成及长期跨模态身份一致性。

AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities

AVE-Compass：迈向音频-视频编辑能力的整体评估

Yuqing Wen, Yukai Huang, Qianqian Xie, Jiangtao Wu, Yibin Lin, Yikai Gu, Jialu Chen, Yuanxing Zhang, Jiaheng Liu

专题命中 音频语音多模态 ：MLLM(abstract,abstract_cn)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.MM

AI总结 研究针对现有视频编辑基准未充分考虑视听耦合问题，提出AVE-Compass基准及AVE-Agent框架，通过多种评估方式评估编辑能力，能分解复杂指令迭代改进结果，提升了跨模态编辑等方面表现及感知质量。

MyMentorLLM: A psychotherapy GenAI environment with multimodal voice/text patients, trainees and experts for deliberate practice

MyMentorLLM：一个用于刻意练习的心理治疗生成式人工智能环境，具有多模态语音/文本患者、受训者和专家

Rodolfo Rizzi, Alessandro Grecucci, Massimo Stella

机构 * University of Trento（特伦托大学） ； University of Bari（巴里大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对心理治疗师培训可扩展性问题，提出MyMentorLLM多模态模拟环境用于CBT培训，生成2100个课程，分析情感等方面，发现不同语言模型督导质量有别，患者逼真度等需评估，证明CBT培训刻意练习模拟可行。

Comments 27 pages, 6 figures, 2 tables; 1 supplementary table

CARE: A Multimodal Corpus for Studying Speech and Non-Verbal Communication Across Multiple Medical Conditions

CARE：一个用于研究多种医疗状况下言语和非言语交流的多模态语料库

David Gimeno-Gómez, Catarina Botelho, Carlos-D. Martínez-Hinarejos, Isabel Trancoso, Alberto Abad

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 针对多模态语音分析领域因现有数据集存在局限而发展受限的问题，引入CARE v1.0多模态英语数据集，涵盖多种医疗状况，提供丰富描述符和元数据，支持多种应用，推动该领域研究发展。

Comments Under review in npj Scientific Data

TabPFN beyond Tabular Data: Calibration and Accuracy on Multimodal Embeddings

超越表格数据的TabPFN：多模态嵌入的校准与准确性

Jingxiang Zhang, Lujia Zhong, Zijie Zhu, Shuo Huang, Yuang Xu

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 研究少样本多模态分类中轻量级头部校准不佳问题，核心方法是评估TabPFN作为即插即用分类头。贡献在于其在多数据集、多编码器和多模态评估中表现优异，能提升校准并保持准确率，为校准敏感多模态分类提供指导。

Comments 19 pages, 13 figures, 10 tables. Jingxiang Zhang and Lujia Zhong contributed equally. Code: https://github.com/Jingxiang-Zhang/tabpfn-multimodal-embeddings

S2A2: Audio-Visual Imitation Learning for Manipulation Tasks Using Acoustic Spatial Information

S2A2：利用声学空间信息进行操作任务的视听模仿学习

Kaneyoshi Hiratsuka, Benjamin Yen, Ryosuke Kojima

机构 * Kyoto University（京都大学） ； RIKEN（理化学研究所） ； Institute of Science Tokyo（东京理科大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title)；multimodal(abstract)

AI总结 研究利用声学信息进行操作任务的模仿学习，提出多模态框架S2A2，集成视觉与声学信息，实现多种策略集成，模拟与真实机器人实验表明其对特定任务有效且适用于现实操作。

Comments Project page: https://azuma413.github.io/projects/s2a2

Less is More: Modality-Decoupling for General AIGC Audio-Video Detection

少即是多：通用AIGC音频-视频检测的模态解耦

Jielun Peng, Yabin Wang, Yaqi Li, Jincheng Liu, Xiaopeng Hong, Athanasios V. Vasilakos

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； University of Agder（阿格德大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI

AI总结 针对通用AIGC音频-视频检测，现有方法假设不总成立，本文提出DAV-Det系统，通过决策级融合独立建模各模态取证证据，视觉和音频检测器分别利用多粒度表示及门控双分支架构，在挑战赛中排名第一。

Comments First place in the General AIGC Audio-Video Detection Challenge at the IJCAI-ECAI 2026 DDL 2.0 Workshop

Text-Prompted CLAP: Learning Query-Conditioned Audio Representations via Contrastive Learning

文本提示的CLAP：通过对比学习学习查询条件音频表示

Mohan Li, Rama Doddipatla, Philip C. Woodland

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

AI总结 研究旨在解决CLAP独立编码模态限制，提出TP-CLAP，通过引入交叉注意力融合模块，利用音频多项选择题框架训练，在音频问答、检索等任务中表现出色，优于标准CLAP基线。

Comments 5 pages, 1 figure

Constrained CTC Decoding for Efficient Diacritic Restoration

用于高效变音符恢复的约束 CTC 解码

Rufael Marew, Amr Keleg, Hanan Aldarmaki

机构 * Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.CL

AI总结 研究阿拉伯语音转录本变音符恢复问题，提出基于 CTC 的高效非自回归方法，通过构建标注格并纳入硬约束进行解码，在相关测试集上评估，相比基线降低了变音符错误率，实现性能和效率提升。

Comments Accepted at Interspeech 2026. Includes an additional appendix