多模态大模型

Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning

面向多跳音视频推理的主动全模态感知代理

Ke Xu, Yuhao Wang, Ziyang Cheng, Hongcheng Liu, Yanfeng Wang, Yu Wang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；omni-modal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对多跳音视频推理中证据稀疏且跨模态分布的问题，提出MOV-Bench基准和AOP-Agent代理框架，通过分层全模态记忆与观察-反思-重规划循环实现主动感知，显著提升开源全模态大模型在长视频和推理密集型问题上的性能。

OmniVerifier-M1: Multimodal Meta-Verifier with Explicit Structured Recalibration

OmniVerifier-M1: 具有显式结构化重校准的多模态元验证器

Xinchen Zhang, Bowei Liu, Jiale Liu, Chufan Shi, Yizhen Zhang, Junhong Liu, Youliang Zhang, Zhiheng Li, Yujiu Yang, Ling Yang

机构 * Tsinghua University（清华大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； University of Southern California（南加州大学） ； Microcyto ； Princeton University（普林斯顿大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出OmniVerifier-M1，通过符号化元验证（如边界框）和解耦强化学习，实现多模态大模型的可靠细粒度验证与动态区域级自校正。

Comments ICML 2026. Project: https://github.com/Cominclip/OmniVerifier

EigeNet: Geometry-Informed Multi-Modal Learning for Few-shot Novel View RIR Prediction

EigeNet：几何信息引导的多模态学习用于少样本新视角RIR预测

Chong Jing, Zitong Lan, Junan Zhang, Zhizheng Wu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 音频语音多模态 ：multi-modal(title,abstract)；分类 cs.AI、cs.MM

AI总结 提出EIGENET框架，通过跨视角交替注意力Transformer和几何信息调制块，结合多任务学习，实现少样本新视角房间脉冲响应预测，达到最先进性能。

Comments Code available on https://github.com/FEAfeatherTHER/EigeNet

Semantic-Aware Interpretable Multimodal Music Auto-Tagging

语义感知可解释多模态音乐自动标注

Andreas Patakis, Vassilis Lyberatos, Spyridon Kantarelis, Edmund Dervakos, Giorgos Stamou

机构 * National Technical University of Athens（希腊国家技术大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 提出一种利用多模态音乐特征组和期望最大化算法实现可解释音乐自动标注的方法，在保持竞争性能的同时提供决策过程透明度。

Comments Accepted at Interspeech 2025

Escape the Language Prior: Mitigating Late-Stage Modality Collapse in Audio Reasoning via Modality-Aware Policy Optimization

逃离语言先验：通过模态感知策略优化缓解音频推理中的后期模态崩溃

Cihan Xiao, Yiwen Shao, Chenxing Li, Xiang He, Zhenwen Liang, Steve Yves, Sanjeev Khudanpur, Liefeng Bo

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Tencent Hunyuan（腾讯文言） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；omni-modal(abstract)；分类 cs.CL

AI总结 针对多模态大语言模型在强化学习后训练中因统一策略梯度忽略模态依赖性而导致的后期模态崩溃问题，提出模态感知策略优化（MAPO）框架，通过模态相关性掩码和辅助注意力损失分支动态聚焦梯度并维持跨模态推理，在复杂音频推理基准上取得新最优结果。

GuardReasoner-Omni: A Reasoning-based Multi-modal Guardrail for Text, Image, Video, and Audio

GuardReasoner-Omni：一种基于推理的多模态护栏，适用于文本、图像、视频和音频

Zhenhao Zhu, Yue Liu, Yanpei Guo, Wenjie Qu, Cancan Chen, Yufei He, Yibo Li, Yulin Chen, Tianyi Wu, Huiying Xu, Xinzhong Zhu, Jiaheng Zhang

专题命中 音频语音多模态 ：multi-modal(title)

AI总结 提出GuardReasoner-Omni，一种基于推理的多模态护栏模型，通过两阶段训练（SFT和RL）在3B和7B参数规模上实现对文本、图像、视频和音频数据的有效审核，性能优于现有基线。

VAANI: Capturing the language landscape for an inclusive digital India

VAANI：为包容性数字印度捕捉语言景观

Sujith Pulikodan, Abhayjeet Singh, Agneedh Basu, Nihar Desai, Pavan Kumar J, Pranav D Bhat, Raghu Dharmaraju, Ritika Gupta, Sathvik Udupa, Saurabh Kumar, Sumit Sharma, Visruth Sanka, Dinesh Tewari, Harsh Dhand, Amrita Kamat, Sukhwinder Singh, Shikhar Vashishth, Partha Talukdar, Raj Acharya, Prasanta Kumar Ghosh

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 eess.AS

AI总结 本文提出大规模多模态数据集VAANI，覆盖印度165个地区、105种语言，通过图像提示收集自发语音并严格质控，旨在推动包容性语音技术发展。

Dasheng AudioGen: A Unified Model for Generating Coherent Audio Scenes from Text

Dasheng AudioGen: 从文本生成连贯音频场景的统一模型

Jiahao Mei, Heinrich Dinkel, Yadong Niu, Xingwei Sun, Gang Li, Yifan Liao, Jiahao Zhou, Junbo Zhang, Jian Luan, Mengyue Wu

机构 * X-LANCE Lab, Shanghai Jiao Tong University, Shanghai, China（上海交通大学XLANCE实验室，上海，中国） ； MiLM Plus, Xiaomi Inc., Beijing, China（小米公司MiLM Plus，北京，中国） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)

AI总结 提出Dasheng AudioGen统一框架，通过结构化多视角描述和高维统一语义-声学表示，实现从文本到混合音频场景的端到端生成。