多模态大模型

AV-EMO-Reasoning: Benchmarking Emotional Reasoning Capabilities in Omni-modal LLMS with Audio-visual Cues

AV-EMO-Reasoning: 在具有视听线索的全模态大语言模型中基准测试情感推理能力

Dingkun Zhou, Krish Patel, Ajay Kankipati, Akshaj Gupta, Zeyi Austin Li, Mohul Shukla, Vibhor Narang, Sara Kofman, Zongli Ye, Grace Wang, Xiaoyu Shi, Tingle Li, Guan-Ting Lin, Kan Jen Cheng, Huang-Cheng Chou, Jiachen Lian, Gopala Anumanchipalli

机构 * UC Berkeley（加州大学伯克利分校） ； South China University of Technology（华南理工大学） ； Zhejiang University（浙江大学） ； National Taiwan University（台湾大学） ； University of Southern California（美国南加州大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title)；omni-modal(title)；分类 cs.MM

AI总结 提出AV-EMO-Reasoning基准，通过合成和真实世界的视听对话数据集及情感感知与交互推理指标，系统评估全模态大语言模型的情感推理能力。

JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments

JAEGER：模拟物理环境中的联合3D音频-视觉定位与推理

Zhan Liu, Changli Tang, Yuxin Wang, Zhiyuan Zhu, Youjun Chen, Yiwen Shao, Tianzi Wang, Lei Ke, Zengrui Jin, Chao Zhang

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出JAEGER框架，通过集成RGB-D观测和多通道一阶环境声学，将音频-视觉大语言模型扩展到3D空间，实现联合空间定位与推理，并引入神经强度向量（Neural IV）提升声源方向估计的鲁棒性。

Comments Accepted to ICML 2026

Native Audio-Visual Alignment for Generation

原生音视频对齐生成

Longbin Ji, Guan Wang, Xuan Wei, Chenye Yang, Xiangrui Liu, Zhenyu Zhang, Shuohuan Wang, Yu Sun, Jingzhou He

机构 * ERNIE Team, Baidu Inc.（百度公司ERNIE团队） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV

AI总结 提出NAVA框架，通过原生音视频对齐和上下文条件联合去噪，实现高质量、同步且可控的音视频生成。

Comments Project page: https://ernie-research.github.io/NAVA/

DeepFake Forensics AI: A Multi-Modal Detection and Blockchain-Anchored Evidence Management Platform

DeepFake Forensics AI：多模态检测与区块链锚定证据管理平台

Naisha Minnah

机构 * Department of Computer Science（计算机科学系） ； Providence Women's College（普罗维登斯女子学院） ； University of Calicut（卡利卡特大学） 纠错

专题命中 音频语音多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出一个统一平台，通过训练四种神经网络检测图像、视频和音频中的合成媒体，并利用以太坊区块链实现证据的不可篡改存储与管理。

Comments 5 pages, 5 figures, 3 tables

Multimodal Optical Feature Extraction with a Free-Space Photonic Extreme Learning Machine

基于自由空间光子极端学习机的多模态光学特征提取

Anushka Kumari, Anushree Khisti, Abhinav Choube, Devansh Satra, Srivatsa Murali, Anshuman Kumar

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 本文提出一种统一的自由空间光子极端学习机平台，通过相位SLM编码、类傅里叶自由空间传播和相机强度检测，实现对图像、音频、表格和回归任务的多模态光学特征提取，并在多个基准上取得高精度。

Audio Jailbreaks in Large Audio-Language Models: Taxonomy, Attack-Defense Analysis, and Cost-Aware Evaluation

大型音频语言模型中的音频越狱：分类、攻防分析与成本感知评估

Bo-Han Feng, Yu-Hsuan Li Liang, Chien-Feng Liu, You-Hsuan Chang, Yun-Nung Chen

机构 * National Taiwan University（台湾大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了大型音频语言模型中音频越狱攻击与防御的统一分类法和受控实证评估，揭示了声学最佳N攻击暴露了最坏情况下的音频空间漏洞，叙事框架是一种有效的低延迟语义威胁，而现有防御在鲁棒性与良性可用性之间存在权衡。

Comments Submitted to ACL ARR 2026 May

Mitigating Stethoscope-Induced Shortcuts in Respiratory Sound Classification under Federated Domain Generalization with Causality-Inspired Interventions

在联邦域泛化下通过因果启发的干预减轻听诊器引起的呼吸音分类中的捷径

Heejoon Koo, Yoon Tae Kim, Miika Toikkanen, June-Woo Kim

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； RSC LAB（RSC实验室） ； Wonkwang University（Wonkwang大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 针对呼吸音分类中听诊器设备差异导致的域偏移问题，提出一种因果启发的多模态联邦域泛化框架，通过内容保持的风格扰动、反事实文本增强和梯度对齐实现设备不变表示，在ICBHI和SPRSound数据集上优于传统方法。

Comments 2 figures, 4 tables, and 5 pages

Beyond Transcripts: A Renewed Perspective on Audio Chaptering

超越文本：音频章节划分的新视角

Fabian Retkowski, Maike Züfle, Thai Binh Nguyen, Jan Niehues, Alexander Waibel

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文通过提出音频专用架构AudioSeg、分析影响性能的因素以及形式化评估协议，系统研究了音频章节划分任务，发现AudioSeg显著优于基于文本的方法，停顿是最有效的声学特征，而多模态大模型在短音频上表现有潜力。

Comments Accepted at ACL 2026 (Main Conference)