AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-05-20 至 2026-05-20 共收录 3 篇信号源：cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 音频语音多模态 3 篇

2605.19630 2026-05-20 cs.AI 83%

EMO-BOOST: Emotion-Augmented Audio-Visual Features for Improved Generalization in Deepfake Detection

EMO-BOOST：情感增强的音频视觉特征用于深度伪造检测中的泛化改进

Aritra Marik, Marcel Klemt, Anna Rohrbach

机构 * Technical University of Darmstadt（达姆施塔特技术大学）； ELIZA

专题命中音频语音多模态：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结本文提出EMO-BOOST框架，通过融合传统RGB和声学聚焦检测器与基于情感的EmoForensics检测器，利用高阶语义线索提升深度伪造检测的泛化能力，实验显示在FakeAVCeleb数据集上平均跨操纵泛化AUC提升了2.1%。

Comments Accepted at SAFE@CVPRW 2026

2605.18884 2026-05-20 cs.LG cs.CV 79%

Navigating the Emotion Tree: Hierarchical Hyperbolic RAG for Multimodal Emotion Recognition

在情绪树中导航：用于多模态情绪识别的分层双曲RAG

Zeheng Wang, Bo Zhao, Yijie Zhu, Zhishu Liu, Hui Ma, Ruixin Zhang, Shouhong Ding, Qianyu Xie, Zitong Yu

机构 * Great Bay University（广东东莞大亚湾大学）； Tencent Youtu Lab（腾讯优图实验室）

专题命中音频语音多模态：multimodal(title,abstract)；分类 cs.CV

AI总结本文提出HyperEmo-RAG，一种利用结构化情绪知识库的检索增强生成框架，通过双曲空间嵌入和证据图构建来提升多模态情绪识别的性能。

2603.25120 2026-05-20 cs.DC 78%

DFLOP: A Data-driven Framework for Multimodal LLM Training Pipeline Optimization

DFLOP: 一种基于数据的多模态大语言模型训练流水线优化框架

Hyeonjun An, Sihyun Kim, Chaerim Lim, Hyunjoon Kim, Rathijit Sen, Sangmin Jung, Hyeonsoo Lee, Dongwook Kim, Takki Yu, Jinkyu Jeong, Youngsok Kim, Kwanghyun Park

专题命中音频语音多模态：multimodal(title,abstract)

AI总结本文提出DFLOP框架，通过数据驱动的方法优化多模态大语言模型的训练流水线，提升GPU利用率和训练效率，实验证明其比现有框架快3.6倍。

Comments Accepted to Proceedings of the ACM on Management of Data (SIGMOD 2026)

Journal ref Proc. ACM Manag. Data 4, 3, Article 160 (June 2026), 29 pages