AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-03-30 至 2026-03-30 共收录 3 篇信号源：cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 音频语音多模态 3 篇

2603.26113 2026-03-30 cs.MM cs.SD eess.AS 73%

Cinematic Audio Source Separation Using Visual Cues

电影音频源分离使用视觉线索

Kang Zhang, Suyeon Lee, Arda Senocak, Joon Son Chung

机构 * School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）； Graduate School of Artificial Intelligence, UNIST（蔚山科学技术院人工智能研究生院）

专题命中音频语音多模态：multimodal(abstract)；audio-visual(abstract)；分类 cs.MM、eess.AS

AI总结本文提出首个结合视觉信息的电影音频源分离框架AV-CASS，通过条件流匹配实现多模态音频分离，并设计专用视觉编码器提升分离质量。

Comments CVPR 2026. Project page: https://cass-flowmatching.github.io

2603.26246 2026-03-30 cs.CL cs.AI cs.LG eess.AS 67%

Distilling Conversations: Abstract Compression of Conversational Audio Context for LLM-based ASR

对话蒸馏：用于基于LLM的ASR的对话音频上下文抽象压缩

Shashi Kumar, Esaú Villatoro-Tello, Sergio Burdisso, Kadri Hacioglu, Thibault Bañeras-Roux, Hasindri Watawana, Dairazalia Sanchez-Cortes, Srikanth Madikeri, Petr Motlicek, Andreas Stolcke

专题命中音频语音多模态：multimodal(abstract)；分类 cs.CL、cs.AI、eess.AS

AI总结本文研究了多模态上下文对基于LLM的ASR的提升效果及高效表示方法，提出抽象压缩技术以减少先前对话的音频负载，实验证明其在领域内和领域外数据集上均有效。

Comments 11 pages

2603.25870 2026-03-30 cs.CV cs.LG 57%

Speech-Synchronized Whiteboard Generation via VLM-Driven Structured Drawing Representations

通过VLM驱动的结构化绘图表示实现语音同步的白板生成

Suraj Prasad, Pinak Mahapatra

机构 * Latent Spaces IITB（印度理工学院孟买分校潜在空间实验室）

专题命中音频语音多模态：multimodal(abstract)；分类 cs.CV

AI总结本文提出首个包含24对Excalidraw演示与叙述音频的白板数据集，研究基于Qwen2-VL-7B模型通过时间戳条件化实现语音同步的绘图预测，验证了模型在跨学科领域中的泛化能力。