多模态大模型

LatentOmni: Rethinking Omni-Modal Understanding via Unified Audio-Visual Latent Reasoning

LatentOmni: 通过统一的音频-视觉潜在推理重新思考多模态理解

Yifan Dai, Zhenhua Wu, Bohan Zeng, Daili Hua, Jialing Liu, Bozhou Li, Yuran Wang, Chengzhuo Tong, Hao Liang, Xiaochen Ma, Junbo Niu, Tianyu Guo, Yang Shi, Yue Ding, Yiyan Ji, Bingyin Mei, Yushuo Guan, Yuanxing Zhang, Pengfei Wan, Fangcheng Fu, Wentao Zhang

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； Peking University（北京大学） ； HKUST（香港科技大学） ； CASIA（中国科学院自动化研究所） ； Nanjing University（南京大学） ； Renmin University of China（中国人民大学） ； Tsinghua University（清华大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；omni-modal(title)；multimodal(abstract)；cross-modal(abstract)

AI总结 本文提出LatentOmni框架，通过统一的音频-视觉潜在空间进行多模态推理，利用特征级监督和Omni-Sync Position Embedding保持时间一致性，从而在多个音频-视觉推理基准测试中取得最佳性能。

Comments 21 pages, 15 figures

Beyond Acoustic Emotion Recognition: Multimodal Pathos Analysis in Political Speech Using LLM-Based and Acoustic Emotion Models

超越语音情感识别：利用基于LLM和语音情感模型的政治演讲多模态Pathos分析

Juergen Dietrich

机构 * Democracy Intelligence gGmbH（民主智能有限责任公司） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI、eess.AS

AI总结 本文研究了语音情感识别模型是否能作为政治演讲分析中Pathos维度的代理，通过TRUST多智能体大语言模型（LLM）管道进行操作。使用德国议会全体会议中Felix Banaszak的演讲作为案例研究，比较了三种分析模式：(1) emotion2vec_plus_large，一个通过后验Russell Circumplex投影得到连续唤醒度和估值的语音情感识别（SER）模型；(2) Gemini 2.5 Flash，一个分析完整演讲音频及其转录文本的LLM，以开放和上下文感知的方式进行；(3) TRUST-Pathos分数，来自三个倡导者LLM监督集合。斯皮尔曼等级相关性显示，Gemini估值与TRUST-Pathos高度相关（rho = +0.664，p < 0.001），而emotion2vec估值不相关（rho = +0.097，p = 0.499）。我们进一步通过系统评估柏林情感语音数据库（EMO-DB）使用Gemini在开放注释范式下，证明标准SER基准语料库存在表演性演讲、文化偏见和类别不兼容性。我们的结果表明，基于LLM的多模态分析在捕捉语义定义的政治情感方面比单独的语音模型更有效，而语音特征仍对低层次唤醒度估计有帮助。未来的工作将扩展这种方法到视频分析中，结合面部表情和眼神。

Comments 13 pages, 1 figure

Two-Stage Multimodal Framework for Emotion Mimicry Intensity Prediction

双阶段多模态框架用于情感模仿强度预测

Dinithi Dissanayake, Shaveen Silva, Ovindu Atukorala, Prasanth Sasikumar, Suranga Nanayakkara

机构 * Augmented Human Lab, National University of Singapore, Singapore（新加坡国立大学增强人类实验室） ； University of Moratuwa, Sri Lanka（斯里兰卡穆拉图瓦大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种双阶段多模态框架，用于从真实视频片段中预测六个连续情绪强度维度，通过结合文本、音频和视觉表示，并可选运动分支，提供了一个实用且可复现的基线。

Comments 10th Affective & Behavior Analysis in-the-wild, CVPR Workshop 2026

Do Factual Recall Mechanisms Carry over from Text to Speech in Multimodal Language Models?

事实回忆机制在文本到语音的多模态语言模型中是否延续？

Luca Modica, Filip Landin, Mehrdad Farahani, Livia Qian, Gabriel Skantze, Richard Johansson

机构 * Zenseact ； Unbox AI ； Chalmers University of Technology（楚德斯大学） ； University of Gothenburg（哥德堡大学） ； KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究探讨了多模态语言模型中事实回忆机制在文本和语音模态间的延续性，通过因果中介分析揭示了语音到文本与文本到文本在事实存储和回忆中的差异。

Comments In *SEM 2026, the 15th Joint Conference on Lexical and Computational Semantics

Effective User-defined Keyword Spotting with Dual-stage Matching, Multi-modal Enrollment, and Continual Adaptation

高效的用户定义关键词侦测：双阶段匹配、多模态注册与持续适应

Zhiqi Ai, Han Cheng, Shiyi Mu, Xinnuo Li, Yongjin Zhou, Shugong Xu

机构 * New York University（纽约大学） ； Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） 纠错

专题命中 音频语音多模态 ：multi-modal(title,abstract)；分类 eess.AS

AI总结 本文提出DMA-KWS框架，通过双阶段匹配、多模态注册和持续适应方法，解决用户定义关键词侦测中的混淆词区分、说话人发音不一致和高数据成本问题，实验表明其在LibriPhrase Hard子集上达到97.85%的AUC和6.13%的EER，性能领先。

Comments 14 pages, 13 figures, 12 tables. Accepted by TASLP

Exploring How Audio Effects Alter Emotion with Foundation Models

探索音频效果如何通过基础模型改变情感

Stelios Katsis, Vassilis Lyberatos, Spyridon Kantarelis, Edmund Dervakos, Giorgos Stamou

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文研究音频效果如何通过基础模型影响情感，探讨了基础模型在分析音频效果与情绪关系中的作用，揭示了声音设计技术对感知影响的模式。

Comments https://github.com/stelioskt/audioFX

Quantifying Full-Body Immersion

量化全身沉浸

Alihan Bakir, Ekrem Yüksel, Fabio Zuliani, Neil Chennoufi, Francesco Bruno, Jamie Paik

机构 * Reconfigurable Robotics Lab（可重构机器人实验室） 纠错

专题命中 音频语音多模态 ：audio-visual(abstract)

AI总结 本文提出了一种基于全身动态交互的沉浸式虚拟体验新范式，通过音频视觉沉浸、物理沉浸和全身沉浸三个层次，结合模块化机器人表面单元实现可扩展的沉浸环境渲染，推动人与虚拟环境的共生。

Comments This manuscript is under consideration for possible publication in the Nature. Copyright may be transferred to Nature if the manuscript is accepted for publication, without further notice