多模态大模型

SceneBind: Binding What and Where Across Vision, Audio and Language

SceneBind：跨视觉、音频和语言绑定“什么”与“哪里”

Mingfei Chen, Zijun Cui, Ruoke Zhang, Hyeonggon Ryu, Eli Shlizerman

机构 * University of Washington（华盛顿大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Hankuk University of Foreign Studies（韩国外国语大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；audio-visual(abstract)；omni-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 研究提出SceneBind全模态场景表示，结合全局语义与对象中心语义空间插槽解决空间结构缺失问题，还提出匹配方案。通过构建新数据集及训练协议进行训练评估，兼容预训练编码器，实现先进检索并能零样本转移到下游任务。

Comments Project website: https://scenebind.github.io/

Supporting Multimodal Data Interaction on Refreshable Tactile Displays: An Architecture to Combine Touch and Conversational AI

在可刷新触觉显示器上支持多模态数据交互：一种将触觉与对话式AI结合的架构

Samuel Reinders, Munazza Zaib, Matthew Butler, Bongshin Lee, Ingrid Zukerman, Lizhen Qu, Kim Marriott

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种结合触觉与对话式AI的架构，用于在可刷新触觉显示器上实现多模态数据交互，通过融合触觉输入与语音语言，提升视障人士的数据可视化体验。

Comments Accepted to be presented at IEEE PacificVis 2026; Best Paper Award (VisNotes track); Replacement: external DOI added

Semantic Audio-driven Understanding for Dynamic Humanoid Whole Body Control

用于动态人形机器人全身控制的语义音频驱动理解

J. M. A. Marcelo, M. Brienza, E. Bugli, L. Comito, D. Nardi, D. D. Bloisi, V. Suriani

机构 * Sapienza University of Rome（罗马第一大学） ； International University of Rome（罗马国际大学） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 研究针对人形机器人自主性和动态环境响应受限问题，提出语义音频驱动的多模态编排框架，通过处理音频流、结合音乐与语音输入及强化学习控制，验证了该方法在模拟和实体机器人上的有效性。

Comments Accepted at 29th Robocup International Symposium, held on July 6th, 2026 in Incheon, Republic of Korea