多模态大模型

Co-policy: Responsive Human-Robot Co-Creation for Musical Performances

Co-policy: 响应式人机音乐共创框架

Xuetao Li, Wenke Huang, Mang Ye, Zijian Liu, Jinhua Xie, Jifeng Xuan, Miao Li

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Automation, Wuhan University of Technology（武汉理工大学自动化学院） ； School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院） ； School of Robotics, Wuhan University（武汉大学机器人学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出Co-policy框架，通过语义锚定、约束变分和视觉运动策略实现人机音乐实时共创，在真实钟琴实验中优于扩散策略基线。

LLM-Based Synthetic Ground Truth Generation for Audio-Based Emotion Classification via In-Context Learning

基于上下文学习的音频情感分类的LLM合成真实标签生成

Qing Huang, Pooja Pol, Jianing Zhang

机构 * School of Business, Technical University of Applied Sciences Augsburg（应用技术大学阿沙芬堡商学院） ； Data Science und Autonome Systeme Technologietransferzentrum (TTZ)（数据科学与自主系统技术转移中心（TTZ）） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 eess.AS

AI总结 提出利用大语言模型（LLM）和上下文学习（ICL）从多用户VR环境的流式语音数据中自动生成情感相关合成真实标签，解决团队协作状态标注难题。

Comments https://icaiit.org/paper.php?paper=14th_ICAIIT_2/3_9

EMORSION: Examining the Impact of Audio Parameters on Emotional Responses and Immersion in Film

EMORSION：检验音频参数对电影中情感反应和沉浸感的影响

Nelly Garcia, Ruby Crocker, Bleiz M Del Sette, Fabrizio Smeraldi, Charalampos Saitis, George Fazekas, Joshua Reiss

机构 * Queen Mary University of London（伦敦大学女王学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 通过操纵频率、动态和方向性三个音频参数，研究电影音频设计对观众情感和沉浸感的影响，发现细微变化可改变情感感知，非常规混音增加解读变异性。

Comments AES Europe 2026

Bridging the Usability Gap: Lessons from Interpreting Studies for Machine Interpreting Design

弥合可用性差距：口译研究对机器口译设计的启示

Claudio Fantinuoli

机构 * University of Mainz（美因茨大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文定义机器口译为语音翻译的子领域，指出其存在“准确性幻觉”，并借鉴口译研究提出未来设计的三个优先方向：能动性、共同基础与体验，以弥合可用性差距。

Decoding while Adapting: Zero-Shot Online Speaker Adaptation via Audio-Textual Prompts for Elderly Speech Recognition

解码与自适应：基于音频-文本提示的零样本在线说话人自适应用于老年人语音识别

Chengxi Deng, Xurong Xie, Shujie Hu, Mengzhe Geng, Tianzi Wang, Youjun Chen, Huimeng Wang, Haoning Xu, Jiajun Deng, Xunying Liu

机构 * The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学） ； Institute of Software, Chinese Academy of Sciences, China（中国科学院软件研究所） ； National Research Council Canada, Canada（加拿大国家研究理事会） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

AI总结 提出一种基于跨语句音频-文本提示的说话人自适应方法，实现零样本实时适应未见说话人，在老年人语音数据集上显著降低词错误率/字符错误率，并大幅提升实时因子。

Comments Accepted by Interspeech 2026

From Awareness to Adherence: Bridging the Context Gap in Spoken Dialogue Systems via Context-Aware Decoding

从意识到遵循：通过上下文感知解码弥合口语对话系统中的上下文鸿沟

Che Hyun Lee, Heeseung Kim, Sungroh Yoon

机构 * ECE, Seoul National University（首尔大学电气与计算机工程系） ； IPAI, Seoul National University（首尔大学IPAI研究所） ； Department of AI, University of Seoul（首尔市立大学人工智能系） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 提出音频适配的上下文感知解码方法，通过对比有无关键上下文的输出分布，放大多模态上下文信号，解决口语对话系统中上下文遵循问题。

Comments Interspeech 2026 Main Track

TMASC: Transmasculine Attitude and Speech Corpus

TMASC：跨男性态度与语音语料库

Sidney Wong

机构 * Centre for Sustainability Research, University of Otago（奥塔哥大学可持续发展研究中心） ； Te Pūnaha Matatini Centre of Research Excellence for Complex Systems（Te Pūnaha Matatini复杂系统卓越研究中心） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 介绍一个包含196名跨男性个体的多模态语料库，包括问卷和66份录音，用于支持跨男性个体研究。

Comments Accepted to Interspeech 2026 Main Track

HoliDubber: Holistic Video Dubbing for Complex Acoustic Scenes via Text-Guided Audio Synthesis

HoliDubber: 通过文本引导的音频合成实现复杂声学场景的全景视频配音

Wenhao Guan, Yifan Duan, Junxi Liu, Yu Gu, Feng Dang, Kaidi Wang, Qingyang Hong, Lin Li, Xie Chen

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

AI总结 提出HoliDubber框架，基于补丁自回归扩散Transformer，从单一文本提示联合生成语音和音效，实现全景视频配音，显著优于现有方法。

Towards Unified Song Generation and Singing Voice Conversion with Accompaniment Co-Generation

面向统一歌曲生成与带伴奏共生成的歌声转换

Ziyu Zhang, Chunyu Qiang, Xiaopeng Wang, Yuxin Guo, Kang Yin, Wenjie Tian, Jingbin Hu, Tianlun Zuo, Zhao Guo, Teng Ma, Yuzhe Liang, Chen Zhang, Lei Xie

机构 * Northwestern Polytechnical University（西北工业大学） ； Kuaishou Technology（快手科技） ； Beijing Institute of Technology（北京理工大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出UniSinger框架，基于多模态扩散Transformer统一零样本歌曲生成与伴奏共生成歌声转换，通过共享说话人嵌入和课程学习策略实现跨任务音色控制与多任务优化。

MaskedFOP: Polyglot Speaker Identification under Missing Visual Modality via Cascaded Graph Label Propagation

MaskedFOP：缺失视觉模态下的多语言说话人识别通过级联图标签传播

Ayoub Elkhouzari, Youssef Iraqi, Loubna Mekouar

机构 * College of Computing, University Mohammed VI Polytechnic（穆罕默德六世理工大学计算机学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.MM

AI总结 提出MaskedFOP系统，在测试时人脸完全缺失且语音为未见语言（乌尔都语）的挑战下，通过模态丢弃双头网络、互补嵌入平均和两级级联推理实现闭集多语言说话人识别，在POLY-SIM 2026挑战赛中取得第一。

I Understand How You Feel: Enhancing Deeper Emotional Support Through Multilingual Emotional Validation in Dialogue System

我理解你的感受：通过对话系统中的多语言情感验证增强深层情感支持

Zi Haur Pang, Yahui Fu, Koji Inoue, Tatsuya Kawahara

机构 * Graduate School of Informatics, Kyoto University（京都大学信息学研究科） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL

AI总结 提出情感验证在对话系统中的应用，构建多语言语料库M-EDESConv和测试集M-TESC，设计多语言情感感知门控单元MEGUMI进行时机检测，并评估当前LLM在情感验证响应生成中的表现。

Comments This paper has been accepted for presentation at SIGdial Meeting on Discourse and Dialogue 2026 (SIGDIAL 2026)

HydraQE: OSU's Submission for the IWSLT 2026 Speech Translation Metrics Shared Task

HydraQE: OSU 在 IWSLT 2026 语音翻译指标共享任务中的提交

Kevin Krahn, Eric Fosler-Lussier

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL

AI总结 提出 HydraQE，一个基于 Qwen3-ASR 的端到端无参考语音翻译质量估计系统，通过可学习的稀疏标量混合和轻量双向 Transformer 实现跨模态交互，并在人类标注、MetricX-24 和 xCOMET 伪标签上训练三个预测头，优于级联文本基线。

Comments Accepted to IWSLT 2026; 9 pages, 3 figures, 4 tables

TRADE: Transducer-Augmented Decoder for Speech LLM

TRADE: 换能器增强的语音大语言模型解码器

Yun Tang, Shanil Puri, Shinji Watanabe, Subhabrata Mukherjee

机构 * Hippocratic AI ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 提出TRADE模型，通过换能器分支增强多模态大语言模型，实现帧同步对齐与语言推理结合，支持流式和非流式解码，在多个基准上取得低词错误率。

VISA: A Visual Information Strengthened Audio-Reasoning System for the Interspeech 2026 ARC Agent Track

VISA：面向Interspeech 2026 ARC智能体赛道的视觉信息增强音频推理系统

Wenming Tu, Jian Gao, Yanru Huo, Yixuan Wang, Jing Peng, Bohan Li, Ziyang Ma, Tao Liu, Shuai Fan, Kai Yu, Xie Chen, Zilong Zheng

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 eess.AS

AI总结 提出VISA系统，通过多模态特征提取、模型投票推理和细粒度类别感知路由，增强大音频语言模型的音频推理能力，在ARC智能体赛道取得66.23%评分和77.40%准确率。

Comments Submitted to INTERSPEECH 2026

Drive-to-Music: Context-Aware Generative Audio for In-Vehicle Experiences

音乐驱动：面向车载体验的上下文感知生成音频

Cosmin Dragoiu, Nooshin Nabizadeh

机构 * Mercedes-Benz Research & Development North America（梅赛德斯-奔驰北美研发中心） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 本研究提出Drive-to-Music系统，利用行车记录仪图像与车辆遥测数据，结合感知与生成组件实现低延迟实时上下文感知车载音乐生成，为个性化自适应车载音频体验奠定基础。

Discrete Linear Ensemble Logic

Manfred Droste, Guo-Qiang Zhang

专题命中 音频语音多模态 ：multimodal(abstract)

Semantic Error Control Coding with Foundation Models for Future Communications

面向未来通信的、基于基础模型的语义差错控制编码

Chentao Yue, Gaoyang Pang, Branka Vucetic, Yonghui Li

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 本文提出基于基础模型的语义差错控制编码（SECC）框架，将信源语义结构融入编解码，在AWGN信道上较传统解码获数分贝编码增益，错误率低于正态近似界，同时指出相关开放挑战。

Comments This work has been submitted to the IEEE for possible publication

Frame-Level Pansori Mode Classification with Complementary Audio Representations

基于互补音频表示的帧级盘索里调式分类

Sangheon Park, Seonguk Ju, Suin Chung, Danbinaerin Han, Dasaem Jeong

专题命中 音频语音多模态 ：cross-modal(abstract)

AI总结 本研究针对韩国传统声乐盘索里，采用46小时帧级标注与4种互补音频表示，构建调式分类模型，验证其学习调式特征而非记忆曲目，揭示了源分离对线索的影响及预训练的局限性。

Comments Accepted to the 27th International Society for Music Information Retrieval (ISMIR) Conference, 2026

Journal ref ISMIR 2026

Calliphony: A Calligraphy-Driven Interface for Real-Time Generative Music Performance

Calliphony：一种用于实时生成式音乐表演的书法驱动界面

Tristan Wu, Ruiji Yu, Gus Xia

专题命中 音频语音多模态 ：cross-modal(abstract)

AI总结 该研究提出书法驱动的实时生成式音乐表演界面Calliphony，构建低延迟流水线捕捉毛笔运动映射为控制信号，实现多轨MIDI生成，将书法扩展为视听AI辅助表演场景，为现场音乐表演提供新方式。

Comments 6 pages, 4 figures. Published in the Proceedings of the International Conference on New Interfaces for Musical Expression (NIME 2026). The first two authors contributed equally

Journal ref Proceedings of the International Conference on New Interfaces for Musical Expression (NIME 2026), 2026

Sounding Canvas: Embedding Algorithms in Networked, Sensorial Sound Art

声音画布：将算法嵌入网络化、具感官的声音艺术中

Luciano Ciamarone, Dora Motèque, Marco Giordano

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 本研究将算法嵌入声音艺术装置，通过离线视觉-声音映射与在线模型实现触摸响应的多模态交互，引发算法艺术相关问题。

Comments 23 pages, 7 figures

HorizonServe: Coordinating Request Scheduling with GPU Sharing for Omni-Model Serving

HorizonServe：面向全模态模型服务的请求调度与GPU共享协调系统

Yuning Zhang, Dong Yuan

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 HorizonServe是一款单GPU全模态模型服务系统，通过协调请求准入与GPU分配，提升了SLO达成率并降低了首响应延迟，解决了全模态模型统一部署的调度问题。

VisionPulse: A Virtual Reality System Enabling Accessible Discovery and Navigation for Blind and Low Vision Users

VisionPulse：一个为盲人和低视力用户实现无障碍发现与导航的虚拟现实系统

Samuel Martin, Pooyan Fazli, Hasti Seifi

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 研究针对盲人和低视力用户在VR中自由探索受限的问题，提出VisionPulse系统，让用户通过自然动作和多模态反馈探索虚拟环境，经实验验证该系统受用户青睐，为包容性VR设计提供了参考。

Comments accepted to ACM ASSETS 2026

X$^3$-OPD: Distilling Reasoning into Large Audio-Language Models via On-Policy Alignment

X³-OPD：通过策略对齐将推理能力提炼到大型音频-语言模型中

Dongjie Fu, Di Cao, Xize Cheng, Zihan Zhang, Wenxu Jia, Yifu Chen, Shengpeng Ji, Yu Zhang, Tao Jin

机构 * Tencent Hunyuan（腾讯混元） ； Zhejiang University（浙江大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)

AI总结 针对大型音频-语言模型逻辑推理能力不足，提出X³-OPD跨模态策略蒸馏框架，借助教师模型指导与构建的三层对称语料库训练学生模型，实验证明该方法能提升音频推理及思维链质量，还能保留模型域转移下的能力。

Controllable and Content-Based Recommendations

可控且基于内容的推荐

Fırat Öncel, Jihoon Jeong, Emiliano Penaloza, Mirco Ravanelli, Laurent Charlin, Cem Subakan

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 研究针对传统推荐系统难以解释和控制的问题，提出CCBR框架，基于文本用户简档表示构建推荐，通过文本瓶颈引入可控性，能实现多模态干预，在多数据集上有竞争力且优于基线，证明了用户引导机制有效。

Comments Under review

CAPS: A Cascaded Reconstruction Model to Power Saving in Hearables Using Sub-Nyquist Sampling with Bandwidth Extension

CAPS：一种使用带带宽扩展的亚奈奎斯特采样实现可穿戴设备节能的级联重建模型

Tarikul Islam Tamiti, Sajid Fardin Dipto, Luke Baja-Ricketts, David Vergano, Anomadarshi Barua

机构 * George Mason University（乔治梅森大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 研究可穿戴设备中联合降低ADC采样比特分辨率和频率对功耗及音频质量的影响，提出CAPS模型，采用亚奈奎斯特采样和低比特分辨率，降低功耗3.3倍，支持移动平台流操作，确保语音清晰度，平衡效率与节能。

Comments arXiv admin note: substantial text overlap with arXiv:2506.22321

Question Answering for Diagram-Rich Technical Meeting Videos

面向富含图表的技术会议视频的问答

Zhuoran Xu, Jia Li, Dayuan Tan, Mark Cole, Ish Ashraf, Sandeep Puri, Mehrdad Sabetzadeh, Shiva Nejati

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 研究面向富含图表的技术会议视频的问答问题，核心方法是开发基于大语言模型的多模态问答系统LMVQA，主要贡献是显著提高答案准确性，降低响应时间和成本，获领域专家认可。

Comments Accepted for publication in ICSME 2026

MemeBuddy: Dialog-Style Audio Representations for Engaging Non-Visual Meme Experiences

MemeBuddy：用于引人入胜的非视觉表情包体验的对话式音频表示

Chirag Bhansali, Vikas Ashok, Hae-Na Lee

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 研究针对盲人用户无法充分理解表情包的问题，提出MemeBuddy系统，将表情包建模为对话，结合文本与多模态大语言模型隐含知识生成音频表示。用户研究表明，该方式能提升盲人用户参与度与满意度，且理解能力相当。

Dual-BEATs: Unlocking Zero-Shot Stereo Audio Perception in Audio Large Language Models via Dithering

双BEATs：通过抖动在音频大语言模型中解锁零样本立体声音频感知

Shuo-Chun Lin, Hen-Hsen Huang

机构 * Institute of Information Science, Academia Sinica（台湾中央研究院资讯科学研究所） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 研究针对多模态大语言模型空间感知局限，提出双BEATs架构，通过在编码前注入抖动噪声解决归一化问题，在三元方向分类任务中验证该方法有出色空间分辨率且能零样本泛化，证明标准模型经正则化可实现广义立体声音频理解。

Comments 14 pages, 3 figures

Immersive Social Interaction with VR and LLM-Assisted Humanoids

通过虚拟现实和大语言模型辅助的人形机器人实现沉浸式社交互动

Niraj Pudasaini, Geeta Chandra Raju Bethala, Pranav Doma, Anthony Tzes, Yi Fang

机构 * Inspire Robotics（Inspire机器人公司） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 研究通过集成语音控制移动、VR操作和双向社交互动的框架实现人形机器人全身控制，利用苹果视觉专业版等，经大语言模型辅助语音控制等技术，在宇树H1人形机器人上评估，新手操作成功率可观，证明该方式在多方面应用的潜力。

Comments IEEE-RAS International Conference on Humanoid Robots - Workshop: Designing Interactive Humanoids

Say What? Examining Text and Voice Input Modalities for Prompt-Based Programming in Computing Education

说什么？审视计算教育中基于提示的编程的文本和语音输入方式

Kaitlin Riegel, Yan Cathy Hua, Paul Denny, Victor-Alexandru Pădurean, Juho Leinonen, James Prather, Adish Singla

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 探索编程入门学生用文本或语音输入解决提示问题的情况，发现输入文本提示的学生更易首次尝试成功，多数学生偏好文本，定性分析揭示学生对两种输入方式的看法及优缺点，为计算教育多模态工具和教学设计提供启示。

Comments ITiCSE'26 paper