AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
CogniRoute: 在全模态模型中学习路由社会证据
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Columbia University（哥伦比亚大学） ； Google（谷歌）
专题命中 音频语音多模态 ：omni-modal(title,abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV
AI总结 提出CogniRoute框架，通过模式引导的专家混合和路由感知强化学习，解决全模态模型在社会视频问答中证据选择不足的问题，在OmniSocialBench上准确率达59.38%。
注意力谱正则化：无回放的连续多模态大语言模型
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） ； Renmin University of China（中国人民大学） ； Tsinghua University（清华大学）
专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出注意力谱正则化（ASR），一种无回放的连续学习框架，通过存储技能级交叉注意力原型分布并施加谱正则化约束，有效缓解多模态大语言模型在连续微调中的灾难性遗忘。
MuVAP: 面向野外对话轮次预测的多模态多方语音活动投影
机构 * Department of Speech Music and Hearing, KTH Stockholm, Sweden（瑞典皇家理工学院言语、音乐与听觉系）
专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.AI
AI总结 提出MuVAP框架，通过将声学预测锚定到面部轨迹，实现从单声道音频和单摄像头视角进行说话人感知的轮次预测，并引入角色相对投影和AVCC数据集解决多方建模和因果跟踪问题。
EchoingPixels: 抗混叠的音频-视觉联合令牌缩减方法
机构 * Fudan University（复旦大学）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 针对音频-视觉大语言模型中令牌冗余和位置混叠问题，提出EchoingPixels框架，通过跨模态语义筛和Sync-RoPE实现抗混叠的联合令牌缩减，仅用5-20%令牌达到全模型性能。
Comments ICML 2026
面向准确鲁棒的监控路边IVD：基于轨迹化的视听推理
机构 * Kahlert School of Computing, University of Utah（犹他大学卡勒特计算学院） ； Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所） ； Department of Electrical and Computer Engineering, University of Utah（犹他大学电气与计算机工程系）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、eess.AS
AI总结 提出TAVR-IVD框架，通过多目标跟踪将车辆检测链接为轨迹，基于轨迹进行视听融合分类，提升信噪比、稳定时间决策、对齐车辆与麦克风空间先验，并在跨域场景下保持高效鲁棒。
LiveServe：面向实时全模态大语言模型的交互感知服务系统
专题命中 音频语音多模态 ：omni-modal(title,abstract)
AI总结 提出交互感知服务系统LiveServe，通过感知播放进度、语音活动和打断事件，优化调度与KV缓存管理，降低音频延迟并提升吞吐量。
ERM-MinMaxGAP：多语言多模态语音-LLM情感识别中的性别偏见基准测试与缓解
机构 * Kyoto University, Japan（京都大学，日本） ； Agency for Science, Technology, and Research (A*STAR), Singapore（科技研究局（A*STAR），新加坡）
专题命中 音频语音多模态 ：multimodal(title,abstract)
AI总结 针对多语言语音大模型在情感识别中的性别偏见问题，提出基于MELD-ST的多语言多模态基准，并设计ERM-MinMaxGAP训练目标，通过自适应公平权重和MinMaxGAP正则化器，在英日德三种语言上提升性能并缩小性别差距。
Comments This paper has been accepted for presentation at INTERSPEECH 2026 and as non-archival paper at ICML 2026 Workshop on Machine Learning for Audio
弥合年龄差距：面向检测神经音频编解码器合成的老年语音深度伪造
机构 * BIIC Lab, NTHU, Taiwan（国立台湾大学BIIC实验室） ； UPES, India（印度UPES大学） ； VBSPU, India（印度VBSPU大学）
专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 eess.AS
AI总结 提出老年语音编解码伪造检测（ECFD）任务，发布中英文ECF数据集，发现现有检测器泛化差，利用多模态基础模型融合（BONSAI框架）实现1.66%平均等错误率，建立新基准。
Comments Accepted to INTERSPEECH 2026
TaigiSpeech: 一个低资源真实世界语音意图数据集及基于可扩展野外数据挖掘的初步结果
机构 * Massachusetts Institute of Technology, USA（麻省理工学院） ； National Taiwan University, Taipei, Taiwan（国立台湾大学） ； National Taiwan University Artificial Intelligence Center of Research Excellence, Taipei, Taiwan（国立台湾大学人工智能研究中心） ； Academia Sinica, Taiwan（台湾“中央”研究院） ； National Yang Ming Chiao Tung University, Taiwan（阳明交通大学） ； Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, USA（信号分析与解释实验室（SAIL），南加州大学）
专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CL、eess.AS
AI总结 针对低资源台语，构建包含21位老年人3000条话语的语音意图数据集，并探索关键词匹配与LLM伪标注、音视频框架两种数据挖掘策略，以解决标注数据稀缺问题。
Comments Interspeech 2026 long paper
READ：超越所见——基于强化学习的准确连贯音频描述生成
机构 * City University of Hong Kong（香港城市大学） ； Baidu Inc（百度公司） ； Tsinghua University（清华大学）
专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV
AI总结 提出首个基于强化学习的音频描述生成框架READ，通过序列级优化和连贯性奖励，显著提升生成准确性与连贯性。
Harf-Speech：面向阿拉伯语音素级语音评估的临床对齐框架
机构 * Ministry of Defense, Saudi Arabia（沙特阿拉伯国防部） ； Ability Center, Saudi Arabia（沙特阿拉伯能力中心） ； University of Rochester, USA（罗切斯特大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI、eess.AS
AI总结 提出Harf-Speech模块化系统，结合MSA音素化器、微调语音到音素模型、Levenshtein对齐及混合评分器，在阿拉伯语音素级发音评估中达到0.791 Pearson相关和0.659 ICC，优于现有端到端方法。
从分散的医疗音频中解锁音频-语言模型的上下文学习
机构 * Eindhoven University of Technology（埃因霍温理工大学） ； Erasmus MC（伊拉斯姆斯医学中心） ； Rijnstate Hospital（莱茵州医院）
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 提出联邦自上下文学习（FSC）框架，通过无监督聚类构建伪标签片段，结合渐进式三阶段流水线，在联邦医院客户端实现少样本临床音频诊断，准确率达71.6%。
面向开放集说话人属性预测的关键词附加大语言模型嵌入
机构 * Department of Intelligence and Information, Seoul National University（首尔大学情报信息学系） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔大学人工智能跨学科项目） ； Artificial Intelligence Institute, Seoul National University（首尔大学人工智能研究所）
专题命中 音频语音多模态 ：cross-modal(abstract)
AI总结 提出利用大语言模型嵌入进行开放集说话人属性预测，通过关键词附加策略和top-k负损失，在LibriTTS-P上超越闭集基准并泛化到未见同义词。
Comments This paper has been accepted to Interspeech 2026
ISCSLP 2026 CoT-TTS挑战赛：面向上下文感知文本转语音的思维链推理
机构 * The Hong Kong University of Science and Technology（香港科技大学） ； China Mobile（中国移动） ； Jiutian Artificial Intelligence Technology (Beijing) Co., Ltd., China Mobile（九天人工智能技术（北京）有限公司，中国移动） ； China Mobile (Hong Kong) Innovation Research Institute（中国移动（香港）创新研究院） ； Nanjing University（南京大学）
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 针对现有可控TTS系统难以自动推断复杂对话场景中说话方式的问题，提出CoT-TTS挑战赛，要求系统从上下文推断说话方式并生成语音，包含文本和音频两个赛道，采用思维链推理和语音波形输出。
Comments 11 pages, ISCSLP 2026 challenge proposal
定位与编辑大型音频-语言模型中的知识
机构 * The University of Melbourne, Australia（墨尔本大学） ； University of Auckland, New Zealand（奥克兰大学） ； Wuhan University, China（武汉大学）
专题命中 音频语音多模态 ：cross-modal(abstract)
AI总结 提出首个音频知识定位与编辑基准，通过语音感知因果追踪定位事实知识存储的层和模块，并应用编辑实现细粒度知识控制。
Comments Paper was accepted by Interspeech 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈