AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
MatchLM2Lite: 一种可扩展的MLLM-to-Lite框架用于重复内容识别
机构 * Tiktok（字节跳动） ； National University of Singapore School of Computing（新加坡国立大学计算机学院）
专题命中 音频语音多模态 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM
AI总结 提出MatchLM2Lite框架，通过将多模态大语言模型蒸馏为轻量模型，实现视频、音频和文本联合建模的实时重复内容识别，在降低35倍计算成本的同时保持高准确率，并成功部署于大规模生产环境。
用于集成视听视频深度伪造检测中领域适应的师生结构
机构 * Department of Computer Engineering, Sharif University of Technology（谢里夫理工学院计算机工程系）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、cs.AI、cs.MM
AI总结 提出EAV-DFD方法，结合师生框架的领域适应机制，提升模型在未见领域上的泛化能力，在三个数据集上AUC分别提升4.09%、17.94%和0.5%。
基于XAI的语音深度伪造检测解释生成：使用免训练多模态大语言模型
机构 * Imperial College London（帝国理工学院） ； Technical University of Munich（慕尼黑工业大学） ； University of Southampton（南安普顿大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI
AI总结 针对语音深度伪造检测缺乏可解释性的问题，提出一种免训练框架，融合XAI证据与多模态大语言模型，生成基于证据的特定解释，在PartialSpoof数据集上内部准确率提升超45%。
Comments Accepted at Interspeech 2026
统一声学特征与文本的多模态大语言模型用于神经退行性疾病筛查
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI、eess.AS
AI总结 提出NeurMLLM框架，通过多模态大语言模型融合声谱图、MFCC和文本，实现阿尔茨海默病和帕金森病的精细分期，优于传统方法和现有LLM方法。
Comments IEEE International Conference on Healthcare Informatics, 2026
UniT：统一多模态思维链测试时扩展
机构 * Stanford University（斯坦福大学） ； Meta Superintelligence Labs（Meta超级智能实验室） ； Nanyang Technological University（南洋理工大学）
专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出UniT框架，通过多轮推理、验证和细化实现统一多模态模型的测试时扩展，实验表明短推理轨迹可泛化到长链，顺序思维链比并行采样更高效。
Comments CVPR 2026
M*: 一个模块化、可扩展的多模态模型服务系统
机构 * Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出M*系统，通过将模型表示为数据流图并引入Walk Graph抽象，支持多模态复合模型的高效服务，在多个任务上降低延迟并提升吞吐量。
Comments The codebase is available at https://github.com/mstar-project/mstar
SSNAPS: 基于扩散逆采样的语音与背景噪声视听分离
机构 * Bar-Ilan University（巴伊兰大学） ； OriginAI
专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 eess.AS
AI总结 提出一种无监督的视听语音分离方法，利用扩散先验和逆采样联合建模语音与噪声，在单麦克风场景下优于有监督基线，并支持离屏说话人分离。
基于多模态大语言模型的链式思维差异-共性推理的可解释音频编辑评估
机构 * College of Computer Science, Nankai University, Tianjin, China（南开大学计算机科学学院，天津，中国） ； Academy for Advanced Interdisciplinary Studies, Nankai University, Tianjin, China（南开大学先进跨学科研究学院，天津，中国）
专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS
AI总结 提出首个基于自然语言的音频编辑自动评估框架，利用Qwen2-Audio和链式思维推理策略，实现可解释且与人类判断高度一致的评估。
探究大五人格特质在音频视觉共情估计中的作用
机构 * Japan Advanced Institute of Science and Technology（日本科学技术先进研究院） ； Human Informatics Laboratories, NTT Corporation（NTT公司人因实验室）
专题命中 音频语音多模态 ：audio-visual(title)；分类 cs.AI
AI总结 本研究探讨了大五人格特质在朋友间音频视觉共情估计中的作用，通过比较有无人格特质输入的模型，发现其能提升共情估计性能，并分解出感知者效应、目标效应和关系效应。
Comments 9 pages, 5 figures
Journal ref International Conference on Automatic Face and Gesture Recognition (FG2025)
EmoZone-Talker: 基于面部动作单元的音频驱动3DGS说话人头部的区域语义控制
机构 * China University of Petroleum (East China)（中国石油大学（华东））
专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 提出EmoZone-Talker框架，通过区域解耦和时序建模解决音频与表情信号的冲突，实现精细、可解释的面部表情控制。
NVMOS：语音中非语言发声质量评估
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS
AI总结 针对非语言发声（如笑声、叹息）的感知质量评估空白，构建NV-MOS数据集，提出首个专用模型NVMOS，通过局部聚焦模块达到专家级评估一致性。
Comments 6 pages. Code and model: https://github.com/yongaifadian1/NVMOS
利用大语言模型进行讽刺语音标注在讽刺检测中的应用
机构 * University of Groningen（Groningen大学） ； Speech Technology Lab（语音技术实验室） ； Center for Language and Cognition（语言与认知中心）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS
AI总结 本文提出利用大语言模型生成讽刺语音数据集，通过人类验证提升标注质量，并在公开数据集上验证了检测性能，最终引入PodSarc数据集，实现了73.63%的F1分数。
Comments Interspeech 2025; Project page: https://github.com/Abel1802/PodSarc
解码与自适应：基于音频-文本提示的零样本在线说话人自适应用于老年人语音识别
机构 * The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学） ； Institute of Software, Chinese Academy of Sciences, China（中国科学院软件研究所） ； National Research Council Canada, Canada（加拿大国家研究理事会）
专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS
AI总结 提出一种基于跨语句音频-文本提示的说话人自适应方法，实现零样本实时适应未见说话人，在老年人语音数据集上显著降低词错误率/字符错误率，并大幅提升实时因子。
Comments Accepted by Interspeech 2026
从意识到遵循：通过上下文感知解码弥合口语对话系统中的上下文鸿沟
机构 * ECE, Seoul National University（首尔大学电气与计算机工程系） ； IPAI, Seoul National University（首尔大学IPAI研究所） ； Department of AI, University of Seoul（首尔市立大学人工智能系）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL
AI总结 提出音频适配的上下文感知解码方法，通过对比有无关键上下文的输出分布，放大多模态上下文信号，解决口语对话系统中上下文遵循问题。
Comments Interspeech 2026 Main Track
TMASC：跨男性态度与语音语料库
机构 * Centre for Sustainability Research, University of Otago（奥塔哥大学可持续发展研究中心） ； Te Pūnaha Matatini Centre of Research Excellence for Complex Systems（Te Pūnaha Matatini复杂系统卓越研究中心）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL
AI总结 介绍一个包含196名跨男性个体的多模态语料库，包括问卷和66份录音，用于支持跨男性个体研究。
Comments Accepted to Interspeech 2026 Main Track
HoliDubber: 通过文本引导的音频合成实现复杂声学场景的全景视频配音
专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS
AI总结 提出HoliDubber框架，基于补丁自回归扩散Transformer，从单一文本提示联合生成语音和音效，实现全景视频配音，显著优于现有方法。
面向统一歌曲生成与带伴奏共生成的歌声转换
机构 * Northwestern Polytechnical University（西北工业大学） ； Kuaishou Technology（快手科技） ； Beijing Institute of Technology（北京理工大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 提出UniSinger框架，基于多模态扩散Transformer统一零样本歌曲生成与伴奏共生成歌声转换，通过共享说话人嵌入和课程学习策略实现跨任务音色控制与多任务优化。
缺失的层次：为什么教育科技需要设计时的生成式用户界面，而非仅运行时个性化
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 针对教育科技中运行时生成式UI导致可访问性不足的问题，提出在创作层采用基于卡片的语义单元编码，由生成式AI在教学设计时生成多种界面表示，经教师验证后交付，实现公平可扩展的适应性教育。
Comments Accepted at the NextGen Learning Interfaces Workshop in AIED 2026
近场多源定位的进化优化框架入门
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 提出两种基于进化优化的无网格、无训练连续域搜索框架，用于近场多源定位，克服了MUSIC等网格子空间方法和深度学习的局限，通过差分进化实现高精度定位。
Comments This work has been submitted to the IEEE for possible publication
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈