AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
平衡隐私与效率：基于加法同态加密的音乐信息检索
机构 * University of Washington（华盛顿大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 该研究提出基于加法同态加密的音乐检索方法，实现音乐专用推理攻击量化、结构感知加法原语优化，在四组音频数据集上验证其兼具隐私性与高效扩展性。
用于高效变音符恢复的约束 CTC 解码
机构 * Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.CL
AI总结 研究阿拉伯语音转录本变音符恢复问题，提出基于 CTC 的高效非自回归方法，通过构建标注格并纳入硬约束进行解码，在相关测试集上评估，相比基线降低了变音符错误率，实现性能和效率提升。
Comments Accepted at Interspeech 2026. Includes an additional appendix
SAFE-MEME：用于表情包中鲁棒性仇恨言论检测的结构化推理框架
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL
AI总结 研究表情包中仇恨言论检测难题，提出SAFE-MEME框架及其两个变体，通过构建新型数据集进行基准测试，实验表明SAFE-MEME-QA和SAFE-MEME-H能有效检测仇恨言论，且不同方法在常规和混淆场景各有优势，还分析了错误案例。
Comments 44 pages, 27 figures, 6 tables
深度伪造是否足够逼真？探索语义不匹配作为新的挑战
机构 * Instituto de Telecomunicações, Universidade da Beira Interior（电信研究所，贝拉内里大学）
专题命中 音频语音多模态 ：audio-visual(abstract)；分类 cs.CV
AI总结 本文提出新的评估框架，通过引入语义不匹配类别，评估现有模型在面对语义不一致的深度伪造数据时的鲁棒性，并提出语义强化策略提升检测性能。
Comments Added missing FGI results in semantic reinforcement eval (Table 9), showing an architecture-dependent effect. Abstract, contributions, and conclusion revised accordingly. Clarified RARV-SMM/semantic mismatch definition. Corrected SOTA comparison claim (Sec. 4.7). Added code link
Audio-Cogito：迈向大型音频语言模型中的深度音频推理
专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS
AI总结 本文提出Audio-Cogito，通过开发Cogito-pipe数据集和自蒸馏策略，提升音频推理能力，在MMAR基准和Interspeech 2026挑战中表现优异。
Comments Submitted to Interspeech 2026
预训练语言模型时代语义角色标注的系统综述
机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute (SLAI)（深圳南山区研究院） ； University of Oslo（奥斯陆大学） ； Charles University（查尔斯大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL
AI总结 提出四维分类法系统综述SRL研究，分析句法特征的作用条件，首次系统处理大语言模型时代的SRL，并扩展至多模态设置。
Comments 54 pages, 9 figures, 9 tables. Accepted at Artificial Intelligence Review
AIDEN：面向视障人士的AI助手设计与初步研究
机构 * Institute for Computer Research, University of Alicante（计算机研究所，阿利坎特大学） ； ETH Zurich（苏黎世联邦理工学院）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出AIDEN系统，结合YOLO实时目标检测、LLaVA场景描述与OCR，以及基于盖革计数器隐喻的连续触觉引导，避免听觉过载并保护隐私，实验表明用户满意度高。
Journal ref IEEE Access 14 (2026) 80406-80420
Tinker Tales：一个用于儿童与AI共同创意故事讲述的有形对话系统
机构 * Department of Computer Science, Emory University（埃默里大学计算机科学系） ； Department of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学系） ； School of Nursing, Emory University（埃默里大学护理学院）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 提出Tinker Tales有形对话系统，通过结合物理故事板、NFC玩具和移动应用，支持儿童与AI在四个叙事阶段进行协作故事创作，并发现提示框架影响儿童叙事贡献的形式和一致性。
Comments Accepted to SIGDIAL 2026
生物声学地理定位：物种声音作为地理信号
机构 * University of Massachusetts, Amherst（马萨诸塞大学阿姆赫斯特分校）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS
AI总结 本文研究仅通过声音进行全球尺度地理定位，利用生物声学信号中的物种地理分布线索，提出结合物种范围预测与检索的地理定位方法，并验证多模态融合的潜力。
Comments Accepted to ICML 26
我们能从事件中听到声音吗？从事件相机生成语音
机构 * Beijing Technology and Business University（北京技术与商业大学） ； Xidian University（西安电子科技大学） ； Tongji University（同济大学） ； University of Sydney（悉尼大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.MM
AI总结 提出EventSpeech框架，利用神经形态事件相机的高时间精度解决传统RGB语音生成中的时间粒度不匹配问题，实现情感丰富且抗运动模糊的语音生成。
大型音频语言模型中的忠实性研究
机构 * Concordia University（康科迪亚大学） ； Mila - Quebec AI Institute（魁北克人工智能研究院） ； Université Laval（拉瓦尔大学） ； Birla Institute of Technology and Science, Pilani（比拉理工学院和科学学院，皮兰尼）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS
AI总结 提出系统框架评估大型音频语言模型在推理链忠实性上的表现，定义三个音频忠实性标准，并通过基准测试发现模型推理与音频输入存在脱节。
Comments Accepted to Interspeech 2026
后门藏身何处？语音语言模型中后门传播的组件级分析
机构 * University of British Columbia（不列颠哥伦比亚大学） ； École de technologie supérieure（高等技术学院） ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL
AI总结 本文通过后门攻击视角，对语音语言模型进行组件级分析，揭示后门在不同组件中的传播机制，发现后门持久性高度依赖目标组件，且中毒样本与良性样本在共享嵌入中不可直接分离。
Comments Interspeech 2026 (long paper)
jina-embeddings-v5-omni: 通过锁定对齐塔实现几何保持嵌入
机构 * Jina by Elastic（Jina 由 Elastic 公司）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL
AI总结 本文提出GELATO方法，通过冻结对齐塔实现多模态嵌入，生成统一语义空间，训练效率高且保持文本嵌入一致性。
Comments 11 pages, 9 figures, 5 tables
信号不是状态：面向文化意识课堂AI的神经符号安全机制
机构 * Independent Researcher（独立研究者）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出NSCR框架，通过神经符号方法处理课堂多模态信号，区分可观测证据与文化负载解读，减少文化偏见对课堂AI的负面影响。
Comments Accepted at the Workshop on Stereotypes Across Cultures in Language Technologies @ ACL 2026
SALSA-V：基于视频的捷径增强式长同步音频生成模型
机构 * ETH Zurich（苏黎世联邦理工学院）
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 SALSA-V是一种多模态视频转音频生成模型，通过掩码扩散目标和捷径损失实现长音频同步高保真生成，仅需8步采样即可快速生成，性能优于现有SOTA，可用于专业音频合成任务。
P-MUSE：用于统一器乐合成与编辑的提示-MIDI可选模型
专题命中 音频语音多模态 ：cross-modal(abstract)
AI总结 P-MUSE是统一器乐合成与编辑的MIDI-to-Music框架，通过多阶段课程学习整合两种生成范式，提出相位感知引导策略与尾端丢弃法，并建立含四类乐器的综合基准。
RIME：实现大规模智能后期制作
机构 * Dartmouth College（达特茅斯学院）
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 研究针对音乐后期制作问题，引入RIME框架，利用POEMS工具包生成配对数据，评估多模态语言模型，展示其通过监督微调提升智能体性能，是迈向迭代音乐智能体、变革音乐制作的早期步骤。
交互式通信——来自心理学、声学和技术的跨学科视角
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 本文从跨学科视角介绍交互式通信，整合心理机制与多方面限制，概述理论框架、总结关键方法，讨论辅助听力技术等应用及伦理考量，强调人类能力与技术系统共同塑造交互式通信，整合相关研究要点。
基于紧凑频谱包络模型的感知无损触觉纹理合成
专题命中 音频语音多模态 ：audio-visual(abstract)
AI总结 提出两种紧凑频谱表示（频谱β和频谱斜率）来捕获手指-表面摩擦信号的时间频谱结构，通过感知实验验证其能实现与高保真再现相当的感知真实感，为触觉压缩、通信和合成纹理生成提供高效框架。
Comments 16 pages and 8 figures
HeartMuLa：一个开源音乐基础模型家族
机构 * HeartMuLa Teams（HeartMuLa团队）
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 介绍开源音乐基础模型家族HeartMuLa，含四个组件及两种特殊模式，能跨任务和模态推动音乐理解与生成，扩展到7B参数时有显著改进，可重现商业级系统，为未来研究提供基线并促进多模态应用。
定位与编辑大型音频-语言模型中的知识
机构 * The University of Melbourne, Australia（墨尔本大学） ； University of Auckland, New Zealand（奥克兰大学） ； Wuhan University, China（武汉大学）
专题命中 音频语音多模态 ：cross-modal(abstract)
AI总结 提出首个音频知识定位与编辑基准，通过语音感知因果追踪定位事实知识存储的层和模块，并应用编辑实现细粒度知识控制。
Comments Paper was accepted by Interspeech 2026
近场多源定位的进化优化框架入门
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 提出两种基于进化优化的无网格、无训练连续域搜索框架，用于近场多源定位，克服了MUSIC等网格子空间方法和深度学习的局限，通过差分进化实现高精度定位。
Comments This work has been submitted to the IEEE for possible publication
SARSteer: 通过安全消融拒绝引导保护大型音频语言模型
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 提出SARSteer，首个针对大型音频语言模型的推理时防御框架，通过文本衍生的拒绝引导和分解安全空间消融，有效提升有害查询拒绝率并减少良性查询的过度拒绝。
NeST: 面向LLM安全的神经元选择性调优
机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学）
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 提出NeST框架，通过激活探测识别安全相关前馈神经元并训练共享簇级更新，仅用普通恶意提示即可泛化防御多种越狱攻击，在14个模型上以极少参数实现接近全微调的鲁棒性。
BusterX++: 迈向基于MLLM的统一跨模态AI生成内容检测与解释
机构 * University of Liverpool, UK（利物浦大学）
专题命中 视频多模态 ：MLLM(title,title_cn)；cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 提出统一多模态大模型BusterX++，通过纯强化学习策略实现图像与视频伪造检测的跨模态能力迁移，性能超越现有方法。
HiMu: 面向长视频问答的分层多模态帧选择
机构 * INSIGHT Lab, Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学INSIGHT实验室，以色列） ； Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学，以色列）
专题命中 视频多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)
AI总结 提出HiMu框架，通过文本LLM将查询分解为层次逻辑树，由视觉和音频专家处理原子谓词，经模糊逻辑算子组合生成连续帧满意度曲线，在16帧预算下达到帧选择方法的最优精度，并作为即插即用模块提升多种MLLM性能。
HOMIE：通过多模态智能增强实现以人为对象的视频个性化
机构 * Hong Kong University of Science and Technology（香港科技大学）
专题命中 视频多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.CV
AI总结 研究以人为对象的视频个性化问题，提出HOMIE框架，统一处理主体间和主体内输入设置。通过更好的MLLM集成策略、自注意力中的全局多模态引导及模态参考嵌入，在多任务中达最优性能。
Comments 28 pages, 14 figures
通过多模态基础模型和几何进行零样本3D通用障碍物检测
机构 * aiMotive
专题命中 视频多模态 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；分类 cs.CV
AI总结 针对自动驾驶中通用障碍物检测难题，提出结合多模态基础模型与几何推理的免训练零样本方法，能精准定位达100米，借基础模型先验提升召回率，还可实现可扩展自动标注。
Comments Accepted to CVPR 2026 AUTOPILOT Workshop
OmniGAIA：迈向原生全模态AI代理
机构 * Renmin University of China（中国人民大学） ； Xiaohongshu Inc.（小红书公司） ； Peking University（北京大学） ； Southeast University（东南大学） ； Tsinghua University（清华大学）
专题命中 视频多模态 ：omni-modal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出OmniGAIA基准和OmniAtlas代理，通过全模态事件图和后见引导树探索策略，实现跨视频、音频和图像的深度推理与工具使用。
从视频中学习几何表示以实现空间智能多模态大语言模型
机构 * University of California, Davis（加州大学戴维斯分校）
专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出GeoVR框架，通过从2D视频序列中蒸馏3D几何知识（包括相机姿态、深度图、尺度因子和多尺度3D特征），重塑多模态大语言模型的内部表示以赋予其空间智能，在空间推理基准上达到最先进性能。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈