AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
通过强大的音频感知增强长格式全模态理解
机构 * SAI, Shanghai Jiao Tong University（上海交通大学 上海人工智能研究院） ； Zhejiang University（浙江大学） ； Shanghai AI Lab（上海人工智能实验室）
专题命中 音频语音多模态 ：omni-modal(title,abstract)；multimodal(abstract)；audio-visual(abstract)
AI总结 为解决全模态理解不足问题，提出AVDC数据集及AVDC-QA-CoT数据集，利用现成模型标注视频，采用两阶段训练范式，在多下游任务实验中取得显著性能提升，推动全模态感知发展。
MAVIN：具有叙事控制的多镜头视听生成
机构 * Peking University（北京大学） ； Kling Team, Kuaishou Technology（快手团队） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Sun Yat-sen University（中山大学）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV
AI总结 提出MAVIN框架，通过边界感知注意力、ID感知传播和多智能体脚本管线，实现多镜头视听生成中的叙事控制，解决时间错位、可控性差和脚本不完整问题。
Comments Accepted to ECCV 2026
一种将多模态人类意图转化为无人机安全机动的中介模型
机构 * University of Notre Dame（诺丁汉大学） ； Imperial College London（伦敦帝国理工学院）
专题命中 音频语音多模态 ：multi-modal(title,abstract)
AI总结 研究如何将多模态人类意图转化为无人机安全机动，提出需求导向的机动响应模型，通过结构化管道处理操作员输入，经多种约束验证后执行，还形式化为此类规范模型，经实验室验证可可靠解释并安全执行相关输入。
Comments 11 pages, 4 figures, preprint for MODRE 2026
LightMem-Ego：适用于日常生活的人工智能记忆
机构 * Zhejiang University（浙江大学） ； South China University of Technology（华南理工大学） ； Central China Normal University（华中师范大学） ； Lenovo Group Limited（联想集团有限公司）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 针对移动和可穿戴设备上个人AI助手回答过去经历查询难的问题，提出LightMem-Ego轻量级流多模态记忆系统，能捕获、对齐并组织视觉和音频流成分层记忆，基于多模态证据生成答案，可部署在多种设备上提供多种支持。
Comments Ongoing work
视频中矛盾与犹豫识别的简单特征与诚实校准
机构 * Indian Institute of Science Education and Research Bhopal（印度科学教育与研究学院博帕尔分院）
专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CV、cs.CL、eess.AS
AI总结 针对ABAW 2026 BAH挑战赛中的矛盾与犹豫识别问题，系统结合情感专用多模态表示与语言犹豫线索，经AMF融合及AP加权集成。引入‘ASR擦除时间’构建特征，实验表明语言是最强通道，校准比架构重要，固定阈值AP加权测试集得分0.731。
零努力图像到音乐生成：一种可解释的基于RAG的视觉语言模型方法
机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The University of Hong Kong（香港大学） ； The Hong Kong University of Science（香港科学大学） ； The Hong Kong Polytechnic University Hong Kong China（香港理工大学香港中国） ； The University of Hong Kong Hong Kong China（香港大学香港中国）
专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.AI、cs.MM、eess.AS
AI总结 本文提出一种基于RAG的视觉语言模型方法，实现图像到音乐生成，通过ABC记谱法连接文本与音乐模态，并利用多模态检索增强生成和自反思技术，提供高可解释性且低计算成本的音乐生成方案。
记忆回溯：一个用于大规模背景条件调查模拟的开源平台
机构 * University of California, Berkeley（加利福尼亚大学伯克利分校）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 介绍开源平台记忆回溯，用于大规模背景条件调查模拟。它运用大语言模型，基于文集和他性框架，支持多模态调查。通过案例研究评估，其产生的意见分布更接近真实数据，为专有模拟服务提供替代。
Comments Preprint
将所有内容都转换为在线 API 服务？关于在机器人系统中集成本地化语音识别模型的综述
机构 * Institute of Science Tokyo（东京科学研究所） ； Eindhoven University of Technology（埃因霍温理工大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS
AI总结 综述自动语音识别技术在机器人系统中的集成，涵盖其从传统到深度学习模型的演变、相关数据集与工具包，介绍基于 ASR 模型家族等的部署策略及实际平台，指出挑战与未来方向，助力社交机器人研究人员探索人机交互领域。
Comments accepted in 18th International Conference on Social Robotics (ICSR + ART 2026)
深度伪造是否足够逼真？探索语义不匹配作为新的挑战
机构 * Instituto de Telecomunicações, Universidade da Beira Interior（电信研究所，贝拉内里大学）
专题命中 音频语音多模态 ：audio-visual(abstract)；分类 cs.CV
AI总结 本文提出新的评估框架，通过引入语义不匹配类别，评估现有模型在面对语义不一致的深度伪造数据时的鲁棒性，并提出语义强化策略提升检测性能。
Comments Added missing FGI results in semantic reinforcement eval (Table 9), showing an architecture-dependent effect. Abstract, contributions, and conclusion revised accordingly. Clarified RARV-SMM/semantic mismatch definition. Corrected SOTA comparison claim (Sec. 4.7). Added code link
面向富含图表的技术会议视频的问答
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 研究面向富含图表的技术会议视频的问答问题，核心方法是开发基于大语言模型的多模态问答系统LMVQA，主要贡献是显著提高答案准确性，降低响应时间和成本，获领域专家认可。
Comments Accepted for publication in ICSME 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈