视觉与机器人
面向图像、视频、多传感器和跨模态感知的信息融合，包括 Image Fusion、红外可见光、遥感、医学影像、LiDAR/雷达/相机和音视频融合。
通过专家引导的多模态融合与大语言模型的统一框架实现情绪识别与情感分析
机构 * School of Software, Dalian University of Technology, China（软件学院，大连理工大学，中国）
专题命中 音视频/视觉语言融合 ：multimodal fusion(title,abstract)
AI总结 本文提出EGMF框架，通过专家引导的多模态融合与大语言模型结合，实现情绪识别与情感分析的统一处理，提升跨语言鲁棒性。
Comments 14 pages, 6 figures
基于条件概率电路的上下文特定可信感知多模态融合
机构 * Department of Computer Science , TU Darmstadt（德累斯顿技术大学计算机科学系） ； Air Force Research Lab（空军研究实验室）
专题命中 音视频/视觉语言融合 ：multimodal fusion(title,abstract)
AI总结 提出C$^2$MF框架，利用条件概率电路建模实例级源可靠性，通过KL散度度量上下文特定信息可信度，在跨模态冲突下提升预测准确率高达29%。
VLC Fusion：面向鲁棒目标检测的视觉-语言条件传感器融合
机构 * Arizona State University（亚利桑那州立大学） ； Department of Computer Science and Engineering, Universidad Nacional del Sur and Institute for Computer Science and Engineering（计算机科学与工程系，国家南方大学和计算机科学与工程研究所） ； U.S. Department of Defense（美国国防部） ； United States Military Academy（美国军事学院） ； Syracuse University（雪城大学）
专题命中 音视频/视觉语言融合 ：sensor fusion(title)；分类 cs.CV
AI总结 本文提出VLC Fusion视觉-语言条件传感器融合框架，利用VLM捕捉环境线索动态调整模态权重，在多传感器融合目标检测任务中，于自动驾驶与军事目标数据集上较传统方法实现更优性能。
Comments 27 pages, 20 figures, Accepted for presentation at ECML PKDD 2026, Shortlisted for the Best Research Track Student Paper Award
面向缺失数据的多模态融合用于统一微服务故障管理
机构 * Zhejiang University（浙江大学）
专题命中 音视频/视觉语言融合 ：multimodal fusion(title)
AI总结 本文提出ARMOR框架，通过自监督学习解决微服务故障管理中多模态数据缺失问题，提升异常检测、故障分类和根本原因定位的性能。
Comments Accepted by the Proceedings of the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE '26), 2026. This is the authors' version of the work; the definitive Version of Record is forthcoming
重新思考时间序列的多模态融合：文本模态需要受约束的融合
机构 * LG AI Research（LG人工智能研究）
专题命中 音视频/视觉语言融合 ：multimodal fusion(title)
AI总结 针对多模态时间序列预测中朴素融合方法效果不佳的问题，提出受约束融合方法及受控融合适配器（CFA），通过低秩适配器过滤无关文本信息，在多种数据集和模型上验证了有效性。
Comments KDD Workshop on Mining and Learning from Time Series 2026 (Oral presentation)
通过交叉注意力和门控融合进行多模态矛盾与犹豫识别
机构 * University of Paris 8（巴黎第八大学） ； LIASD Laboratory（LIASD实验室）
专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)；分类 cs.CV
AI总结 为ECCV 2026的ABAW11挑战赛开发多模态框架，用预训练编码器提取多模态特征，建立单模态基线，在此基础上提出含交叉注意力和门控融合的多模态架构，验证集宏F1达0.7394，提升显著。
LAVA：分层音频视觉抗篡改水印用于鲁棒深度伪造检测与定位
机构 * School of Computer Science and Engineering（计算机科学与工程学院） ； UNSW Sydney（新南威尔士大学悉尼分校） ； School of Information and Communication Technology（信息与通信技术学院） ； Griffith University（格里菲斯大学）
专题命中 音视频/视觉语言融合 ：audio-visual fusion(abstract)；分类 cs.CV
AI总结 LAVA通过跨模态水印融合与校准感知对齐，提升深度伪造篡改检测与定位的鲁棒性，实验表明其检测性能接近完美，抗压缩与多模态错位能力强。
Comments Accepted at the 34th ACM International Conference on Multimedia (ACM MM 2026)
描述到评分：一种用于图像复杂度评估的文本引导框架
机构 * Xi’an University of Architecture and Technology（西安建筑科技大学）
专题命中 音视频/视觉语言融合 ：multi-modal fusion(abstract)；分类 cs.CV
AI总结 该研究针对现有图像复杂度评估方法无法捕捉高级语义的问题，提出文本引导框架D2S，仅训练阶段引入描述语义正则化，在IC9600基准达SOTA，跨任务也具竞争力。
Comments Accepted by Pattern Recognition
UniSkip-Mamba：用于视听时间伪造定位的频率感知状态空间模型
机构 * Soochow University（苏州大学） ； Tsinghua University（清华大学）
专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)；分类 cs.CV
AI总结 针对视听时间伪造定位，通过频域分析发现伪造特征集中在低中频，提出融合多模态序列与新颖扫描机制的UniSkip-Mamba框架，实现性能提升和推理加速。
一种物理知情、行为感知的数字孪生方法，用于精准畜牧业中核心体温的鲁棒多模态预测
机构 * Applied Artificial Intelligence and Intelligent Systems (AAIINS) Laboratory（应用人工智能与智能系统实验室） ； Department of Computer Science and Engineering（计算机科学与工程系） ； Department of Data Science and Artificial Intelligence（数据科学与人工智能系） ； Department of Software Systems & Cybersecurity（软件系统与网络安全系） ； Energy and Resources Institute, Faculty of Science and Technology（能源与资源研究所，科学与技术学院） ； Faculty of Science and Technology（科学与技术学院） ； School of Engineering and Energy（工程与能源学院）
专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)；分类 cs.CV
AI总结 提出物理知情数字孪生框架，结合不确定性感知的专家加权堆叠集成，利用ODE热调节模型、高斯过程、卡尔曼滤波和行为马尔可夫链，融合多模态数据实现奶牛核心体温的2小时提前预测，R²达0.783。
基于最优传输的基于大语言模型的视听语音识别语义对齐
专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)
AI总结 研究基于大语言模型的视听语音识别，提出基于最优传输的语义对齐框架，通过在多模态融合前对齐声学和视觉表征弥合模态差距，经实验验证该方法能有效提升性能，在多种条件下达到最优。
循环平稳性分析作为语音深度伪造检测中自监督表示的补充
专题命中 音视频/视觉语言融合 ：hybrid fusion(abstract)
AI总结 本文提出基于循环平稳性分析的声学特征提取框架，用于提升语音深度伪造检测的性能。
Comments accepted for publication in IEEE Transactions on Audio, Speech and Language Processing
通过部分信息分解理解多模态语言模型中的模态交互
机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学）
专题命中 音视频/视觉语言融合 ：audio-visual fusion(abstract)
AI总结 引入部分信息分解（PID）框架，分离感官和语言输入的独特、冗余和协同贡献，揭示多模态大模型中的模态使用模式，并扩展至三模态系统。
Comments Accepted by ICML 2026
基于多视角语音特征的LoRA微调大语言模型用于痴呆检测
机构 * NAVER Cloud（NAVER云） ； Division of Communication and Media, Ewha Womans University（通信与媒体系，成均馆大学）
专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)
AI总结 提出LoRA微调LLM，通过统一提示整合ASR转录、话语主题、时间流畅度和音韵序列四种语音特征，实现多视角推理，在ADReSSo上F1达90.14%。
Comments Accepted at INTERSPEECH 2026
MetaHGNIE：异构知识图谱中的元路径诱导超图对比学习
机构 * Jiangsu Key Laboratory of Networked Collective Intelligence, School of Mathematics, Southeast University（江苏网络集体智能重点实验室，数学学院，东南大学） ； Jiangsu Key Laboratory of Networked Collective Intelligence, School of Cyber Science and Engineering, Southeast University（江苏网络集体智能重点实验室，网络科学与工程学院，东南大学） ； State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, University of Chinese Academy of Sciences（数学科学国家重点实验室，数学与系统科学研究院，中国科学院大学）
专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)
AI总结 研究异构知识图谱中节点重要性估计问题，提出DualHNIE框架，通过构建高阶知识图谱、引入互补编码器及对比对齐机制进行显式高阶建模和解缠双通道表示学习，实验验证其优于现有方法。
Comments Accepted by IEEE Transactions on Artificial Intelligence
ERM-MinMaxGAP：多语言多模态语音-LLM情感识别中的性别偏见基准测试与缓解
机构 * Kyoto University, Japan（京都大学，日本） ； Agency for Science, Technology, and Research (A*STAR), Singapore（科技研究局（A*STAR），新加坡）
专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)
AI总结 针对多语言语音大模型在情感识别中的性别偏见问题，提出基于MELD-ST的多语言多模态基准，并设计ERM-MinMaxGAP训练目标，通过自适应公平权重和MinMaxGAP正则化器，在英日德三种语言上提升性能并缩小性别差距。
Comments This paper has been accepted for presentation at INTERSPEECH 2026 and as non-archival paper at ICML 2026 Workshop on Machine Learning for Audio
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈