多模态大模型

RedDiffuser: Auditing Multimodal Safety Failures in Vision-Language Models via Reinforced Diffusion

RedDiffuser：通过强化扩散审计多模态安全故障

Ruofan Wang, Xingjun Ma

机构 * Fudan University（复旦大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究多模态系统在有害上下文暴露下的安全审计，提出RedDiffuser框架通过扩散模型生成视觉输入，揭示隐藏的安全漏洞，实验显示VLMs在部分有毒文本与视觉上下文结合时存在广泛安全问题。

SCD4VPR: Multi-modal Scene Change Detection for Long-term Visual Place Recognition Database Update

基于视觉-语言表示学习的场景变化检测

Diwei Sheng, Vijayraj Gohil, Satyam Gaba, Zihan Liu, Giles Hamilton-Fletcher, John-Ross Rizzo, Yongqing Liang, Chen Feng

机构 * New York University（纽约大学） 纠错

专题命中 图文多模态 ：multi-modal(title)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出LangSCD框架，通过融合语言和视觉信息提升场景变化检测的鲁棒性，引入几何-语义匹配模块和多类标注数据集NYC-CD，实验证明其在多个基准上的优越性能。

Comments 9 pages, 6 figures, 6 tables

A Paragraph is Worth a Thousand Captions: Rethinking Text Supervision for Vision-Language Retrieval

一段文本胜过千条标题：重新思考视觉-语言检索的文本监督

Mahyar Ghazanfari, Amin Tabrizian, Arsyi Aziz, Binshuai Wang, Peng Wei

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 该研究针对视觉-语言检索，通过系统对比单标题与段落文本监督，发现仅微调BLIP文本编码器的段落监督模型在DOCCI等任务上优于Long-CLIP，为文本粒度与检索性能的关系提供了新见解。

Comments Accepted at the MUCG workshop, ECCV 2026

VLAff: Vision-Language-Affordance Model for Unified Actionable Affordances

VLAff：用于统一可操作 affordance 的视觉-语言-affordance 模型

Jihoon Oh, Kento Kawaharazuka, Kei Okada

机构 * University of Tokyo（东京大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本研究提出 VLAff 模型，结合 EgoAffordance 数据集，解决人类与机器人 embodiment 不匹配问题，实现视觉 affordance 预测及真实机器人零样本操作等应用。

Comments 8 pages, 5 figures. Accepted to IEEE/RSJ IROS 2026. Project page: https://ojh6404.github.io/vlaff/

Distill What the Student Can See: Fisher-Projected On-Policy Distillation for Vision-Language Models

提炼学生可见内容：面向视觉语言模型的Fisher投影在线策略蒸馏

Leyan Xue, Feng Xiong, Mingjun Ma, Changqing Zhang

专题命中 图文多模态 ：multimodal(abstract)

AI总结 针对视觉语言模型在线策略蒸馏中教师修正与学生能力不匹配的问题，提出FP-OPD方法，在8B到2B的蒸馏中使7个多模态基准平均得分分别提升2.77和1.60个点。

PromptShield Home: Ambient Multimodal Prompt Injection Defense for Smart-Home Agents

PromptShield Home：面向智能家居智能体的环境多模态提示注入防御方案

He Zhang, Feilong Li, Dingning Long, Yilin Cui, Peijun Zhang, Yuewen Zhang, Qianyao Xu, Xinyi Fu

专题命中 音频语音多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；audio-visual(abstract)

AI总结 该研究针对智能家居智能体的提示注入安全问题，构建了现实场景基准测试PromptShield-Home，对比了三类防御层的性能，发现多智能体调解的上限性能最优，提出应采用学习路由与传感器融合方案保障安全。

Comments This work has been accepted as a poster to UbiComp 2026

Whence the Voice? Self-supervised Dual-source Audio-Visual Localisation via Selective Convergence

声音从何而来？通过选择性收敛实现自监督双源视听定位

Han Hu, Dongheng Lin, Yuqi Hou, Haotian Li, Hyung Jin Chang, Jianbo Jiao

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.MM

AI总结 本文针对双源视听定位的循环依赖问题，利用自监督学习的选择性收敛提出两阶段框架，在双源基准上取得自监督方法最优性能，还通过引入像素级掩码修正了基准评估的不一致性。

C$^3$PO: Evaluating Cross-Modal Composition and Counterfactual Performance in Omnimodal Models

C³PO：评估全模态模型中的跨模态组合与反事实性能

Swapnanil Mukherjee, Agyeya Negi, Tanuja Ganu, Ponnurangam Kumaraguru

机构 * Microsoft Research India（微软研究院印度分院） ； IIIT Hyderabad（印度国际信息技术研究院（海得拉巴）） 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 本研究推出C³PO基准数据集，评估全模态模型的跨模态组合与反事实性能，发现模型存在模态主导问题，需改进架构以支持持续跨模态注意力。

PhaseCoder: Microphone Geometry-Agnostic Spatial Audio Understanding for Multimodal LLMs

PhaseCoder: 无关麦克风几何的多模态大语言模型空间音频理解

Artem Dementyev, Wazeer Zulfikar, Sinan Hersek, Pascal Getreuer, Anurag Kumar, Vivek Kumar

机构 * Google DeepMind（谷歌DeepMind） ； Media Lab, MIT（媒体实验室，麻省理工学院） ； Google AR（谷歌AR） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI、eess.AS

AI总结 PhaseCoder是一种无需麦克风几何结构的Transformer空间音频编码器，能够生成空间嵌入并使LLM实现复杂空间推理和转录任务。

Identity-Faithful Audio-Visual Target Speaker Extraction with REAL-2MIX and VOXBLINK2-AVSE

基于QIANGDA与VOXBLINK2-AVSE的身份保真视听目标说话人提取

Peijun Yang, Zhan Jin, Xiaoyi Qin, Ruiyi Gan, Hao Wang, Juan Liu, Ming Li

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 eess.AS

AI总结 本文提出QIANGDA普通话AV-TSE基准与VOXBLINK2-AVSE数据集，采用含AV-HuBERT等的提取器，通过双指标评估，取得了视听目标说话人提取的良好性能。

TRU: Targeted Reverse Update for Efficient Multimodal Recommendation Unlearning

TRU：面向高效多模态推荐去学习的定向反向更新

Zhanting Zhou, KaHou Tam, Ziqiang Zheng, Zeyu Ma, Yang Yang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； University of Macau（澳门大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态推荐系统中数据删除影响不均匀的问题，提出TRU框架，通过层级化干预实现更高效的去学习，提升保留与遗忘的平衡。

Comments Author Accepted Manuscript. Accepted for publication in the Proceedings of the 34th ACM International Conference on Multimedia (ACM MM '26). This author-created manuscript is not the ACM Version of Record

Legible and Intuitive Multi-modal Robot State and Intent Communication Validated in Online and Real-world Studies

可读且直观的多模态机器人状态与意图通信：在线和真实世界研究验证

Tim Schreiter, Jens V. Rüppel, Andrey Rudenko, Martin Magnusson, Achim J. Lilienthal

机构 * Chair of Perception for Intelligent Systems, Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich (TUM)（慕尼黑工业大学慕尼黑机器人与机器智能研究所智能系统感知教席） ； Centre for Applied Autonomous Sensor Systems (AASS), Örebro University（厄勒布鲁大学应用自主传感器系统中心） ； Robotics Institute Germany (RIG)（德国机器人研究所） 纠错

专题命中 音频语音多模态 ：multi-modal(title)；multimodal(abstract)

AI总结 针对移动非人形机器人，通过在线和真实世界实验，系统比较了低表达单模态LED与高表达多模态（凝视、手势、语音）通信策略，发现多模态更可读直观，且真实环境中可读性和信心下降。

Comments Accepted for publication at the 35th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2026)

Breaking the Curse of Multilinguality in Many-to-Many Speech-to-Text Translation via a Resource-Aware Mixture of Speech Encoders

通过资源感知型语音编码器混合模型打破多对多语音到文本翻译中的多语言性诅咒

Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Chengpeng Fu, Yu Wang, Ming Liu

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 针对多对多语音到文本翻译中的多语言性诅咒问题，提出资源感知型MoSE框架与五阶段课程学习策略，其4B参数模型在45种语言的全方向翻译任务上实现最优性能，显著提升低资源语言表现且不损害高资源性能。

Vorch-Omni: Multi-Task Orchestration of Sight and Sound

Vorch-Omni：视觉与听觉的多任务编排

Vorch Team, Xiaoyu Chen, Yang Ding, Cong Han, Menglin Han, Yuxin Hong, Jiebo Hou, Zequn Jie, Xiang Li, Jing Liu, Qi Liu, Yulei Lu, Siyuan Luo, Lin Ma, Xin Ma, Yinlong Qian, Peng Shi, Fang Wan, Siqi Wang, Yaohui Wang, Yaole Wang, Yidi Wu, Siqian Yang, Mingyu Yin, Haoran Yu, Gang Yue, Lisai Zhang, Yuting Zhang

专题命中 音频语音多模态 ：audio-visual(abstract)；分类 cs.CV

AI总结 Vorch-Omni是基于流匹配扩散Transformer的统一多任务视听合成框架，支持10余项视听相关任务，为通用视听生成与操作提供可扩展基础。

Comments Project Page: https://vorch-project.github.io/Vorch-Omni-project/

A Bridge from Audio to Video: Phoneme-Viseme Alignment Allows Every Face to Speak Multiple Languages

从音频到视频的桥梁：音素-视素对齐让任意人脸可说多种语言

Zibo Su, Kun Wei, Jiahua Li, Jing Kong, Xu Yang, Cheng Deng

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 该研究提出MuEx框架，通过PG-MoE架构和PV-Align机制，结合含12种语言的MTFD数据集，实现多语言语音驱动说话人脸合成，在MTFD全语言表现优异且可零样本泛化到未见语言。

SOVABench: A Vehicle Surveillance Action Retrieval Benchmark for Multimodal Large Language Models

SOVABench：多模态大语言模型的车辆监控动作检索基准

Oriol Rabasseda, Zenjie Li, Kamal Nasrollahi, Sergio Escalera

机构 * Milestone Systems A/S（Milestone Systems公司） ； Universitat de Barcelona（巴塞罗那大学） ； Computer Vision Center（计算机视觉中心） ； Aalborg Universitet（奥胡斯大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 SOVABench为多模态大语言模型提供车辆监控动作检索基准，通过定义两种评估协议评估跨动作区分和时间方向理解，展示了模型在复杂监控任务中的性能。

Comments This work has been accepted at Real World Surveillance: Applications and Challenges, 6th (in WACV Workshops)

MoCA: Multi-modal Cross-masked Autoencoder for Time Series in Digital Health

MoCA：用于数字健康测量的多模态交叉掩码自编码器

Howon Ryu, Yuliang Chen, Yacun Wang, Andrea Z. LaCroix, Chongzhi Di, Loki Natarajan, Yu Wang, Jingjing Zou

机构 * Herbert Wertheim School of Public Health and Human Longevity Science, University of California, San Diego, San Diego, CA, USA（赫伯特·韦瑟姆公共卫生与人类长寿科学学院，加州大学圣地亚哥分校） ； Halıcıoğlu Data Science Institute, University of California San Diego, San Diego, CA, USA（哈利奇奥卢数据科学研究所，加州大学圣地亚哥分校） ； Department of Computer Science and Engineering, University of California San Diego, San Diego, CA, USA（计算机科学与工程系，加州大学圣地亚哥分校） ； Division of Public Health Sciences, Fred Hutchinson Cancer Center, Seattle, WA, USA（公共卫生科学部，Fred Hutchinson癌症中心） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；cross-modal(abstract)

AI总结 提出MoCA自监督学习框架，结合Transformer与MAE，通过跨模态掩码提升多模态可穿戴数据的重构与分类性能，兼具理论保障，可处理缺失模态并应用于数字健康领域。

Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding

用于高效长视频理解的证据驱动型动态视觉选择器

Bo Zhang, Wenxin Wang, Feng Chen, Zhihao Zhang, Zixuan Wang, Changsheng Li, Yinjie Lei

专题命中 视频多模态 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 本文提出基于目标MLLM内部注意力证据的动态视觉选择框架EviSelect，通过GRPO优化的随机策略实现高效长视频理解，在三个基准上性能更优，视觉token减少约50%、端到端加速3.9倍。

Comments Project Page: https://zhangbo135.github.io/EviSelect/

Seeing Is Not Deciding: Can Multimodal LLMs Act as Effective CEOs?

视觉感知不等于决策：多模态大语言模型能成为有效的首席执行官吗？

Yuyang Dai, Xueqing Peng, Yuxia Wang, Preslav Nakov, Zhuohan Xie

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究构建C-SUITEBENCH多模态基准，评估9个前沿模型作为CEO的决策能力，发现多模态输入可提升证据推理但会损害受限资源分配，揭示多模态智能体的视觉感知与受限行动是可分离瓶颈。

Comments 25 pages

Multimodal Spatiotemporal Atmospheric Data Assimilation with Latent Video Flow-matching

基于潜在流匹配的多模态时空大气数据同化

Dibyajyoti Chakraborty, Romit Maulik

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Purdue University（普渡大学） 纠错

专题命中 视频多模态 ：multimodal(title)

AI总结 该研究提出基于潜在流匹配的多模态时空大气数据同化方法，利用ERA5再分析数据训练先验，结合后验采样同化真实观测，可完成多种DA任务，从稀疏观测生成的集合预报性能达先进水平。

StreamArena: Toward Continuous, Interactive, and Long-Horizon Agentic Streaming Video Understanding

StreamArena：面向连续、交互式且长视界的智能体流媒体视频理解

Xichen Zhang, Guankai Li, Yinghao Zhu, Shijian Wang, Sitong Wu, Shaozuo Yu, Meng Chu, Yuan Lu, Jiaya Jia

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Xiaohongshu Inc.（小红书公司） ； The University of Hong Kong（香港大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 针对当前智能体流媒体视频理解评估的缺陷，提出StreamArena基准，设计StreamMind架构解决连续交互与长视界理解的张力，在四项能力上优于现有基线并降低延迟。

BioKD: Selective Physiology-to-Video Knowledge Distillation via Reliability Gate for Emotion Recognition

BioKD：通过可靠性门实现面向情感识别的选择性生理信号到视频的知识蒸馏

Bojing Hou, Ruohao Li, Yitong Zhu, Hongjun Liu, Luwen Yu, Yuyang Wang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； New York University（纽约大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)

AI总结 本文提出BioKD框架，以生理信号为训练特权信息指导视频学生模型，通过可靠性门控抑制负迁移，在DEAP、AMIGOS数据集上的情感识别任务中优于基线，且推理无额外开销。

UniVVT: A Unified End-to-End Framework for High-Fidelity Video Virtual Try-on

UniVVT：用于高保真视频虚拟试穿的统一端到端框架

Yushe Cao, Shikun Feng, Fei Shen, Haikuo Peng, Jianqiang Xia, Yiheng Zhu, Dianxi Shi, Chun Yu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 UniVVT是一种统一端到端视频虚拟试穿框架，以多模态大语言模型为核心，采用三阶段渐进训练策略，在多基准上实现了优于主流方法的高保真试穿效果。

Comments 17 pages,21 figures

MAC 2026: Advancing Micro-Action Analysis Towards Fine-Grained Understanding

MAC 2026：推动微动作分析迈向细粒度理解

Kun Li, Dan Guo, Jihao Gu, Pengyu Liu, Xiaobai Li, Haoyu Chen, Yanbin Hao, Guoying Zhao, Meng Wang

机构 * United Arab Emirates University（阿联酋大学） ； Hefei University of Technology（合肥工业大学） ； University College London（伦敦大学学院） ； Zhejiang University（浙江大学） ； University of Oulu（奥卢大学） ； CMVS, University of Oulu（奥卢大学计算机视觉与媒体研究中心） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文介绍第三届MAC 2026，以从识别到细粒度微动作理解为主题，扩大挑战范围，引入新任务并借助多模态大语言模型评估，总结了相关数据集、设置、结果等，还探讨了微动作分析未来方向及在视频理解中的作用。

Comments Challenge Summary Paper of the 3rd Micro-Action Analysis Grand Challenge (MAC 2026) at ACM Multimedia 2026

One Ranking, Any Budget: Matryoshka Evidence-to-Context Frame Selection for Long-Video Understanding

单一排序，任意预算：用于长视频理解的套娃式证据到上下文帧选择框架

Wang Chen, Yu Chen, Xiang Wang, Shuai Li, Jinfa Huang, Xiawu Zheng

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出MEC帧选择框架，将长视频帧选择建模为套娃式排序问题，构建单一可复用排序适配任意预算，提升了长视频理解的准确率并降低了选择延迟。

Comments 21 pages, 7 figures, 7 tables

ChronoVision: Temporal Reasoning via Latent State Reconstruction

ChronoVision：基于潜在状态重构的时序推理

Yifan Shen, Jian Xu, Boyi Li, Yuner Zhang, Tianjiao Yu, Bingxuan Li, Houze Yang, Rushi Wang, Xu Cao

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对多模态大语言模型时序推理不足的问题，本文提出ChronoVision框架，引入Vbvr-VQA数据集，实验显示其在相关基准上取得最优性能。

Beyond Frame Selection: Rethinking Long-Video Understanding with MLLMs

超越帧选择：用多模态大语言模型重新思考长视频理解

Ziling Huang, Shin'ichi Satoh

机构 * National Institute of Informatics（信息学研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对 MLLMs 长视频理解的帧选择策略难以兼顾全局与局部信息的问题，提出 VideoRouter 模型，通过时间层次结构和验证引导路由器协调全局与局部推理，在 VideoMME 数据集上实现性能提升。

EffectLearner: World-Aware Object-Effect Reasoning for Real-World Video Object Removal

EffectLearner：面向真实世界视频物体移除的世界感知物体-效应推理

Feier Wu, Wanke Xia, Xu He, Zilang Zhou, Si Chen, Dongxia Liu, Liyang Chen, Qimeng Wu, Zhengbo Zhang, Wenming Yang, Zhiyong Wu

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 该研究提出EffectLearner框架，结合VLM物体-效应推理器与DiT视频擦除器，构建专属数据集EffectWorld并采用渐进式训练，在视频物体移除任务上实现更优性能。

Comments Project: https://morleyolsen.github.io/EffectLearner/

Beyond Static Forecasting: Unleashing the Power of World Models for Mobile Traffic Extrapolation

超越静态预测：利用世界模型进行移动交通外推

Xiaoqian Qi, Haoye Chai, Yue Wang, Yong Li

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出MobiWM世界模型，用于移动网络中的移动交通外推，通过融合多模态环境上下文和编码动作，提升空间理解，实验表明其在所有评估场景中均取得最佳分布保真度。

DARAD: Dual Adapters and Ranking-Aware Distillation for Continual Remote Sensing Image-Text Retrieval

DARAD：用于持续遥感图像-文本检索的双适配器与排序感知蒸馏框架

Xi Chen, Xu Chen, Xiangyang Jia, Wei Wang, Xu Zhang, Zhenyuan Sun

专题命中 跨模态检索 ：image-text(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对持续遥感图像-文本检索中跨模态对齐空间失真的问题，提出双适配器与排序感知蒸馏框架DARAD，通过双分支设计与双向排序蒸馏实现新数据适应性与历史数据有效性的平衡，性能优于现有持续学习方法。