多模态信息融合

Event-VLA: Action-Conditioned Event Fusion for Robust Vision-Language-Action Model

Event-VLA: 基于动作条件的事件融合用于鲁棒的视觉-语言-动作模型

Jiaxin Liu, Xun Xu, Zhenhao Zhang, Hanqing Wang, Ruiqi Chen, Shi Chang, Weiyu Guo, Laurent Kneip

专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)；分类 cs.CV、cs.RO

AI总结 针对现有VLA模型在光照变化下鲁棒性不足的问题，提出Event-VLA框架，通过事件流作为光照鲁棒的运动敏感互补观测，利用动作查询路由和门控交叉注意力融合事件信息，提升低光及近黑暗环境下的操作成功率。

CMTFormer: Marrying Transformer with Hierarchical Information Interaction for RGB-Event Object Detection

CMTFormer：融合Transformer与层次化信息交互的RGB-事件目标检测

Yu Li, Yuenan Hou, Yingmei Wei, Jiangming Chen, Yanming Guo

专题命中 音视频/视觉语言融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 提出CMTFormer，通过浅层对齐、中层增强和深层可学习融合的层次化交互机制，有效融合RGB帧与事件流，在DSEC-Detection和PKU-DAVIS-SOD基准上超越现有方法。

Comments 15 pages

CrossWeaver: Cross-modal Weaving for Arbitrary-Modality Semantic Segmentation

CrossWeaver：跨模态编织用于任意模态语义分割

Zelin Zhang, Kedi Li, Huiqi Liang, Chuanzhi Xu, Tao Zhang, Weidong Cai

机构 * The University of Sydney（悉尼大学） ； University of Technology Sydney（悉尼科技大学） 纠错

专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出CrossWeaver框架，通过Modality Interaction Block和Seam-Aligned Fusion模块实现高效跨模态融合，在多模态语义分割中取得最佳性能。

LaVPR: Benchmarking Language and Vision for Place Recognition

LaVPR：语言与视觉用于位置识别的基准测试

Ofer Idan, Dan Badur, Yosi Keller, Yoli Shavit

专题命中 音视频/视觉语言融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 LaVPR通过引入超过65万条自然语言描述扩展现有VPR数据集，研究多模态融合与跨模态检索，证明语言描述在视觉退化条件下提升性能，尤其对小模型效果显著。

Comments Accepted to ECCV