多模态大模型

Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality

跨模态掩码组合概念建模以增强视觉-语言组合性

Wei Li, Zhen Huang, Xinmei Tian

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（中国科学技术大学，教育部脑启发智能感知与认知重点实验室） ； Independent Researcher（独立研究员） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出MACCO框架，通过掩码一个模态的组合概念并从另一模态完整上下文重建，增强视觉-语言模型的组合理解能力，在五个基准上显著提升。

Comments Accepted to ACL 2026 Main Conference, 25 pages

Decoding the Multimodal Maze: A Systematic Review on the Adoption of Explainability in Multimodal Attention-based Models

解码多模态迷宫：多模态注意力模型中可解释性采纳的系统综述

Md Raisul Kibria, Sébastien Lafond, Janan Arslan

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文系统综述了2020年至2024年初多模态模型可解释性研究，发现多数工作集中于视觉-语言和纯语言模型，注意力机制是主要解释方法，但评估缺乏系统性和鲁棒性，并提出了改进建议。

GeoWorld-VLM: Geometry from World Models for Vision-Language Models

GeoWorld-VLM：从世界模型中获取几何结构用于视觉-语言模型

Renjie Gu, Kaichen Zhou, Yan Luo, Mengyu Wang

机构 * Harvard AI and Robotics Lab（哈佛人工智能与机器人实验室） ； Kempner Institute for the Study of Natural and Artificial Intelligence（凯普纳自然与人工智能研究 institute） ； Harvard University（哈佛大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 GeoWorld-VLM通过将冻结的摄像机条件视频世界模型的几何结构转移到视觉-语言模型中，提升空间关系推理能力，实验显示在两个不同架构上均提升了约4%的性能。

ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding

ReFoCUS: 用于上下文理解的强化引导帧优化

Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

机构 * Korea Advanced Institute of Science & Technology（韩国科学技术院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出ReFoCUS框架，首次将在线策略梯度强化学习集成到视频大语言模型的帧级优化中，通过自回归和查询条件选择架构学习帧选择策略，无需显式帧级监督，提升视频问答推理准确性。

Comments Project page: https://interlive-team.github.io/ReFoCUS/

Multi-Label Test-Time Adaptation with Bayesian Conditional Priors

基于贝叶斯条件先验的多标签测试时自适应

Qiru Li, Ao Zhou, Zhiwei Jiang, Zifeng Cheng, Cong Wang, Yafeng Yin, Qing Gu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 提出贝叶斯条件先验估计（BCP），一种无梯度的测试时自适应方法，通过在线估计锚定条件先验注入标签依赖性，提升冻结视觉语言模型在多标签识别中的分布偏移鲁棒性。

Comments accepted by ICML2026

Modality-Aware Feature Matching in Visual and Vision-Language Applications: A Comprehensive Survey

视觉与视觉-语言应用中的模态感知特征匹配：全面综述

Weide Liu, Wei Zhou, Jun Liu, Ping Hu, Jun Cheng, Jungong Han, Weisi Lin

机构 * School of Computing and Artificial Intelligence, Jiangxi University of Finance and Economics（江西财经大学计算机与人工智能学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院） ； School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院） ； School of Computing and Communications, Lancaster University（兰卡斯特大学计算机与通讯学院） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； Institute for Infocomm Research, Agency for Science, Technology and Research (A*STAR)（新加坡资讯研究院，科技研究局（A*STAR）） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 综述基于模态的特征匹配，涵盖传统手工方法和现代深度学习方法，重点讨论跨RGB、深度、3D点云、LiDAR、医学图像及视觉-语言模态的进展，突出模态感知技术。

Comments CSUR

GIVE: Grounding Human Gestures in Vision-Language-Action Models

GIVE：在视觉-语言-动作模型中接地人类手势

Pengfei Liu, Gen Li, Junqiao Fan, Boyu Ma, Jindou Jia, Yang Xiao, Jianfei Yang

机构 * MARS Lab, Nanyang Technological University（南洋理工大学MARS实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 针对VLA模型忽略手势导致意图理解不准的问题，提出GIVE方法，通过视觉和语义双路径增强手势理解，在真实HRI实验中目标识别准确率提升40%，任务成功率提升80%。

Comments Project page: https://luis-cloud-sg.github.io/GIVE-project/

Safety Case Patterns for VLA-based driving systems: Insights from SimLingo

基于VLA的驾驶系统的安全案例模式：来自SimLingo的见解

Gerhard Yu, Fuyuki Ishikawa, Oluwafemi Odu, Alvine Boaye Belle

机构 * York University（约克大学） ； National Institute of Informatics（国家信息研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 针对VLA驾驶系统提出RAISE安全案例设计方法，通过扩展HARA和定制模式，结合SimLingo案例验证其构建基于证据的安全声明的有效性。