多模态大模型

Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs

级联稀疏自编码器在多模态大语言模型中学习多级视觉概念

Yusong Zhao, Hengyi Wang, Tanuja Ganu, Akshay Nambi, Hao Wang

机构 * Rutgers University（罗格斯大学） ； Microsoft Research（微软研究院） 纠错

专题命中 图文多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出级联稀疏自编码器（CSAEs），通过在第一级SAE解码器权重上训练第二级SAE来学习层次化视觉概念，避免嵌套或堆叠SAE的缺点，在多个MLLM和数据集上提升了概念层次一致性和干预效果。

Dual-branch Prompting for Multimodal Machine Translation

双分支提示用于多模态机器翻译

Jie Wang, Zhendong Yang, Liansong Zong, Xiaobo Zhang, Dexian Wang, Ji Zhang

机构 * School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院） ； School of Computer and Software Engineering, Xihua University（西华大学计算机与软件工程学院） ； School of Intelligent Medicine, Chengdu University of Traditional Chinese Medicine（成都中医药大学针灸推拿学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL

AI总结 提出基于扩散模型的双分支提示框架D2P-MMT，利用重建图像过滤视觉噪声，通过分布对齐损失提升鲁棒翻译性能。

Comments This manuscript has been fully accepted and published by ACM Transactions on Multimedia Computing, Communications, and Applications (ACM TOMM)

Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leakage?

受神经启发的多模态视觉-语言模型对成员推断隐私泄露是否具有弹性？

David Amebley, Sayanton Dibbo

机构 * The University of Alabama（阿拉巴马大学） ； Alabama Center for the Advancement of AI（阿拉巴马人工智能 advancement 中心） ； Trustworthy AI Lab（可信人工智能实验室） ； Department of Computer Science, The University of Alabama（计算机科学系） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 研究受神经启发的多模态视觉-语言模型（VLM）对基于图像-文本的成员推断攻击的弹性，提出拓扑正则化框架，实验表明神经VLM在保持模型效用同时显著降低攻击成功率。

Comments Accepted at USENIX WOOT '26

Unified Multimodal Model for Brain MRI Imputation and Understanding

统一多模态模型用于脑MRI补全与理解

Zhiyun Song, Che Liu, Tian Xia, Avinash Kori, Wenjia Bai

机构 * Department of Computing, Imperial College London（伦敦帝国理工学院计算机系） ； Department of Brain Sciences, Imperial College London（伦敦帝国理工学院脑科学系） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 提出UniBrain模型，通过统一训练策略联合处理脑MRI模态补全与图像理解，采用自对齐和动态隐藏状态机制，在多疾病数据集上实现高性能。

Comments Early accepted to MICCAI 2026

Cross-modal Identity Mapping: Minimizing Information Loss in Modality Conversion via Reinforcement Learning

跨模态身份映射：通过强化学习最小化模态转换中的信息损失

Haonan Jia, Shichao Dong, Xin Dong, Zenghui Sun, Jin Wang, Jinsong Lan, Xiaoyong Zhu, Bo Zheng, Kaifu Zhang

机构 * Taobao & Tmall Group of Alibaba（淘宝与天猫集团（阿里巴巴）） ； The University of Hong Kong（香港大学） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出跨模态身份映射（CIM）框架，利用强化学习优化图像描述，通过检索一致性度量信息损失，无需额外标注，显著提升关系推理能力。

Comments Accepted to CVPR 2026

Understanding Cross-Modal Contributions in Continual Vision-Language Models: A Theoretical Perspective

理解连续视觉-语言模型中的跨模态贡献：一个理论视角

Salimeh Sekeh, Mary Wisell

机构 * San Diego State University（圣地亚哥州立大学） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文从理论角度分析连续视觉-语言模型中跨模态（视觉-语言）贡献，提出新视角并通过实验验证其有效性，揭示任务顺序和相似性对贡献鲁棒性的影响，提升泛化性能。

Reasoning in Computer Vision: Taxonomy, Models, Tasks, and Methodologies

计算机视觉中的推理：分类、模型、任务与方法论

Ayushman Sarkar, Zhenyu Yu, Mohd Yamani Idna Idris

机构 * Department of Computer Science and Engineering, Birbhum Institute of Engineering and Technology（计算机科学与工程系，比罗尔理工学院） ； College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学） ； Faculty of Computer Science and Information Technology, Universiti Malaya（计算机科学与信息技术学院，马来亚大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 本文对计算机视觉中的推理进行系统分类，涵盖关系、符号、时间、因果和常识推理，并综述了从图模型到多模态大语言模型的实现方法及评估协议，指出开放挑战并设定未来研究方向。

Beyond English: Uncovering the Multilingual Gap in Vision-Language-Action Models

超越英语：揭示视觉-语言-动作模型中的多语言差距

Hanyang Chen, Hongliang Li, Jiarui Cao, Yang Li, Yang Jiang, Haonan Wen, Kaiyu Huang, Shengnan Guo, Huaiyu Wan

机构 * Beijing Jiaotong University（北京交通大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本研究首次系统探究VLA模型的多语言指令跟随能力，发现英语训练模型在其他语言上性能显著下降，并提出多语言主成分对齐方法缩小差距。

FrameOracle: Learning What to See and How Much to See in Videos

FrameOracle: 学习在视频中看什么以及看多少

Chaoyu Li, Tianzhi Li, Fei Tao, Zhenyu Zhao, Ziqian Wu, Maozheng Zhao, Juntong Song, Cheng Niu, Pooyan Fazli

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出FrameOracle轻量模块，预测相关帧及其数量，通过课程学习从弱代理信号到强监督，在多个VLM和基准上以更少帧数保持或提升精度。

Comments ICML 2026. Project page: https://people-robots.github.io/frameoracle/

SAMTok: Representing Any Mask with Two Words

SAMTok: 用两个词表示任意掩码

Yikang Zhou, Tao Zhang, Dengxian Gong, Yuanzheng Wu, Ye Tian, Haochen Wang, Haobo Yuan, Jiacong Wang, Lu Qi, Hao Fei, Anran Wang, Zhuochen Wang, Yujing Wang, Cheng Chen, Shunping Ji, Xiangtai Li

机构 * Wuhan University（武汉大学） ； ByteDance（字节跳动） ； NUS（新加坡国立大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出离散掩码分词器SAMTok，将区域掩码转化为两个特殊标记，通过标准下一标记预测和简单强化学习使基础多模态大模型获得像素级能力，在多项任务上达到最先进水平。

Comments CVPR 2026 Highlight