视觉大模型 / VLM

Dynamic Cross-Modal Prompt Generation for Multimodal Continual Instruction Tuning

动态跨模态提示生成用于多模态持续指令微调

Tao Hu, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出DRAPE框架，通过生成连续实例特定的软提示提升多模态持续指令微调性能，采用跨模态注意力和投影梯度投影减少遗忘，实验显示优于现有基线方法。

FLARE: Full-Modality Long-Video Audiovisual Retrieval Benchmark with User-Simulated Queries

FLARE：全模态长视频音频视觉检索基准测试与用户模拟查询

Qijie You, Hao Liang, Mingrui Chen, Bohan Zeng, Meiyi Qiang, Zhenhao Wong, Wentao Zhang

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract_cn)

AI总结 FLARE基准测试通过全模态长视频和用户模拟查询，评估视频检索在多模态大语言模型中的表现，揭示用户查询对模型行为的影响及音频语言对齐的关键瓶颈。

VLA-GSE: Boosting Parameter-Efficient Fine-Tuning in VLA with Generalized and Specialized Experts

VLA-GSE: 提升VLA中基于通用和专用专家的参数高效微调

Yuhua Jiang, Junjie Lu, Xinyao Qin, Xiaoyu Chen, Kaixin Wang, Feifei Gao, Li Zhao

机构 * Microsoft Research Asia（微软亚洲研究院） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 VLA-GSE通过通用和专用专家机制提升VLA在机器人控制中的参数高效微调效果，保留预训练知识的同时提高适应能力，实验表明其在多个基准测试中表现优异。

PRISM: Exposing and Resolving Spurious Isolation in Federated Multimodal Continual Learning

PRISM：揭示并解决联邦多模态持续学习中的虚假隔离

Beining Wu, Zihao Ding, Jun Huang

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)

AI总结 本文提出PRISM方法，通过维护专家梯度子空间基底和重新解释MoE路由，解决联邦多模态持续学习中路由隔离失效、遗忘积累和梯度冲突问题，实验表明其在多个数据集上优于现有基线。

Comments submitted to IEEE

OceanPile: A Large-Scale Multimodal Ocean Corpus for Foundation Models

OceanPile：一个大规模多模态海洋语料库用于基础模型

Yida Xue, Ningyu Zhang, Tingwei Wu, Zhe Ma, Daxiong Ji, Zhao Wang, Guozhou Zheng, Huajun Chen

机构 * College of Computer Science and Technology, Zhejiang University, Hangzhou 310027, China（浙江大学计算机科学与技术学院） ； ZJU-Hangzhou Global Scientific and Technological Innovation Center, Hangzhou 311200, China（浙江大学杭州全球科技创新中心） ； School of Software Technology, Zhejiang University, Ningbo 315048, China（浙江大学软件学院） ； Ocean College, Zhejiang University, Zhoushan 316021, China（浙江大学海洋学院） ； State Key Laboratory of Ocean Sensing, Hangzhou 311200, China（杭州海洋传感国家重点实验室） ； Ocean Research Center of Zhoushan, Zhejiang University, Zhoushan 316021, China（舟山海洋研究中心） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出OceanPile，一个用于海洋基础模型的多模态语料库，整合了声呐数据、水下图像、海洋科学图像和科学文本，通过高质量指令数据集和评估基准提升海洋领域模型性能。

Comments Work in progress

Make Your LVLM KV Cache More Lightweight

使大型视觉-语言模型的KV缓存更轻量

Xihao Chen, Yangyang Guo, Roger Zimmermann

机构 * Integrative Sciences and Engineering Programme, National University of Singapore（国立新加坡大学整合科学与工程学程） ； School of Computing, National University of Singapore（国立新加坡大学计算机学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出LightKV方法，通过利用视觉token嵌入的冗余性，减少KV缓存大小，提升解码效率并降低GPU内存消耗。

Comments Accepted to Transactions on Machine Learning Research (TMLR), 2026

Membership Inference Attacks Against Video Large Language Models

针对视频大语言模型的成员推断攻击

Wei Song, Yuxin Cao, Ziqi Ding, Yi Liu, Gelei Deng, Yuekang Li

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)

AI总结 本文研究了针对视频大语言模型的黑盒成员推断攻击，通过温度扰动生成与视频感知难度特征结合，验证了视频大语言模型对隐私风险的脆弱性。

CHASM: Unveiling Covert Advertisements on Chinese Social Media

CHASM：揭示中国社交媒体上的隐蔽广告

Jingyi Zheng, Tianyi Hu, Yule Liu, Zhen Sun, Zongmin Zhang, Zifan Peng, Wenhan Dong, Xinlei He

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出CHASM数据集，用于评估多模态大语言模型在检测社交媒体隐蔽广告的能力，揭示当前模型在识别隐蔽广告中的不足及改进方向。

Comments NeuIPS 2025 (Datasets and Benchmarks Track)

Gated Coordination for Efficient Multi-Agent Collaboration in Minecraft Game

门控协调：Minecraft游戏中的高效多智能体协作

HuaDong Jian, Chenghao Li, Haoyu Wang, Jiajia Shuai, Jinyu Guo, Yang Yang, Chaoning Zhang

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)

AI总结 本文提出门控协调机制，通过分离私有状态与公共协调状态，减少通信噪声，提升多智能体在Minecraft中的协作效率与任务完成质量。

OpenGame: Open Agentic Coding for Games

OpenGame: 开源代理游戏开发

Yilei Jiang, Jinyuan Hu, Qianyin Xiao, Yaozhi Zheng, Ruize Ma, Kaituo Feng, Jiaming Han, Tianshuo Peng, Kaixuan Fan, Manyuan Zhang, Xiangyu Yue

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 OpenGame通过Game Skill和GameCoder-27B实现端到端网页游戏开发，解决跨文件不一致和逻辑不一致问题，建立新状态-of-the-art。

Comments OpenGame Report-v1

UniDomain: Pretraining a Unified PDDL Domain from Real-World Demonstrations for Generalizable Robot Task Planning

UniDomain：从真实世界演示中预训练一个统一的PDDL领域以实现可泛化的机器人任务规划

Haoming Ye, Yunxiao Xiao, Cewu Lu, Panpan Cai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)；grounding(abstract)

AI总结 UniDomain通过预训练统一的PDDL领域，结合机器人操作演示，实现可泛化的任务规划，实验显示其在零样本情况下任务成功率和计划优化度显著提升。

Comments Accepted at NeurIPS 2025

Journal ref Advances in Neural Information Processing Systems 38 (NeurIPS 2025)

MM-LIMA: Less Is More for Alignment in Multi-Modal Datasets

MM-LIMA：多模态数据集对齐中的‘少即是多’

Lai Wei, Xiaozhe Li, Zihao Jiang, Weiran Huang, Lichao Sun

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院） ； Shanghai Innovation Institute（上海创新研究院） ； Lehigh University（里海大学） ； Tongji University（同济大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出MM-LIMA，仅用200个示例（约6%的指令数据）训练，通过数据选择器过滤低质量数据，使模型在多项评估中超越MiniGPT-4，证明高质量少量指令数据的有效性。

Comments Published at Artificial Intelligence for Engineering

Mosaic: Cross-Modal Clustering for Efficient Video Understanding

Mosaic：用于高效视频理解的跨模态聚类

Tuowei Wang, He Zhou, Chengru Song, Qiushi Li, Ju Ren

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 Mosaic是首个针对流式长视频理解的跨模态聚类驱动VLM推理系统，通过优化KVCache管理实现1.38倍速度提升。

BiCLIP: Domain Canonicalization via Structured Geometric Transformation

BiCLIP：通过结构几何变换实现领域规范化

Pranav Mantini, Shishir K. Shah

机构 * University of Houston（休斯顿大学） ； The University of Oklahoma（俄克拉荷马大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 BiCLIP通过结构几何变换提升跨模态对齐，利用少量锚点样本实现领域规范化，实验表明其在11个基准测试中均取得最优性能。

Comments Accepted at Domain Generalization: Evolution, Breakthroughs, and Future Horizons Workshop at CVPR 2026

InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs

InfoTok: 基于信息理论的容量受限共享视觉标记化在统一多模态大语言模型中的应用

Lv Tang, Tianyi Zheng, Bo Li, Xingyu Li

机构 * University of Alberta（阿尔伯塔大学） ； vivo Mobile Communication Co., Ltd（维沃移动通信有限公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出InfoTok，一种基于信息瓶颈原理的信息正则化标记化机制，通过互信息约束平衡压缩与任务相关性，提升统一多模态大语言模型的图像理解和生成性能。

LVRPO: Language-Visual Alignment with GRPO for Multimodal Understanding and Generation

LVRPO：基于GRPO的语言-视觉对齐用于多模态理解和生成

Shentong Mo, Sukmin Yun

机构 * Department of Machine Learning, CMU, USA（卡内基梅隆大学机器学习系，美国） ； Department of Machine Learning, MBZUAI, UAE（穆罕默德·本·扎耶德人工智能大学机器学习系，阿联酋） ； Department of Artificial Intelligence, Hanyang University ERICA, South Korea（汉阳大学ERICA校区人工智能系，韩国） 纠错

专题命中 VLM训练与架构 ：visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出LVRPO框架，通过GRPO显式对齐语言和视觉表示，提升多模态理解和生成性能，无需辅助编码器或人工目标。

E0: Enhancing Generalization and Fine-Grained Control in VLA Models via Tweedie Discrete Diffusion

E0: 通过 Tweedie 离散扩散增强 VLA 模型的泛化能力与细粒度控制

Zhihao Zhan, Jiaying Zhou, Likui Zhang, Qinhan Lv, Hao Liu, Jusheng Zhang, Weizheng Li, Ziliang Chen, Tianshui Chen, Ruifeng Zhai, Keze Wang, Liang Lin, Guangrun Wang

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Laboratory of Big Data Analysis（广东大数据分析与处理重点实验室） ； X-Era AI Lab（X-Era人工智能实验室） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出 E0 框架，通过离散扩散方法提升 VLA 模型在多任务和多视角下的泛化能力，并实现精细可控的动作生成。

AdaptPNP: Integrating Prehensile and Non-Prehensile Skills for Adaptive Robotic Manipulation

AdaptPNP: 集成抓取与非抓取技能以实现适应性机器人操控

Jinxuan Zhu, Chenrui Tie, Xinyi Cao, Yuran Wang, Jingxiang Guo, Zixuan Chen, Haonan Chen, Junting Chen, Yangyu Xiao, Ruihai Wu, Lin Shao

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； RoboScience（机器人科学） ； East China Normal University（华东师范大学） ； Peking University（北京大学） ； Nanjing University（南京大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 本文提出AdaptPNP框架，通过视觉-语言模型整合抓取与非抓取技能，实现复杂机器人操控任务的规划与执行。

Journal ref ICRA 2026

Unified Spatio-Temporal Token Scoring for Efficient Video VLMs

统一的空间时间令牌评分用于高效的视频视觉-语言模型

Jianrui Zhang, Yue Yang, Rohun Tripathi, Winson Han, Ranjay Krishna, Christopher Clark, Yong Jae Lee, Sangho Lee

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Allen Institute for AI（人工智能研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出STTS，一种高效的统一空间时间令牌评分方法，通过辅助损失和LLM下游梯度学习，在不依赖文本条件或令牌合并的情况下，对视频中50%的视觉令牌进行修剪，提升训练和推理效率62%，性能下降仅0.7%。

Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness

基于概念引导的微调：引导ViT远离虚假相关性以提高鲁棒性

Yehonatan Elisha, Oren Barkan, Noam Koenigstein

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出一种引导模型推理至概念层面语义的微调框架，通过优化内部相关性映射对齐空间 grounded 的概念掩码，提升模型在分布偏移下的鲁棒性。

Comments CVPR 2026 ; Project page: https://yonisgit.github.io/concept-ft/

Towards Efficient Medical Reasoning with Minimal Fine-Tuning Data

面向最少微调数据的高效医疗推理

Xinlin Zhuang, Feilong Tang, Haolin Yang, Xiwei Liu, Ming Hu, Huifa Li, Haochen Xue, Junjun He, Zongyuan Ge, Yichen Li, Ying Qian, Imran Razzak

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 本文提出DIQ数据选择策略，通过平衡难度与梯度影响，提升医疗推理效率，实验证明仅用1%数据即可达到全数据表现，10%数据优于基线方法。

Comments Accepted by CVPR 2026

GUIDES: Guidance Using Instructor-Distilled Embeddings for Pre-trained Robot Policy Enhancement

GUIDES: 利用教师蒸馏嵌入进行预训练机器人策略增强

Minquan Gao, Xinyi Li, Qing Yan, Xiaojian Sun, Xiaopan Zhang, Chien-Ming Huang, Jiachen Li

机构 * University of California, Riverside（加州大学河滨分校） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 GUIDES通过教师蒸馏嵌入提升预训练机器人策略，实现语义增强与高效升级

Comments IEEE International Conference on Robotics and Automation (ICRA 2026)

RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning

RubiCap：基于评分标准的强化学习用于密集图像描述

Tzu-Heng Huang, Sirajul Salekin, Javier Movellan, Frederic Sala, Manjot Bilkhu

机构 * Apple（苹果公司） ； University of Wisconsin—Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 RubiCap通过基于评分标准的强化学习方法，在密集图像描述任务中实现了更高的胜率和词效，优于监督蒸馏和传统RL方法。

CDE: Concept-Driven Exploration for Reinforcement Learning

CDE：基于概念的强化学习探索

Le Mao, Andrew H. Liu, Renos Zabounidis, Yanan Niu, Zachary Kingston, Joseph Campbell

机构 * Department of Electrical and Computer Engineering, Purdue University（电子工程系，普渡大学） ； Department of Computer Science, Purdue University（计算机科学系，普渡大学） ； Robotics Institute, Carnegie Mellon University（机器人研究所，卡内基梅隆大学） ； Department of Management of Technology, EPFL（技术管理系，瑞士联邦理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 CDE通过利用预训练视觉-语言模型生成任务相关的视觉概念，提升强化学习中视觉任务的探索效率和鲁棒性。

Comments Preprint

ActivePose: Active 6D Object Pose Estimation and Tracking for Robotic Manipulation

ActivePose: 用于机器人操作的主动6D物体姿态估计与跟踪

Sheng Liu, Zhe Li, Weiheng Wang, Han Sun, Heng Zhang, Hongpeng Chen, Yusen Qin, Arash Ajoudani, Yizhao Wang

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Istituto Italiano di Tecnologia（意大利理工学院） ； The Hong Kong Polytechnic University（香港理工大学） ； D-Robotics（D-机器人） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 ActivePose通过结合视觉-语言模型与机器人想象力，实现主动6D物体姿态估计与跟踪，提升机器人操作的可靠性。

Comments 6D Pose, Diffusion Policy, Robot Learning

Critic in the Loop: A Tri-System VLA Framework for Robust Long-Horizon Manipulation

循环批评者：一种三系统VLA框架用于鲁棒的长周期操控

Pengfei Yi, Yingjie Ma, Wenjiang Xu, Yanan Hao, Shuai Gan, Wanting Li, Shanlin Zhong

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； the School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 循环批评者提出了一种三系统VLA框架，通过动态调度VLM和VLA实现鲁棒的长周期操控，提升系统在分布外场景的自主性和鲁棒性。

Topological Alignment of Shared Vision-Language Embedding Space

共享视觉-语言嵌入空间的拓扑对齐

Junwon You, Dasol Kang, Jae-Hun Jung

机构 * Department of Mathematics, POSTECH（POSTECH数学系） ； BootCamp, Google（Google BootCamp） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 ToMCLIP通过拓扑对齐方法提升多语言视觉-语言模型的结构一致性和零样本性能

Comments 27 pages, 5 figures, 24 tables

Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion

可扩展的多语言多模态机器翻译与语音-文本融合

Yexing Du, Youcheng Pan, Zekun Wang, Zheng Chu, Yichong Huang, Kaiyuan Liu, Bo Yang, Yang Xiang, Ming Liu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)

AI总结 本文提出一种语音引导的机器翻译框架，通过融合语音和文本提升多语言翻译性能，并在多个基准上取得新突破。

Comments Accepted in ICLR 2026

SFCo-Nav: Efficient Zero-Shot Visual Language Navigation via Collaboration of Slow LLM and Fast Attributed Graph Alignment

SFCo-Nav: 通过慢LLM与快速属性图对齐的协作实现高效的零样本视觉语言导航

Chaoran Xiong, Litao Wei, Xinhao Hu, Kehui Ma, Ziyi Xia, Zixin Jiang, Zhen Sun, Ling Pei

机构 * Shanghai Key Laboratory of Navigation and Location Based Services, Shanghai Jiao Tong University（上海导航与位置基于服务重点实验室，上海交通大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 SFCo-Nav通过慢LLM与快速属性图对齐的协作，实现了高效的零样本视觉语言导航，显著提升效率并降低计算成本。

Comments Accepted by 2026 IEEE International Conference on Robotics and Automation (ICRA)

DragFlow: Unleashing DiT Priors with Region Based Supervision for Drag Editing

DragFlow: 通过基于区域的监督释放DiT先验以实现拖拽编辑

Zihan Zhou, Shilin Lu, Shuli Leng, Shaocong Zhang, Zhuming Lian, Xinlei Yu, Adams Wai-Kin Kong

机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（国立新加坡大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 DragFlow通过基于区域的监督利用FLUX先验，改进基于拖拽的图像编辑效果，实现对点式和区域式基线的超越。

Comments Accepted by ICLR 2026