视觉大模型 / VLM

TOPS: First-Principles Visual Token Pruning via Constructing Token Optimal Preservation Sets for Efficient MLLM Inference

TOPS：通过构建令牌最优保留集实现高效多模态大语言模型推理的第一性原理视觉令牌剪枝

Tinghao Wang, Yichen Guo, Rui Huang, Zheng Lu, Qizhe Zhang, Chenxi Li, Yuan Zhang, Jiajun Cao, Zhirong Shen, Yaosong Du, Guangyan Gan, Wenya Wang, Lin William Cong, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； University of Electronic Science and Technology of China（电子科技大学） ； Nanyang Technological University（南洋理工大学） ； Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；LLaVA(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 提出TOPS方法，基于信息论分析确立任务相关性、信息覆盖和语义多样性三大原则，无训练且模型无关地剪枝视觉令牌，在LLaVA-NeXT上剪除77.8%令牌仍保持甚至提升性能。

Comments 27 pages, 18 figures

RMTL: Reinforced Micro-task Learning for Long-Horizon Manipulation with VLM Rewards

RMTL: 基于强化微任务学习与VLM奖励的长时域操作

Anıl Can Ateş, Orhan Kahraman, Cihan Topal

机构 * Istanbul Technical University（伊斯坦布尔理工大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)

AI总结 针对长时域操作中单提示VLM奖励信号稀疏的问题，提出RMTL方法，将任务分解为语言描述的微任务，通过多视角VLM奖励和反向课程学习加速训练，并学习层次化策略切换微任务。

Comments 16 pages, 11 figures

GenRecal: Generation after Recalibration from Large to Small Vision-Language Models

GenRecal：从大到小视觉语言模型的校准后生成

Byung-Kwan Lee, Ryo Hachiuma, Yong Man Ro, Yu-Chiang Frank Wang, Yueh-Hua Wu

机构 * NVIDIA ； KAIST（韩国成均馆大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)

AI总结 提出GenRecal通用蒸馏框架，通过校准器对齐异构VLM特征，实现从大到小模型的有效知识迁移，在多个基准上超越大规模开源和闭源VLM。

Comments Project page: https://byungkwanlee.github.io/GenRecal-page/

CheXanatomy: Anatomy-Aware Vision-Language Modeling for Chest Radiographs

CheXanatomy: 面向胸部X光片的解剖感知视觉-语言建模

Sergios Gatidis, Curtis Langlotz, Christian Bluethgen

机构 * Stanford Center for Artificial Intelligence in Medicine and Imaging, Stanford University（斯坦福大学医学与影像人工智能中心） ； Department of Radiology, Stanford University（斯坦福大学放射学系） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出CheXanatomy框架，通过自回归令牌空间监督将解剖知识融入预训练视觉-语言模型，实现解剖分割，在合成和真实X光片上性能媲美U-Net，并提升域迁移鲁棒性和样本效率。

MedPruner: Training-Free Hierarchical Token Pruning for Efficient 3D Medical Image Understanding in Vision-Language Models

MedPruner: 面向高效3D医学图像理解的免训练层次化令牌剪枝框架

Shengyuan Liu, Zanting Ye, Yunrui Lin, Chen Hu, Wanting Geng, Xu Han, Bulat Ibragimov, Yefeng Zheng, Yixuan Yuan

机构 * Chinese University of Hong Kong（香港中文大学） ； Westlake University（西湖大学） ； Southern Medical University（南方医科大学） ； Jiangnan University（江南大学） ； Dalian University of Technology（大连理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出MedPruner，一种免训练、模型无关的层次化令牌剪枝框架，通过帧间锚点过滤和动态信息核选择，在保留不到5%视觉令牌时保持甚至提升模型性能，显著降低计算开销。

Comments 11 pages

AIDEN: Design and Pilot Study of an AI Assistant for the Visually Impaired

AIDEN：面向视障人士的AI助手设计与初步研究

Luis Marquez-Carpintero, Francisco Gomez-Donoso, Zuria Bauer, Bessie Dominguez-Dager, Alvaro Belmonte-Baeza, Mónica Pina-Navarro, Francisco Morillas-Espejo, Felix Escalona, Miguel Cazorla

机构 * Institute for Computer Research, University of Alicante（计算机研究所，阿利坎特大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；分类 cs.CV

AI总结 提出AIDEN系统，结合YOLO实时目标检测、LLaVA场景描述与OCR，以及基于盖革计数器隐喻的连续触觉引导，避免听觉过载并保护隐私，实验表明用户满意度高。

Journal ref IEEE Access 14 (2026) 80406-80420

ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP

ReasonCLIP-58M: CLIP的视觉基础常识推理监督

Sicheng Zhang, Muzammal Naseer, Binzhu Xie, Naufal Suryanto, Shi Qiu, Jamal Bentahar, Naveed Akhtar, Mubarak Shah

机构 * Khalifa University（卡利法大学） ； University of Western Australia（西澳大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Melbourne（墨尔本大学） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出ReasonCLIP-58M框架，通过两阶段策略将大规模推理监督集成到CLIP模型中，构建ReasonLite-42M和ReasonPro-16M数据集及RCLIP-Bench基准，提升视觉基础常识推理和零样本检索性能。

Comments Accepted to ECCV2026

VisNec: Measuring and Leveraging Visual Necessity for Multimodal Instruction Tuning

VisNec: 衡量和利用视觉必要性进行多模态指令微调

Mingkang Dong, Hongyi Cai, Jie Li, Sifan Zhou, Bin Ren, Kunyu Peng, Yuqian Fu

机构 * SJTU（上海交通大学） ； Universiti Malaya（马来亚大学） ； CMU（卡内基梅隆大学） ； MBZUAI（穆萨台普大学人工智能研究所） ； KIT（卡尔斯鲁厄理工学院） ； KAUST（王国立阿联酋科学技术大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 提出VisNec分数衡量视觉输入在多模态指令微调中的边际贡献，结合语义聚类选择高必要性样本，在15%数据上达到全数据性能的100.2%。

Comments Accepted at ECCV 2026. Project Page: https://dmk041218.github.io/VisNec/

Solving Semi-Supervised Few-Shot Learning from an Auto-Annotation Perspective

从自动标注视角解决半监督少样本学习

Tian Liu, Anwesha Basu, James Caverlee, Shu Kong

机构 * Texas A\&M University（德克萨斯A&M大学） ； University of Macau（澳门大学） ； Institute of Collaborative Innovation（协同创新研究院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出SWIFT方法，通过温度锐化softmax输出和分阶段训练，利用视觉语言模型和开放数据，在半监督少样本学习中显著提升性能，接近监督学习水平。

Comments Accepted to ECCV 2026. Website and code: https://tian1327.github.io/SWIFT

Generating a Paracosm for Training-Free Zero-Shot Composed Image Retrieval

生成一个Paracosm用于免训练零样本组合图像检索

Tong Wang, Yunhan Zhao, Shu Kong

机构 * University of Macau（澳门大学） ； UC Irvine（伊丽莎白女王大学） ； Institute of Collaborative Innovation（协同创新研究院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出Paracosm方法，通过大多模态模型直接生成“心理图像”并构建合成域，实现免训练的零样本组合图像检索，在多个基准上达到最优性能。

Comments Accepted to ECCV 2026. Website and code: https://leowangtong.github.io/Paracosm/

PathFLIP: Fine-grained Language-Image Pretraining for Versatile Computational Pathology

PathFLIP：面向多功能计算病理学的细粒度语言-图像预训练

Fengchun Liu, Songhan Jiang, Linghan Cai, Ziyue Wang, Yongbing Zhang

机构 * Harbin Institute of Technology, Shenzhen, School of Computer Science and Technology（哈尔滨工业大学（深圳）计算机科学与技术学院） ； National University of Singapore, Department of Electronic and Computer Engineering（新加坡国立大学电子与计算机工程系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；grounding(abstract)；分类 cs.CV

AI总结 提出PathFLIP框架，通过将幻灯片级描述分解为区域级子描述并生成文本条件区域嵌入，实现细粒度视觉-语言对齐，在多个基准上优于现有模型且训练数据更少。

Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy

推进全模态具身智能体：从孤立技能到日常物理自主

Junhao Shi, Zezheng Huai, Siyin Wang, Jia Chen, Yubang Wang, Zhaoye Fei, Hechang Chen, Jingjing Gong, Xipeng Qiu, Yu-Gang Jiang

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出OmniAct框架，通过分层异步架构统一规划、记忆和验证，实现机器人在非结构化环境中的持久自主，在40项真实任务中提升成功率并降低token消耗。