视觉大模型 / VLM

RADIO1D: Elastic Representations for Condensed Vision Modeling

RADIO1D：用于压缩视觉建模的弹性表示

Greg Heinrich, Mike Ranzinger, Collin McCarthy, Natan Bagrov, Eugene Khvedchenya, Bryan Catanzaro, Jan Kautz, Andrew Tao, Pavlo Molchanov

机构 * NVIDIA（英伟达） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 挑战视觉语言模型需固定基于补丁的2D视觉特征的假设，分析微调视觉编码器，基于发现引入RADIO1D，用多教师知识蒸馏等将图像压缩成1D令牌序列，有强分层总结能力，在多模态基准测试中有优势。

Comments Published as main conference paper at ICML 2026

HiPath: Hierarchical Vision-Language Alignment for Structured Pathology Report Prediction

HiPath: 用于结构化病理报告预测的分层视觉-语言对齐

Ruicheng Yuan, Zhenxuan Zhang, Anbang Wang, Liwei Hu, Xiangqian Hua, Yaya Peng, Jiawei Luo, Guang Yang

机构 * College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； Department of Bioengineering and Imperial-X, Imperial College London（帝国理工学院伦敦校区生物工程系） ； Department of Pathology, Xiangtan Maternal and Child Health Hospital（湘潭 maternal and child health hospital pathology department） ； Department of Pathology, The First People’s Hospital of Xiangtan City（湘潭市第一人民医院病理科） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出HiPath框架，通过分层补丁聚合器、对比学习和槽位掩码诊断预测，在冻结UNI2和Qwen3骨干上实现结构化病理报告预测，准确率达68.9%，安全率97.3%。

Comments 10 pages, 1 figures, 3 tables

Semantic Browsing: Controllable Diversity for Image Generation

语义浏览：图像生成的可控多样性

Sara Dorfman, Maya Vishnevsky, Omer Dahary, Or Patashnik, Daniel Cohen-Or

机构 * Tel Aviv University（特拉维夫大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 针对文本到图像模型生成多样性不足且缺乏语义结构的问题，提出一种在文本层面引入多样性的方法，通过视觉语言模型和代理工作流实现用户可导航的语义变化空间。

Comments ECCV 2026. Project page: https://saradorfman1.github.io/SemanticBrowsing-webpage/

Semantic search for 100M+ galaxy images using AI-generated captions

基于AI生成描述的1亿+星系图像语义搜索

Nolan Koblischke, Liam Parker, Francois Lanusse, Jo Bovy, Irina Espejo, Shirley Ho

机构 * New York University（纽约大学） ； University of Toronto（多伦多大学） ； Dunlap Institute for Astronomy & Astrophysics（达伦普天文与天体物理研究所） ； University of California, Berkeley（加州大学伯克利分校） ； Center for Data Science（数据科学中心） ； Lawrence Berkeley National Lab（伯克利国家实验室） ； Flatiron Institute（Flatiron研究所） ； Université Paris-Saclay（巴黎-萨克莱大学） ； CEA（法国原子能委员会） ； CNRS（法国国家科学研究中心） ； AIM（应用数学研究所） ； Princeton University（普林斯顿大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出利用视觉语言模型生成星系图像描述，并对比对齐预训练天文学基础模型，构建可搜索嵌入，实现大规模星系图像的语义搜索，在稀有现象发现上取得最先进性能。

Comments ApJ, in press

Stage-1 Controls the Entropy Regime, Not the Outcome

Stage-1 控制熵状态，而非最终结果

Jianxiong Shen

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文通过小数据实验研究两阶段后训练中Stage-1（SFT或OPD）的作用，发现其主要影响策略熵状态，但对最终性能影响有限。

VESTA: Visual Exploration with Statistical Tool Agents

VESTA: 基于统计工具代理的视觉探索

William Rudman, Abhishek Divekar, Kanishk Jain, Sebastian Joseph, Stella S. R. Offner, Matthew Lease, Kyle Mahowald, Greg Durrett, Junyi Jessy Li

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； New York University（纽约大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出VESTA框架，通过动态增长的工具集指导数据变换、假设驱动可视化和统计检验，提升视觉语言模型在复杂统计建模任务上的性能。

Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillation

Vision-OPD：通过在线策略自蒸馏学习多模态大语言模型的精细细节

Qianhao Yuan, Jie Lou, Xing Yu, Hongyu Lin, Le Sun, Xianpei Han, Yaojie Lu

机构 * Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出Vision-OPD框架，通过在线策略自蒸馏将模型自身的局部区域感知能力迁移到全局图像策略，提升多模态大语言模型对细粒度视觉理解的准确性。

Comments Project page: https://github.com/VisionOPD/Vision-OPD

Task-conditioned probing of instruction-tuned multimodal LLMs: Region-specific brain alignment patterns under naturalistic stimuli

基于任务的指令调制多模态大语言模型探测：在自然主义刺激下的区域特定大脑对齐模式

Subba Reddy Oota, Khushbu Pahwa, Prachi Jindal, Satya Sai Srinath Namburi, Maneesh Singh, Tanmoy Chakraborty, Bapi S. Raju, Manish Gupta

机构 * Technische Universität Berlin（柏林技术大学） ； Rice University（Rice 大学） ； AWS AI Labs, Amazon（Amazon 人工智能实验室） ； IIT Delhi（德里理工学院） ； University of Wisconsin - Madison（威斯康星大学麦迪逊分校） ； Spector Inc（Spector 公司） ； IIIT-Hyderabad（海得拉巴理工学院） ； Microsoft（微软） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究探讨了指令调制多模态大语言模型在自然主义刺激下的大脑对齐模式，通过比较不同模型在视频和音频任务中的表现，揭示了指令调制对模型表示能力的影响。

Comments 57 pages, 39 figures

CATA: Continual Machine Unlearning via Conflict-Averse Task Arithmetic

CATA: 通过冲突厌恶任务算术实现持续机器去学习

Shen Lin, Junhao Dong, Rongjie Chen, Xiaoyu Zhang, Li Xu, Xiaofeng Chen

机构 * Fujian Normal University（福建师范大学） ； Nanyang Technological University（南洋理工大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文首次研究了视觉语言模型的持续去学习问题，提出CATA方法，通过冲突厌恶任务算术有效解决去学习中的有效性、模型保真度和持续性挑战。

Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers

你的CLIP有164个噪声维度：探索对比性预训练视觉-语言变换器的嵌入协方差特征谱

Jakub Grzywaczewski, Dawid Płudowski, Przemysław Biecek

机构 * Warsaw University of Technology（华沙技术大学） ； Centre for Credible Artificial Intelligence（可信人工智能中心） ； University of Warsaw（华沙大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文通过协方差矩阵谱分解，揭示对比预训练VLMs的潜在空间中多模态噪声结构，发现去除共享噪声维度对下游任务性能无害，提供对现代VLMs表征结构的新见解。

STARE: Step-wise Temporal Alignment and Red-teaming Engine for Multi-modal Toxicity Attack

STARE：分步时间对齐与红队引擎用于多模态毒性攻击

Xutao Mao, Liangjie Zhao, Tao Liu, Xiang Zheng, Hongying Zan, Cong Wang

专题命中 VLM训练与架构 ：vision-language model(abstract,abstract_cn)；VLM(abstract,abstract_cn)

AI总结 STARE通过分步时间对齐和红队引擎，提升多模态毒性攻击的成功率，揭示优化诱导的相位对齐现象，为安全机制提供理论基础。

Comments ICML 2026

PhyCo: Learning Controllable Physical Priors for Generative Motion

PhyCo：学习可控制的物理先验以生成运动

Sriram Narayanan, Ziyu Jiang, Srinivasa Narasimhan, Manmohan Chandraker

机构 * Carnegie Mellon University（卡内基梅隆大学） ； NEC Labs America（NEC美国实验室） ； UC San Diego（圣地亚哥大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 PhyCo通过整合物理可控的生成模型，实现了在视频生成中物理一致性和可控性的提升，无需模拟器或几何重建。

Comments CVPR 2026. Project Page: https://phyco-video.github.io/

EmbodiedLGR: Integrating Lightweight Graph Representation and Retrieval for Semantic-Spatial Memory in Robotic Agents

EmbodiedLGR：整合轻量级图表示与检索用于机器人代理中的语义-空间记忆

Paolo Riva, Leonardo Gargani, Matteo Frosi, Matteo Matteucci

机构 * Department of Electronics, Information, and Bioengineering (DEIB), Politecnico di Milano（电子、信息与生物工程系（DEIB），米兰理工大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)

AI总结 本文提出EmbodiedLGR-Agent，通过参数高效VLM构建语义-空间记忆，实现高效的环境记忆表示与检索，实验证明其在推理和查询时间上达到SOTA，且在实际部署中表现出良好的实用性。

Comments 8 pages, 3 figures

Stepwise Schema-Guided Prompting Framework with Parameter Efficient Instruction Tuning for Multimedia Event Extraction

分步模式引导提示框架与参数高效指令微调用于多模态事件提取

Xiang Yuan, Xinrong Chen, Haochen Li, Hang Yang, Guanyu Wang, Weiping Li, Tong Mo

专题命中 VLM训练与架构 ：LLaVA(abstract)；grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)

AI总结 本文提出分步模式引导提示框架与参数高效指令微调方法，用于提升多模态事件提取任务的性能。

Comments Accepted by 2025 IEEE International Conference on Multimedia and Expo

Towards Visuospatial Cognition via Hierarchical Fusion of Visual Experts

Qi Feng

机构 * Kyoto University（京都大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 26 pages, 19 figures, 4 tables

INS-MMBench: A Comprehensive Benchmark for Evaluating LVLMs' Performance in Insurance

Chenwei Lin, Hanjia Lyu, Xian Xu, Jiebo Luo

机构 * School of Computer Science Fudan University（复旦大学计算机科学学院） ； Department of Computer Science University of Rochester（罗切斯特大学计算机科学系） ； School of Economics Fudan University（复旦大学经济学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments To appear in the International Conference on Computer Vision, ICCV 2025

Token Activation Map to Visually Explain Multimodal LLMs

Yi Li, Hualiang Wang, Xinpeng Ding, Haonan Wang, Xiaomeng Li

专题命中 VLM训练与架构 ：visual reasoning(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments ICCV2025 Accepted

TRAVEL: Training-Free Retrieval and Alignment for Vision-and-Language Navigation

Navid Rajabi, Jana Kosecka

机构 * George Mason University（乔治·马歇尔大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted to CVPR 2025 Workshop - Foundation Models Meet Embodied Agents

EACO: Enhancing Alignment in Multimodal LLMs via Critical Observation

Yongxin Wang, Meng Cao, Haokun Lin, Mingfei Han, Liang Ma, Jin Jiang, Yuhao Cheng, Xiaodan Liang

专题命中 VLM训练与架构 ：LLaVA(abstract)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 19 pages

NVLM: Open Frontier-Class Multimodal LLMs

Wenliang Dai, Nayeon Lee, Boxin Wang, Zhuolin Yang, Zihan Liu, Jon Barker, Tuomas Rintamaki, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

专题命中 VLM训练与架构 ：LLaVA(abstract)；InternVL(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Fixed the typos. For more information, please visit our project page at: https://research.nvidia.com/labs/adlr/NVLM-1

Self-Supervised Visual Preference Alignment

Ke Zhu, Zheng Ge, Liang Zhao, Xiangyu Zhang

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments MM2024 oral

Honeybee: Locality-enhanced Projector for Multimodal LLM

Junbum Cha, Wooyoung Kang, Jonghwan Mun, Byungseok Roh

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments CVPR 2024 camera-ready

Multimodal LLMs as Customized Reward Models for Text-to-Image Generation

Shijie Zhou, Ruiyi Zhang, Huaisheng Zhu, Branislav Kveton, Yufan Zhou, Jiuxiang Gu, Jian Chen, Changyou Chen

机构 * University at Buffalo（布法罗大学） ； Adobe Research（Adobe研究） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,comments)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments Accepted at ICCV 2025. Code available at https://github.com/sjz5202/LLaVA-Reward

NAST: Improving Negation Handling in Medical Vision-Language Models through Negation-Aware Selective Training

针对医学视觉-语言模型中否定处理改进的分层微调

Ali Abbasi, Mehdi Taghipour, Rahmatollah Beheshti

机构 * University of Delaware（德克萨斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本研究提出NAST方法，通过因果追溯效应调节逐层梯度更新，提升医学视觉-语言模型对否定处理的识别能力，同时保持一般视觉-语言对齐。

Comments 16 pages, 6 figures. Accepted to MLHC 2026

ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models

ZOMP：面向视觉-语言模型的零阶多模态提示调优

Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

机构 * UC Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出ZOMP方法，通过跨模态低秩重参数化等技术，在仅前向传递的条件下高效调优CLIP模型，在13个基准上优于现有无反向传播的提示调优方法，泛化能力更强。

SlimVLM: Sensitivity-aware Dynamic Structured Pruning with Adaptive Visual Token Selection for Efficient Vision-Language Models

SlimVLM：面向高效视觉-语言模型的感知敏感性动态结构化剪枝与自适应视觉token选择

Yaozhi Wen, Jialong Guo, Zhenliang Ni, Han Shu, Xinghao Chen

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 SlimVLM是一种结构化剪枝框架，通过自适应视觉token选择和感知敏感性动态剪枝机制，在压缩视觉-语言模型的同时保持性能，在多模态基准测试中达到最优。

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

SepPrune：一种基于分隔符的高效多模态大语言模型剪枝框架

Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

机构 * University of Science and Technology of China（中国科学技术大学） ； ChangXin Memory Technologies（长鑫存储技术有限公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 针对多模态大语言模型视觉令牌计算成本高的问题，提出SepPrune剪枝方法，以模态分隔符令牌为统一查询来排序和选择视觉令牌，复用内置投影参数，无需架构更改，在Qwen2.5-VL-7B上实验取得最优性能。

RP-OPSD: Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models

RP - OPSD：用于多模态大语言模型的分辨率特权在线自蒸馏

Qihui Zhu, Yuchen Wang, Zijian Wen, Tao Zhang, Mengjie Zhang, Yang Liu, Shuangwu Chen, Siying Wu, Jian Yang, Xiaofeng Jiang

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型在线自蒸馏问题，利用同一图像高低分辨率视图信息差提出RP - OPSD，学生策略用低分辨率图像生成轨迹，教师策略用原始分辨率图像监督，实验表明该方法能提升性能并加快训练速度，为在线自蒸馏提供有效途径。

When Sinks Help or Hurt: Unified Framework for Attention Sink in Large Vision-Language Models

当汇点帮助或伤害：面向大视觉-语言模型的注意力汇点统一框架

Jiho Choi, Jaemin Kim, Sanghwan Kim, Seunghoon Hong, Jin-Hwi Park

机构 * KAIST（韩国科学技术院） ； Chung-Ang University（中央大学） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文研究了大视觉-语言模型中注意力汇点的影响，提出统一框架分析其作为冗余 artifacts 或全局先验的作用，并通过 Layer-wise Sink Gating 模块平衡全局推理与局部证据。

Comments Acknowledgments updated

Searching for Task-Specific Vision Paths: Evolutionary Block Pruning Across Vision-Language Models

寻找特定任务的视觉路径：跨视觉语言模型的进化块剪枝

Tarun Tomar

机构 * IIIT（国际信息技术研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究视觉语言模型中能否跳过固定预算视觉块组合，引入源平衡进化搜索并与其他方法比较，实验表明组合搜索可改进路由构建，但能力标签不能定义普遍可转移视觉路径，搜索能跨架构转移，能力专业化稳定性欠佳。

Comments 14 pages, 8 figures. Code and aggregate evidence: https://github.com/TarunTomar122/vision-pathways