视觉大模型 / VLM

LLaVA-CKD: Bottom-Up Cascaded Knowledge Distillation for Vision-Language Models

LLaVA-CKD: 从下至上级联知识蒸馏用于视觉-语言模型

Nikolaos Gkalelis, Vasileios Mezaris

机构 * CERTH-ITI 纠错

专题命中 VLM训练与架构 ：LLaVA(title,title_cn)；vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LLaVA-CKD框架，通过级联知识蒸馏提升视觉-语言模型效率，通过中间容量教师模型逐步提升学生模型性能，并在七个VQA基准上验证了其最优性能。

Comments Under review

Where Reliability Lives in Vision-Language Models: A Mechanistic Study of Attention, Hidden States, and Causal Circuits

在视觉-语言模型中可靠性在哪里存在：注意力、隐藏状态和因果回路的机制研究

Logan Mann, Ajit Saravanan, Ishan Dave, Shikhar Shiromani, Saadullah Ismail, Yi Xia, Emily Huang

机构 * UC Santa Barbara（加州大学圣巴巴拉分校） ； UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） ； Algoverse AI Research（Algoverse人工智能研究） ； Brown University（布朗大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文通过机制性研究发现，视觉-语言模型的可靠性主要体现在隐藏状态几何、分层边际形成和稀疏晚层回路，而非注意力图的锐度。

Comments 15 pages, 4 figures, 10 tables. Accepted at the ICLR 2026 Workshop on Multimodal Reasoning. Code and probe-training pipelines: https://github.com/itsloganmann/VLM-Reliability-Probe

LLaVA-UHD v4: What Makes Efficient Visual Encoding in MLLMs?

LLaVA-UHD v4: 什么使多模态大语言模型中的高效视觉编码成为可能？

Kechen Fang, Yihua Qin, Chongyi Wang, Wenshuo Ma, Tianyu Yu, Yuan Yao

机构 * Tsinghua University（清华大学） ； ModelBest 纠错

专题命中 VLM训练与架构 ：LLaVA(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文通过 slice-based 编码和 intra-ViT 早期压缩，提升了多模态大语言模型在高分辨率图像输入中的视觉编码效率，减少 55.8% 的 FLOPs 而不牺牲下游性能。

PPU-Bench:Real World Benchmark for Personalized Partial Unlearning in Vision Language Models

PPU-Bench: 用于视觉语言模型个性化部分遗忘的现实世界基准

Jiahui Guang, Zexun Zhan, Zhenlin Xu, Cuiyun Gao, Haiyan Wang, Jing Li, Zhaoquan Gu, Yanchun Zhang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） ； The Hong Kong Polytechnic University（香港理工大学） ； Sichuan University（四川大学） ； Zhejiang Normal University（浙江师范大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PPU-Bench，一个无需微调的现实世界基准，用于评估视觉语言模型中个性化部分遗忘的效果，通过24K多模态和单模态样本测试遗忘与保留的平衡及跨模态一致性。

Are vision-language models ready to zero-shot replace supervised classification models in agriculture?

视觉语言模型是否准备好在农业中零样本取代监督分类模型？

Earl Ranario, Mason J. Earles

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文评估了视觉语言模型在农业图像分类中的性能，发现零样本模型在多数任务中表现逊于监督模型，但通过提示策略可提升效果，表明需结合特定接口和评估策略以提升应用潜力。

AVA: Attentive VLM Agent for Mastering StarCraft II

AVA：面向星际2的注意力视觉语言代理

Weiyu Ma, Yuqian Fu, Zecheng Zhang, Bernard Ghanem, Guohao Li

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 AVA提出一个支持多智能体强化学习和视觉语言模型的星际2基准，通过RGB图像、自然语言观察和结构化状态信息，比较训练和零样本方法在21种场景中的表现，揭示训练效率、性能上限、可解释性和部署成本的权衡。

Comments Accepted by ACL 2026

Generative Giants, Retrieval Weaklings: Why do Multimodal Large Language Models Fail at Multimodal Retrieval?

生成巨人，检索弱者：为何多模态大语言模型在多模态检索中表现不佳？

Hengyi Feng, Zeang Sheng, Meiyi Qiang, Yang Li, Wentao Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Peking University（北京大学） ； Tencent Inc（腾讯公司） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 研究揭示多模态大语言模型在多模态检索中表现不佳的原因，通过稀疏自编码器分析发现其表示空间主要由文本语义构成，视觉语义不足，导致检索性能下降，提出ReAlign方法提升检索效果。

UM-Text: A Unified Multimodal Model for Image Understanding and Visual Text Editing

UM-Text: 一种统一的多模态模型用于图像理解和视觉文本编辑

Lichen Ma, Xiaolong Fu, Gaojing Zhou, Zipeng Guo, Ting Zhu, Yichun Liu, Yu Shi, Jason Li, Junshi Huang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；visual language model(abstract)；分类 cs.CV

AI总结 本文提出UM-Text模型，通过自然语言指令实现图像理解和视觉文本编辑，引入VLM处理指令和参考图像，结合UM-Encoder生成风格一致的文本图像，并提出区域一致性损失和三阶段训练策略，最终在多个基准上取得最佳性能。

Comments Accepted by AAAI 2026

Built Environment Reasoning from Remote Sensing Imagery Using Large Vision--Language Models

利用大视觉-语言模型从遥感图像中推导建成环境

Dongdong Wang, Deepak Balakrishnan, Ravi Srinivasan, Shenhao Wang

机构 * Department of Urban and Regional Planning, University of Florida（佛罗里达大学城市与区域规划系） 纠错

专题命中 VLM训练与架构 ：InternVL(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了大语言模型在智慧城市中的应用，通过多尺度遥感图像输入多模态语言模型，评估其对建成环境推理的影响，并比较了InternVL和Qwen等先进模型在生成建成环境建议中的准确性和可靠性。

Comments Published in the International Conference on Industrialized Construction 2026

Count Anything at Any Granularity

按任意粒度计数

Chang Liu, Haoning Wu, Weidi Xie

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University, China（人工智能学院，上海交通大学，中国） ； CMIC, Shanghai Jiao Tong University, China（计算机医学研究所，上海交通大学，中国） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出多粒度计数框架，通过显式定义计数粒度解决开放世界计数问题，构建了最大的标注数据集KubriCount，并训练了HieraCount模型提升计数精度与泛化能力。

Comments Project page: https://verg-avesta.github.io/KubriCount/

Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models

逃避视觉失语：面向视觉-语言模型的对比自适应语义令牌修剪

Jie Ma, Yihang Liu, Zhike Qiu, Jiayi Ji, Xiaoshuai Sun

机构 * Xiamen University（厦门大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出COAST方法，通过对比自适应语义路由实现视觉-语言模型的高效令牌修剪，减少77.8%的视觉令牌并提升2.15倍的推理速度，同时保持98.64%的原始性能。

Gate-and-Merge: Zero-shot Compositional Personalization of Vision Language Models

门与融合：面向视觉语言模型的零样本组合个性化

Guodong Ding, Angela Yao

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Gate-and-Merge框架，实现视觉语言模型的零样本组合个性化，通过轻量LoRA适配器和门控机制，在无需共现训练的情况下提升多概念联合识别性能。

GridProbe: Posterior-Probing for Adaptive Test-Time Compute in Long-Video VLMs

GridProbe: 为长视频VLMs中的自适应测试时间计算进行后验探测

Mohamed Eltahir, Lama Ayash, Ali Habibullah, Tanveer Hussain, Naeemullah Khan

机构 * King Abdullah University of Science and Technology (KAUST)（卡尔斯塔德大学科学与技术学院） ； Department of Computer Science, Edge Hill University（埃奇希尔大学计算机科学系） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 GridProbe通过后验探测方法在无需训练的情况下选择相关帧，减少注意力成本，同时保持高精度。

Injecting Distributional Awareness into MLLMs via Reinforcement Learning for Deep Imbalanced Regression

通过强化学习为深度不平衡回归注入分布意识

Yao Du, Shanshan Song, Xiaomeng Li

机构 * The Hong Kong University of Science（香港科学与技术大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出基于组相对策略优化的分布感知强化学习框架，通过一致性相关系数奖励实现跨样本关系监督，提升长尾回归任务的分布对齐能力，在中等和少样本场景下表现优异。

Comments Accepted by ICML 2026

Selective LoRA for Visual Tokens and Attention Heads

选择性LoRA用于视觉标记和注意力头

Tiange Luo, Lajanugen Logeswaran, Jaekyeom Kim, Justin Johnson, Honglak Lee

机构 * University of Michigan（密歇根大学） ； LG AI Research（LG人工智能研究） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Image-LoRA，通过选择性更新视觉标记和注意力头，减少参数和计算量，同时保持纯文本前向传递不变，在视觉定位任务中表现优异。

VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models

VEGA：面向空间感知的视觉编码器对齐用于视觉-语言-动作模型

Hao Wang, Xiaobao Wei, Jingyang He, Chengyu Bai, Chun-Kai Fan, Jiajun Cao, Jintao Chen, Ying Li, Shanyu Rong, Ming Lu, Xiaozhu Ju, Jian Tang, Shanghang Zhang

机构 * Peking University（北京大学） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） 纠错

专题命中 VLM训练与架构 ：grounding(title,abstract)

AI总结 VEGA通过直接对齐视觉编码器输出与空间感知特征，提升视觉-语言-动作模型的空间意识，实现更可解释的对齐目标。

DAPE: Dynamic Non-uniform Alignment and Progressive Detail Enhancement Techniques for Improving the Performance of Efficient Visual Language Models

DAPE：动态非均匀对齐与渐进细节增强技术以提升高效视觉语言模型的性能

Mengyuan Tian, Qiyan Zhao, Yanan Wang, Da-Han Wang

机构 * The Wang Yanan Institute for Studies in Economics, Xiamen University, Xiamen 361005, China（厦门大学王文安经济研究所） ； Fujian Key Laboratory of Pattern Recognition and Image Understanding, School of Computer and Information Engineering, Xiamen University of Technology, Xiamen 361024, China（福建pattern识别与图像理解重点实验室，厦门理工大学计算机与信息工程学院） 纠错

专题命中 VLM训练与架构 ：visual language model(title)；分类 cs.CV、cs.AI

AI总结 本文提出DAPE框架，通过动态跨模态对齐和连续细节引入技术，提升高效视觉语言模型的性能，减少计算开销并提升下游任务准确性。

Comments Accepted in ICIC 2026 Oral

RoboMemArena: A Comprehensive and Challenging Robotic Memory Benchmark

RoboMemArena：一个全面且具有挑战性的机器人记忆基准

Huashuo Lei, Wenxuan Song, Huarui Zhang, Jieyuan Pei, Jiayi Chen, Haodong Yan, Han Zhao, Pengxiang Ding, Zhipeng Zhang, Lida Huang, Donglin Wang, Yan Wang, Haoang Li

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Tsinghua University（清华大学） ； Zhejiang University of Technology（浙江工业大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出RoboMemArena，一个包含26个任务的大型基准，通过多模态注释和真实世界评估，改进了现有机器人记忆基准的不足。PrediMem在基准测试中表现优异，为复杂记忆系统提供了新的见解。

Comments Project website: https://robomemarena.github.io

WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation

WildClawBench: 一个用于真实世界、长周期代理评估的基准测试

Shuangrui Ding, Xuanlang Dai, Long Xing, Shengyuan Ding, Ziyu Liu, Yang JingYi, Penghui Yang, Zhixiong Zhang, Xilin Wei, Xinyu Fang, Yubo Ma, Haodong Duan, Jing Shao, Jiaqi Wang, Dahua Lin, Kai Chen, Yuhang Zang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Fudan University（复旦大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； Shanghai Innovation Institute（上海创新研究院） ； Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出WildClawBench，一个包含60个双语多模态任务的原生运行时基准测试，评估代理在真实工具环境中的长周期任务能力，结果显示当前前沿模型在真实运行时表现仍不理想。

Comments Github link: https://github.com/internlm/WildClawBench

Exploring a Multimodal Chatbot as a Facilitator in Therapeutic Art Activity

探索多模态聊天机器人作为治疗艺术活动的促进者

Le Lin, Zihao Zhu, Rainbow Tin Hung Ho, Jing Liao, Yuhan Luo

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 本文提出一种基于多模态大语言模型的聊天机器人，通过实时分析视觉创作并促进反思对话，探讨其在艺术治疗中的应用潜力及未来发展方向。

Text-Guided Multi-Scale Frequency Representation Adaptation

基于文本的多尺度频率表示适应

Weicai Yan, Xinhua Ma, Wang Lin, Tao Jin

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出FreqAdapter，通过在频域进行多尺度信号微调，结合文本信息减少信息冗余，提升多模态模型的性能与效率。

Comments ACL 2026 Main

HyperTransport: Amortized Conditioning of T2I Generative Models

HyperTransport：T2I生成模型的 amortized 条件控制

Valentino Maiorca, Eleonora Gualdoni, Xavier Suau, Marco Cuturi, Luca Zappella, Pau Rodríguez

机构 * Apple（苹果公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 HyperTransport 通过超网络框架实现对T2I生成模型的amortized条件控制，结合连续可解释强度控制和跨模态条件，提升模型可控性与效率，验证结果在多个测试概念上优于传统方法。

EchoPrune: Interpreting Redundancy as Temporal Echoes for Efficient VideoLLMs

EchoPrune: 将冗余视为时间回声以实现高效的视频大语言模型

Jiameng Li, Minye Wu, Jiezhang Cao, Aleksei Tiulpin, Matthew B. Blaschko

机构 * KU Leuven（鲁文大学） ； Shanghai Jiaotong University（上海交通大学） ； Weill Cornell Medicine（韦尔医学院） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出EchoPrune方法，通过将冗余视频token视为时间回声，提升视频大语言模型在固定token预算下的时间分辨率，实验表明其在六个视频理解基准上使模型处理20倍帧数，性能提升8.6%且推理速度提升5.6倍。

Comments 9 pages

Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria

Auto-Rubric as Reward：从隐含偏好到显式多模态生成标准

Juanxi Tian, Fengyuan Liu, Jiaming Han, Yilei Jiang, Yongliang Wu, Yesheng Liu, Haodong Li, Furong Xu, Wanhua Li

机构 * Nanyang Technological University（南洋理工大学） ； Ant Group（蚂蚁集团） ； MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出Auto-Rubric as Reward框架，通过显式标准分解替代隐含权重优化，提升多模态生成模型对人类偏好的对齐效果，实验证明显式标准能更可靠地实现数据高效对齐。

Comments 28 pages, 10 figures, 11 tables

Dynamic Cross-Modal Prompt Generation for Multimodal Continual Instruction Tuning

动态跨模态提示生成用于多模态持续指令微调

Tao Hu, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出DRAPE框架，通过生成连续实例特定的软提示提升多模态持续指令微调性能，采用跨模态注意力和投影梯度投影减少遗忘，实验显示优于现有基线方法。

FLARE: Full-Modality Long-Video Audiovisual Retrieval Benchmark with User-Simulated Queries

FLARE：全模态长视频音频视觉检索基准测试与用户模拟查询

Qijie You, Hao Liang, Mingrui Chen, Bohan Zeng, Meiyi Qiang, Zhenhao Wong, Wentao Zhang

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract_cn)

AI总结 FLARE基准测试通过全模态长视频和用户模拟查询，评估视频检索在多模态大语言模型中的表现，揭示用户查询对模型行为的影响及音频语言对齐的关键瓶颈。

EvoStreaming: Your Offline Video Model Is a Natively Streaming Assistant

EvoStreaming: 你的离线视频模型本质上是一个原生流式助手

Zichen Wen, Boxue Yang, Junlong Ke, Jiajie Huang, Chenfei Liao, Junxi Wang, Xuyang Liu, Linfeng Zhang

机构 * EPIC Lab, Shanghai Jiao Tong University（上海交通大学EPIC实验室） ； Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Fudan University（复旦大学） 纠错

专题命中 VLM训练与架构 ：InternVL(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出EvoStreaming框架，通过自演化方法使离线视频模型适应流式助手任务，仅需1000个自生成样本即可提升RealStreamEval评分，并保持离线性能。

Comments 33 pages, 9 figures

Fashion Florence: Fine-Tuning Florence-2 for Structured Fashion Attribute Extraction

Fashion Florence：基于Florence-2的结构化时尚属性提取微调

Anushree Berlia

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Fashion Florence，通过LoRA微调Florence-2模型，实现从服装图像中提取结构化时尚属性。模型在iMaterialist Fashion数据集上训练，生成包含类别、颜色、材质、风格和场合标签的JSON输出，适用于下游推荐和检索系统。

Comments Model: https://huggingface.co/anushreeberlia/fashion-florence

ZAYA1-VL-8B Technical Report

ZAYA1-VL-8B 技术报告

Hassan Shapourian, Kasra Hejazi, Olabode M. Sule, Beren Millidge

机构 * Zyphra 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 ZAYA1-VL-8B 是基于内部语言模型 ZAYA1-8B 构建的紧凑多专家视觉语言模型，在多个图像理解、推理和计数基准上超越了 Qwen2.5-VL-3B、PLM-3B 和 MolmoE-1B 等模型。

Comments 20 pages, 7 figures, 3 appendices (with 31 figures)

If Concept Bottlenecks are the Question, are Foundation Models the Answer?

如果概念瓶颈是问题，那么基础模型是答案吗？

Nicola Debole, Pietro Barbiero, Francesco Giannini, Andrea Passerini, Stefano Teso, Emanuele Marconato

机构 * DISI, University of Trento（特伦托大学DISI实验室） ； IBM Research Zurich（IBM瑞士苏黎世研究实验室） ； Faculty of Sciences, Scuola Normale Superiore（科学学院，正则大学） ； CIMeC, University of Trento（特伦托大学CIMeC实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.LG

AI总结 本文研究了基础模型在概念瓶颈模型中的影响，发现其在不同任务中与专家标注存在差异，且概念准确性与质量不强相关。