视觉大模型 / VLM

HiPrune: Hierarchical Attention for Efficient Token Pruning in Vision-Language Models

HiPrune：面向视觉-语言模型的层次注意力高效标记修剪

Jizhihui Liu, Feiyi Du, Guangdao Zhu, Niu Lian, Jun Li, Bin Chen, Weili Guan, Yaowei Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出HiPrune，通过分析视觉编码器中不同层次的注意力特性，实现高效的标记修剪，无需训练且适用于多种模型，在低token预算下保持高任务准确率。

Comments Accepted at ACL-2026 Findings

P3T: Prototypical Point-level Prompt Tuning with Enhanced Generalization for 3D Vision-Language Models

P3T: 用于3D视觉-语言模型的增强泛化原型点级提示微调

Geunyoung Jung, Soohong Kim, Kyungwoo Song, Jiyoung Jung

机构 * Department of Artificial Intelligence, University of Seoul（首尔大学人工智能系） ； Department of Applied Statistics, Yonsei University（延世大学应用统计系） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出P3T，一种针对3D视觉-语言模型的高效提示微调方法，通过点级提示器和文本提示器提升模型泛化能力，并引入原型损失减少类别内方差，实验表明其在分类和少样本学习中表现优异。

Comments Accepted by ICRA 2026

Switch-KD: Visual-Switch Knowledge Distillation for Vision-Language Models

Switch-KD：视觉切换知识蒸馏用于视觉-语言模型

Haoyi Sun, Xiaoxiao Wang, Ning Mao, Qian Wang, Lifu Mu, Wen Zheng, Tao Wei, Wei Chen

机构 * Li Auto Inc（利-auto公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 Switch-KD通过统一视觉-语言知识转移，解决多模态对齐问题，使小模型高效蒸馏大模型的多模态知识。

Comments 11 pages, 3 figures

Journal ref IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Findings, 2026

Enhancing Multimodal Large Language Models for Ancient Chinese Character Evolution Analysis via Glyph-Driven Fine-Tuning

通过字形驱动微调增强多模态大语言模型用于古汉字演变分析

Rui Song, Lida Shi, Ruihua Qi, Yingji Li, Hao Xu

机构 * College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院） ； Key Laboratory of Ancient Chinese Script, Culture Relics and Artificial Intelligence, Jilin University, China（吉林大学古文字、文物与人工智能重点实验室） ； School of Artificial Intelligence, Jilin University, China（吉林大学人工智能学院） ； School of Archaeology, Jilin University, China（吉林大学考古学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 本文提出GEVO框架，通过字形驱动微调提升多模态大语言模型在古汉字演变分析中的能力，实验显示模型在多个任务上均取得显著提升。

Comments Accepted by ACL 2026 main

RCP: Representation Consistency Pruner for Mitigating Distribution Shift in Large Vision-Language Models

RCP：一种用于缓解大视觉-语言模型中分布偏移的表示一致性剪枝方法

Jianwei Zhang, Chaoning Zhang, Sihan Cao, Wang Liu, Pengcheng Zheng, Jiaxin Huang, Caiyan Qin, Yalan Ye, Wei Dong, Yang Yang

机构 * School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； Machine Learning Department, Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学机器学习系） ； School of Robotics and Advanced Manufacture, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）机器人与先进制造学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出RCP框架，通过累积视觉token剪枝与延迟修复机制，有效缓解大视觉-语言模型中的分布偏移问题，实验表明可剪除高达88.9%的视觉token并减少85.7%的FLOPs，同时保持较低的精度损失。

Collaborative Multi-Mode Pruning for Vision-Language Models

多模式协作剪枝用于视觉-语言模型

Zimeng Wu, Yunhong Wang, Donghao Wang, Jiaxin Chen

机构 * State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出CoMP框架，通过联合参数和token剪枝，解决单一模式剪枝导致的性能下降问题，通过协作重要性度量和多模式剪枝策略提升高剪枝率下的模型性能。

Comments CVPR2026 Accepted

Long-Tailed Distribution-Aware Router For Mixture-of-Experts in Large Vision-Language Model

长尾分布感知的混合专家路由器：用于大规模视觉-语言模型的混合专家架构

Chaoxiang Cai, Longrong Yang, Minghe Weng, Xuewei Li, Zequn Qin, Xi Li

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； School of Electronic and Information, Shanghai Dianji University（上海电机学院电子信息学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出LTDR路由器，针对视觉-语言混合专家架构中的长尾分布问题，通过模态特定的分布感知路由和动态专家激活策略，提升模型性能。

DiffusionVL: Translating Any Autoregressive Models into Diffusion Vision Language Models

DiffusionVL: 将任意自回归模型转化为扩散视觉语言模型

Lunbin Zeng, Jingfeng Yao, Bencheng Liao, Hongyuan Tao, Wenyu Liu, Xinggang Wang

机构 * Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；分类 cs.CV

AI总结 本文提出DiffusionVL，通过高效扩散微调将预训练自回归模型转化为扩散视觉语言模型，实现高效生成和性能提升。

Comments 12 pages, 4 figures, conference or other essential info

MoE-GRPO: Optimizing Mixture-of-Experts via Reinforcement Learning in Vision-Language Models

MoE-GRPO：通过强化学习优化基于专家混合的视觉-语言模型

Dohwan Ko, Jinyoung Park, Seoung Choi, Sanghyeok Lee, Seohyun Lee, Hyunwoo J. Kim

机构 * Korea University（高丽大学） ； KAIST（韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出MoE-GRPO，通过强化学习优化视觉-语言模型中的专家路由，提升专家选择多样性，缓解专家过拟合问题。

Comments Accepted at CVPR 2026

Rocks, Pebbles and Sand: Modality-aware Scheduling for Multimodal Large Language Model Inference

岩石、鹅卵石和沙子：面向多模态大语言模型推理的模态感知调度

Konstantinos Papaioannou, Thaleia Dimitra Doudali

机构 * IMDEA Software Institute（IMDEA软件研究所） ； Universidad Politécnica de Madrid（马德里理工大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型推理中资源需求差异大导致的延迟和内存问题，提出RPS-Serve调度器，通过动态优先级和老化机制实现高效资源利用，降低TTFT并提升响应性能。

SIMART: Decomposing Monolithic Meshes into Sim-ready Articulated Assets via MLLM

SIMART: 通过MLLM将单体网格分解为可模拟的关节化资产

Chuanrui Zhang, Minghan Qin, Yuang Wang, Baifeng Xie, Hang Li, Ziwei Wang

机构 * ByteDance Seed（字节跳动种子） ； NTU（国立台湾大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；分类 cs.CV

AI总结 SIMART通过统一的MLLM框架实现部分级分解和运动学预测，减少3D令牌数量，提升多部分组装的保真度，并在PartNet-Mobility和野外AIGC数据集上取得最佳性能，支持物理仿真的机器人模拟。

PopResume: Causal Fairness Evaluation of LLM/VLM Resume Screeners with Population-Representative Dataset

PopResume：基于人口代表性数据集的LLM/VLM简历筛选器因果公平性评估

Sumin Yu, Juhyeon Park, Taesup Moon

机构 * ECE, Seoul National University（首尔国立大学电子与计算机工程系） ； IPAI, Seoul National University（首尔国立大学人工智能研究所） ； ASRI / INMC / AIIS, Seoul National University（首尔国立大学人工智能研究所） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；分类 cs.AI

AI总结 PopResume通过人口统计数据和自然属性关系，实现对LLM和VLM简历筛选系统的因果公平性评估，识别出五种传统指标无法捕捉的歧视模式。

Comments Under Review

Large Reward Models: Generalizable Online Robot Reward Generation with Vision-Language Models

大奖励模型：基于视觉-语言模型的通用在线机器人奖励生成

Yanru Wu, Weiduo Yuan, Ang Qi, Vitor Guizilini, Jiageng Mao, Yue Wang

机构 * USC Physical Superintelligence Lab（USC物理超智能实验室） ； Toyota Research Institute（丰田研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract)；分类 cs.AI

AI总结 本文提出利用视觉-语言模型生成通用在线机器人奖励，通过零样本方式提升策略学习效率，实验显示在30次迭代内显著提高初始策略成功率。

ZOO-Prune: Training-Free Token Pruning via Zeroth-Order Gradient Estimation in Vision-Language Models

ZOO-Prune：基于零阶梯度估计的训练自由token剪枝方法用于视觉-语言模型

Youngeun Kim, Youjia Zhang, Huiling Liu, Aecheon Jung, Sunwoo Lee, Sungeun Hong

机构 * Amazon（亚马逊公司） ； Sungkyunkwan University（成均馆大学） ； Inha University（inha大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出ZOO-Prune方法，通过零阶梯度估计在视觉-语言模型中实现无需训练的token剪枝，实验表明其在剪枝94.4%token的同时保持精度，并提升推理效率2.3倍。

Balanced Thinking: Improving Chain of Thought Training in Vision Language Models

平衡思考：改进视觉语言模型中的推理链训练

Shaked Perek, Ben Wiesel, Avihu Dekel, Nimrod Shabtay, Eli Schwartz

机构 * IBM Research（IBM研究院） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；分类 cs.AI

AI总结 本文提出SCALe方法，通过动态权重平衡推理和答案段，提升视觉语言模型的推理效率和准确性，且训练时间仅为传统方法的七分之一。

MedQ-UNI: Toward Unified Medical Image Quality Assessment and Restoration via Vision-Language Modeling

MedQ-UNI: 向通过视觉-语言建模实现医学图像质量评估与修复的统一迈进

Jiyao Liu, Junzhi Ning, Wanying Qu, Lihao Liu, Chenglong Ma, Junjun He, Ningsheng Xu

机构 * Fudan University, Shanghai, China（复旦大学，上海，中国） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出MedQ-UNI，一种统一的视觉-语言模型，通过先评估再修复的范式，利用医学图像质量评估指导医学图像修复，实现了跨模态和降质类型的统一处理。

Temporal Gains, Spatial Costs: Revisiting Video Fine-Tuning in Multimodal Large Language Models

时间收益，空间代价：重新审视多模态大语言模型中的视频微调

Linghao Zhang, Jungang Li, Yonghua Hei, Sicheng Tao, Song Dai, Yibo Yan, Zihao Dongfang, Weiting Liu, Chenxi Qin, Hanqian Li, Xin Zou, Jiahao Zhang, Shuhang Xun, Haiyun Jiang, Xuming Hu

机构 * SJTU（上海交通大学） ； HKUST(GZ)（香港科技大学(珠海)） ； HKUST（香港科技大学） ； CityU（城市大学） ； FDU（复旦大学） ； HIT（哈尔滨工业大学） ； TJU（天津大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文研究了视频微调对多模态大语言模型视觉能力的影响，发现视频性能提升的同时，静态图像表现可能受限，提出混合帧策略以缓解空间与时间理解的平衡问题。

Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLM Reward Models

原因至关重要：通过代理引导的批评学习可转移的评分标准用于视觉语言模型奖励模型

Weijie Qiu, Dai Guan, Junxin Wang, Zhihang Li, Yongbo Gai, Mengyu Zhou, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（阿里云大模型应用团队） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出Proxy-GRM，通过代理引导的评分标准验证提升视觉语言模型奖励模型的评分质量，利用轻量级代理代理进行评分标准验证，实现评分标准的可转移性和一致性，实验表明其在多个基准测试中表现优异。

Comments 25 pages, 10 figures,

V-DyKnow: A Dynamic Benchmark for Time-Sensitive Knowledge in Vision Language Models

V-DyKnow：面向视觉语言模型的时间敏感知识动态基准

Seyed Mahed Mousavi, Christian Moiola, Massimo Rizzoli, Simone Alghisi, Giuseppe Riccardi

机构 * Signals and Interactive Systems Lab, University of Trento（信号与交互系统实验室，特伦托大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；分类 cs.AI

AI总结 本文提出V-DyKnow基准，评估视觉语言模型对时间敏感事实知识的处理能力，分析模型响应可靠性、知识更新方法有效性及过时预测原因，揭示当前VLM在多模态时间敏感知识获取与更新中的局限性。

GT-PCQA: Geometry-Texture Decoupled Point Cloud Quality Assessment with MLLM

GT-PCQA: 一种基于多模态大语言模型的几何-纹理解耦点云质量评估方法

Guohua Zhang, Jian Jin, Meiqin Liu, Chao Yao, Weisi Lin, Yao Zhao

机构 * Beijing Jiaotong University（北京交通大学） ； Nanyang Technological University（南洋理工大学） ； University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；分类 cs.CV

AI总结 本文提出GT-PCQA框架，通过2D-3D联合训练和几何-纹理解耦策略，解决点云质量评估中数据量少和模型对几何退化不敏感的问题，实现高效且泛化能力强的评估方法。

Language-Guided Token Compression with Reinforcement Learning in Large Vision-Language Models

基于强化学习的语言引导标记压缩在大视觉-语言模型中

Sihan Cao, Jianwei Zhang, Pengcheng Zheng, Jiaxin Yan, Caiyan Qin, Yalan Ye, Wei Dong, Peng Wang, Yang Yang, Chaoning Zhang

机构 * School of Computer Science and Engineering（计算机科学与工程学院） ； University of Electronic Science and Technology of China（电子科学与技术大学） ； School of Robotics and Advanced Manufacture（机器人与先进制造学院） ； Harbin Institute of Technology（哈尔滨工业大学） ； College of Information and Control Engineering（信息与控制工程学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出TPRL框架，通过语言引导的序列优化实现视觉标记压缩，减少推理成本并提升效率，实验显示可减少66.7%的视觉标记和54.2%的FLOPs，精度损失仅0.7%。

Test-Time Attention Purification for Backdoored Large Vision Language Models

针对受污染的大视觉语言模型的测试时间注意力净化

Zhifang Zhang, Bojun Yang, Shuo He, Weitong Chen, Wei Emma Zhang, Olaf Maennel, Lei Feng, Miao Xu

机构 * University of Queensland（昆士兰大学） ； Southeast University（东南大学） ； Nanyang Technological University（南洋理工大学） ； Adelaide University（阿德莱德大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出CleanSight，一种无需训练的测试时间防御方法，通过检测和净化异常的视觉-文本注意力分布来对抗后门攻击，显著优于现有基于像素的净化方法。

LoC-Path: Learning to Compress for Pathology Multimodal Large Language Models

LoC-Path：学习压缩用于病理多模态大语言模型

Qingqiao Hu, Weimin Lyu, Meilong Xu, Kehan Qi, Xiaoling Hu, Saumya Gupta, Jiawei Zhou, Chao Chen

专题命中 VLM训练与架构 ：multimodal large language model(title)；MLLM(abstract)；分类 cs.CV

AI总结 LoC-Path通过压缩滑片图像特征，降低多模态模型的训练和推理成本，使在有限资源下实现高效病理大语言模型成为可能。

Comments Code will be released soon

Can Vision-Language Models Solve the Shell Game?

视觉-语言模型能解决贝壳游戏吗？

Tiedong Liu, Wee Sun Lee

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出SGCoT方法，通过生成对象轨迹解决VLMs在视觉跟踪中的根本限制，实现超过90%的准确率。

SAIL: Test-Time Scaling for In-Context Imitation Learning with VLM

SAIL：基于VLM的上下文模仿学习的测试时扩展

Makoto Sato, Yusuke Iwasawa, Yujin Tang, So Kuroki

机构 * The University of Tokyo（东京大学） ； Sakana AI 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision language model(abstract)；分类 cs.AI

AI总结 SAIL通过测试时扩展提升上下文模仿学习的鲁棒性和通用性，利用蒙特卡洛树搜索和视觉语言模型实现轨迹优化。

Comments 8 pages, 3 figures

Med-Evo: Test-time Self-evolution for Medical Multimodal Large Language Models

Med-Evo: 医疗多模态大语言模型的测试时自演化

Dunyuan Xu, Xikai Yang, Juzheng Miao, Yaoqian Li, Jinpeng Li, Pheng-Ann Heng

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong, Hong Kong, China（计算机科学与工程系，香港中文大学，香港，中国） ； Institute of Medical Intelligence and XR, The Chinese University of Hong Kong, Hong Kong, China（医学智能与XR研究所，香港中文大学，香港，中国） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 Med-Evo通过无标签强化学习和伪标签技术提升医疗多模态大语言模型性能，实验表明在医疗VQA任务中显著优于现有方法。

SPEX: A Vision-Language Model for Land Cover Extraction on Spectral Remote Sensing Images

SPEX：一种用于光谱遥感图像土地覆盖提取的视觉-语言模型

Dongchen Si, Di Wang, Erzhong Gao, Xiaolei Qin, Liu Zhao, Jing Zhang, Minqiang Xu, Jianbo Zhan, Jianshe Wang, Lin Liu, Bo Du, Liangpei Zhang

机构 * College of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） ； iFlytek Co., Ltd.（iFlytek公司） ； National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心） ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； Zhongguancun Academy（中关村学院） ； National Engineering Research Center for Multimedia Software（多媒体软件国家工程研究中心） ； Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University（湖北省多媒体与网络通信工程重点实验室，武汉大学） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（测绘遥感信息工程国家重点实验室，武汉大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 SPEX是一种专为光谱遥感图像土地覆盖提取设计的多模态视觉-语言模型，通过多尺度特征聚合和多光谱视觉预训练等技术，实现了精确的像素级解释和可解释的预测生成。

Comments Accepted to IEEE TGRS

VisualScratchpad: Inference-time Visual Concepts Analysis in Vision Language Models

VisualScratchpad: 视觉语言模型推理时的视觉概念分析

Hyesu Lim, Jinho Choi, Taekyung Kim, Byeongho Heo, Jaegul Choo, Dongyoon Han

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； NAVER AI Lab（NAVER人工智能实验室） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；分类 cs.AI

AI总结 VisualScratchpad通过交互式界面分析视觉语言模型推理过程中的视觉概念，揭示三种未被充分探索的失败模式，帮助理解模型内部机制并改进调试。

Comments Accetped at ICLR 2026 Turstworthy AI Workshop

HALP: Detecting Hallucinations in Vision-Language Models without Generating a Single Token

在不生成单个标记的情况下检测视觉-语言模型中的幻觉

Sai Akhil Kogilathota, Sripadha Vallabha E G, Luzhe Sun, Jiawei Zhou

机构 * Stony Brook University（石英溪大学） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 通过探测模型内部表示在生成前检测视觉-语言模型的幻觉风险，展示不同架构中信息丰富的层和模态差异，并验证轻量级探测器在提升安全性和效率方面的潜力。

Journal ref The 19th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2026)

Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models

用偏好替代参数：异构视觉-语言模型的联邦对齐

Shule Lu, Yujing Wang, Hainan Zhang, Xiaoshan Yang, Hongwei Zheng, Yongxin Tong, Changsheng Xu, Zhiming Zheng

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract)；分类 cs.AI

AI总结 本文提出MoR框架，通过用偏好替代参数实现异构视觉-语言模型的联邦对齐，提升泛化、鲁棒性和跨客户端适应性。

Comments Due to the need for substantial revisions, the authors believe that the paper should be retracted first.A revised version may be resubmitted