视觉大模型 / VLM

Fine-Grained Post-Training Quantization for Large Vision Language Models with Quantization-Aware Integrated Gradients

细粒度后训练量化用于大型视觉语言模型的量化感知集成梯度

Ziwei Xiang, Fanhu Zeng, Hongjian Fang, Rui-Qi Wang, Renxing Chen, Yanan Zhu, Yi Chen, Peipei Yang, Xu-Yao Zhang

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（多模态人工智能系统国家重点实验室，中国科学院自动化所） ； School of Artificial Intelligence, UCAS（人工智能学院，中国科学院大学） ； Beijing National Research Center for Information Science and Technology（北京信息科学研究中心） ； Institute of Artificial Intelligence, USTB（信息科学技术大学人工智能学院） ； School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出细粒度后训练量化方法，通过量化感知集成梯度评估token敏感性，提升大型视觉语言模型的精度与效率。

Comments Accepted by CVPR 2026 Main Conference

Empirical Recipes for Efficient and Compact Vision-Language Models

高效紧凑视觉-语言模型的实证配方

Jiabo Huang, Zhizhong Li, Sina Sajadmanesh, Weiming Zhuang, Lingjuan Lyu

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过实证分析识别了紧凑视觉-语言模型的瓶颈，提出优化配方显著降低延迟并保持精度，同时引入ArgusVLM模型家族在多种基准上表现优异。

VL-RouterBench: A Benchmark for Vision-Language Model Routing

VL-RouterBench：一种用于视觉-语言模型路由的基准测试

Zhehao Huang, Baijiong Lin, Jingyuan Zhang, Jingying Wang, Yuhang Liu, Ning Lu, Tao Li, Xiaolin Huang

机构 * Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University（1 图像处理与模式识别研究所，上海交通大学） ； The Hong Kong University of Science and Technology (Guangzhou)（2 香港科学与技术大学（广州）） ； The Hong Kong University of Science and Technology（3 香港科学与技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出VL-RouterBench，用于系统评估视觉-语言模型路由系统的能力，通过构建质量与成本矩阵，评估10种路由方法并发现显著的路由改进空间，揭示了路由架构改进的潜力。

Comments CVPR 2026 Accepted

MultiMedEval: A Benchmark and a Toolkit for Evaluating Medical Vision-Language Models

MultiMedEval：用于评估医学视觉-语言模型的基准和工具包

Corentin Royer, Bjoern Menze, Anjany Sekuboyina

机构 * University of Zürich（苏黎世大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 MultiMedEval通过23个数据集和11个医学领域，评估六种多模态任务，提供开源工具简化VLM评估，促进公平统一的基准测试。

Comments Accepted at MIDL 2024

Bodhi VLM: Privacy-Alignment Modeling for Hierarchical Visual Representations in Vision Backbones and VLM Encoders via Bottom-Up and Top-Down Feature Search

Bodhi VLM：通过自上而下和自下而上的特征搜索实现视觉主干和VLM编码器中层次视觉表示的隐私对齐建模

Bo Ma, Wei Qi Yan, Jinsong Wu

机构 * Auckland University of Technology（奥克兰技术大学） ； Resideo Technologies, Inc.（Resideo技术公司） ； Guilin University of Electronic Technology（桂林电子科技大学） ； Universidad de Chile（智利大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 本文提出Bodhi VLM框架，通过NCP和MDAV聚类将敏感概念与分层神经表示的层间分组关联，并利用自上而下和自下而上的策略定位敏感特征区域，结合EMPA模块生成可解释的隐私预算对齐信号，验证了在目标检测和VLM视觉编码器中的有效性。

Temporal Gains, Spatial Costs: Revisiting Video Fine-Tuning in Multimodal Large Language Models

时间收益，空间代价：重新审视多模态大语言模型中的视频微调

Linghao Zhang, Jungang Li, Yonghua Hei, Sicheng Tao, Song Dai, Yibo Yan, Zihao Dongfang, Weiting Liu, Chenxi Qin, Hanqian Li, Xin Zou, Jiahao Zhang, Shuhang Xun, Haiyun Jiang, Xuming Hu

机构 * SJTU（上海交通大学） ； HKUST(GZ)（香港科技大学(珠海)） ； HKUST（香港科技大学） ； CityU（城市大学） ； FDU（复旦大学） ； HIT（哈尔滨工业大学） ； TJU（天津大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文研究了视频微调对多模态大语言模型视觉能力的影响，发现视频性能提升的同时，静态图像表现可能受限，提出混合帧策略以缓解空间与时间理解的平衡问题。

Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLM Reward Models

原因至关重要：通过代理引导的批评学习可转移的评分标准用于视觉语言模型奖励模型

Weijie Qiu, Dai Guan, Junxin Wang, Zhihang Li, Yongbo Gai, Mengyu Zhou, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（阿里云大模型应用团队） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出Proxy-GRM，通过代理引导的评分标准验证提升视觉语言模型奖励模型的评分质量，利用轻量级代理代理进行评分标准验证，实现评分标准的可转移性和一致性，实验表明其在多个基准测试中表现优异。

Comments 25 pages, 10 figures,

ASAP: Attention-Shift-Aware Pruning for Efficient LVLM Inference

ASAP: 一种面向高效视觉-语言模型推理的注意力转移感知剪枝方法

Surendra Pathak, Bo Han

机构 * George Mason University（乔治·马歇尔大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出ASAP方法，通过动态双向软注意力掩码缓解注意力转移问题，并引入加权软合并组件减少语义冗余，实现视觉上下文近似无损压缩，保持99.02%的LLaVA-NeXT-7B性能，计算量降低约80%。

Comments Update in V2: Added citations, refrences, and other minor rewrites

SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model

SkyReels-V4：多模态视频-音频生成、修复和编辑模型

Guibin Chen, Dixuan Lin, Jiangping Yang, Youqiang Zhang, Zhengcong Fei, Debang Li, Sheng Chen, Chaofeng Ao, Nuo Pang, Yiming Wang, Yikun Dou, Zheng Chen, Mingyuan Fan, Tuanhui Li, Mingshan Chang, Hao Zhang, Xiaopeng Sun, Jingtao Xu, Yuqiang Xie, Jiahua Wang, Zhiheng Xu, Weiming Xiong, Yuzhe Jin, Baoxuan Gu, Binjie Mao, Yunjie Yu, Jujie He, Yuhao Feng, Shiwen Tu, Chaojie Wang, Rui Yan, Wei Shen, Jingchen Wu, Peng Zhao, Xuanyue Zhong, Zhuangzhuang Liu, Kaifei Wang, Fuxiang Zhang, Weikai Xu, Wenyan Liu, Binglu Zhang, Yu Shen, Tianhui Xiong, Bin Peng, Liang Zeng, Xuchen Song, Haoxiang Guo, Peiyu Wang, Max W. Y. Lam, Chien-Hung Liu, Yahui Zhou

机构 * Skywork AI 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SkyReels-V4是一款多模态视频基础模型，支持视频音频生成、修复和编辑，采用双流多模态扩散变换器架构，结合文本编码器实现多模态指令处理，支持高分辨率、长时长视频生成。

Unified Spatio-Temporal Token Scoring for Efficient Video VLMs

统一的空间时间令牌评分用于高效的视频视觉-语言模型

Jianrui Zhang, Yue Yang, Rohun Tripathi, Winson Han, Ranjay Krishna, Christopher Clark, Yong Jae Lee, Sangho Lee

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Allen Institute for AI（人工智能研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出STTS，一种高效的统一空间时间令牌评分方法，通过辅助损失和LLM下游梯度学习，在不依赖文本条件或令牌合并的情况下，对视频中50%的视觉令牌进行修剪，提升训练和推理效率62%，性能下降仅0.7%。

LaDe: Unified Multi-Layered Graphic Media Generation and Decomposition

LaDe：统一的多层图形媒体生成与分解

Vlad-Constantin Lungu-Stan, Ionut Mironica, Mariana-Iuliana Georgescu

机构 * Adobe Research（Adobe研究院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 LaDe通过结合LLM提示扩展器、4D RoPE位置编码的潜在扩散变换器和RGBA VAE，实现灵活的多层媒体设计生成与分解，提升文本到多层媒体设计的对齐能力。

Comments 18 pages (main + supp)

FineViT: Progressively Unlocking Fine-Grained Perception with Dense Recaptions

FineViT: 通过密集描述逐步解锁细粒度感知

Peisen Zhao, Xiaopeng Zhang, Mingxing Xu, Ruoyu Sun, Zewei Du, Dunzheng Wang, Guanghao Zheng, Haohang Xu, Zhibo Zhang, Yuhang Zhang, Yi Ai, Lin Liu, Qi Tian

机构 * Huawei Inc.（华为公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 FineViT通过密集描述逐步训练，提升细粒度视觉感知能力，在长上下文检索中表现优异，超越现有多模态视觉编码器。

Graph-Native Cognitive Memory for AI Agents: Formal Belief Revision Semantics for Versioned Memory Architectures

面向AI代理的图原认知记忆：版本化记忆架构的正式信念修订语义

Young Bin Park

机构 * Kumiho Inc.（科米霍公司） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出Kumiho架构，结合正式信念修订语义，实现统一的图原记忆系统，通过双重存储模型和混合检索方式，在LoCoMo和LoCoMo-Plus基准测试中取得显著性能提升。

Comments 56 pages, 1 figure

Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation

MLLMs关注什么以及依赖什么：解释自回归标记生成

Ruoyu Chen, Xiaoqing Guo, Kangwei Liu, Siyuan Liang, Shiming Liu, Qunli Zhang, Laiyuan Wang, Hua Zhang, Xiaochun Cao

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系） ； College of Computing and Data Science, NTU（NTU 计算与数据科学学院） ； Huawei（华为） ； School of Flexible Electronics, SYSU（SYSU 灵活电子学院） ； School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（Sun Yat-sen 大学深圳校区计算机科学与技术学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出EAGLE框架，通过轻量级黑盒方法解释MLLMs的自回归标记生成，量化语言先验和感知证据的影响，提升模型可解释性。

Comments Accepted to CVPR 2026