视觉大模型 / VLM

When Vision Becomes Text: Visual Token Pruning via Cross-Modal Residual Guidance in VLMs

当视觉变为文本：视觉语言模型（VLM）中基于跨模态残差引导的视觉令牌剪枝

Congyang Ou, Ruike Song, Yang Zhou, Libo Sun, Haokui Zhang, Zhenbo Luo

专题命中 VLM训练与架构 ：VLM(title_cn,summary_cn)；LLaVA(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 该研究针对视觉语言模型（VLM）海量视觉令牌导致推理成本高的问题，提出基于跨模态残差（CMR）的无训练压缩方法SIEVE，在LLaVA-NeXT-7B上仅保留11.1%视觉令牌，实现显著加速与缓存缩减且性能损失极小。

Hybrid Token Compression for Vision-Language Models

HybridToken-VLM：用于视觉-语言模型的混合令牌压缩

Jusheng Zhang, Xiaoyang Guo, Tongyu Mo, Qinhan Lv, Wenhao Chai, Jian Wang, Keze Wang, Liang Lin

机构 * Sun Yat-sen University（中山大学） ； Princeton University（普林斯顿大学） ； Snap Inc（Snap公司） 纠错

专题命中 VLM训练与架构 ：VLM(title_cn,summary_cn)；vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 HybridToken-VLM通过混合令牌压缩技术，在保持性能的同时显著提升视觉-语言模型的效率

Comments Accepted at CVPR 2026. Code available at https://github.com/jushengzhang/HybridToken-VLM

Sighted by Default: Addressing Implicit Vision Assumptions in Real-Time VLM Assistance for BLV Users

默认以视觉为中心：解决面向盲人和低视力（BLV）用户的实时视觉语言模型（VLM）辅助中的隐含视觉假设问题

Yi Zhao, Siqi Wang, Qiqun Geng, Erxin Yu, Jing Li

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)

AI总结 针对现有面向BLV用户的实时VLM辅助工具存在的以视觉为中心的默认偏见问题，提出VIA-Agent模型，其在保持与Doubao相当成功率的同时，缩短了任务时间并减少了对话轮次，提升了用户信任度。

Comments Accepted to UIST 2026

Progressive Semantic Communication for Efficient Edge-Cloud Vision-Language Models

渐进式语义通信用于高效边缘-云视觉-语言模型

Cyril Shih-Huan Hsu, Wig Yuan-Cheng Cheng, Chrysa Papagianni

机构 * Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学院） ； Open-EP Community（开放EP社区） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出渐进式语义通信框架，通过Meta AutoEncoder压缩视觉token，实现灵活的边缘-云VLM部署，减少网络延迟并保持语义一致性。

Comments Accepted for publication in the 2026 IEEE Global Communications Conference (GLOBECOM). Extended version with additional figures and appendices

Chain of Spatial Thoughts: Modality-Agnostic Spatial Grounding for Vision Language Models

空间思维链：面向视觉语言模型的模态无关空间定位

Hunter Schofield, Mohammed Elmahgiubi, Mohammad Mahdavian, Richard Shi, Jinjun Shan, Amir Rasouli, Dongfeng Bai

专题命中 VLM训练与架构 ：vision language model(title)；grounding(title)；VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 该研究提出轻量架构无关框架Space Tokens，将空间信息蒸馏为连续token融入VLMs的思维链，在VSI-Bench上提升两款模型性能，在尺寸估计任务达SOTA，实现高效空间推理。

NullEdit: Stealthy Image Protection via VLM Condition Redirection

NullEdit：通过视觉语言模型条件重定向实现隐秘图像保护

Weiyao Huang, Liqin Wang, Ziqi Sheng, Wei Lu

专题命中 VLM训练与架构 ：VLM(title,summary_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 NullEdit针对VLM表示进行重定向，可隐秘抑制图像编辑且保留源内容，在基准模型上平均降低EditReward IF分数0.813，实现了高效的图像保护。

Comments 9 pages, 6 figures, 3 tables

Once Poisoned, Arbitrarily Controlled: A Programmable Backdoor in VLMs

一旦投毒，任意受控：视觉语言模型（VLM）中的可编程后门

Tao Lin, Gaojie Jin, Zongxin Liu, Peng Wu, Lijia Yu

专题命中 VLM训练与架构 ：VLM(title_cn,summary_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 该研究提出一种向VLM植入可编程后门的方法，通过启发式投毒策略和特征空间触发器隐写，可在推理时动态选择未见过的目标字幕并触发对应输出，攻击成功率高且能规避部分防御。

MedUP: Awakening Unified Understanding and Perception in Medical Vision-Language Models

MedUP：唤醒医学视觉-语言模型中的统一理解与感知能力

Yuan Wang, Hualiang Wang, Yixin Chen, Songtao Jiang, Shujian Gao, Jiaming Lin, Siming Fu, Jian Wu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出MedUP模型，通过UniMedTok分词器在共享token空间统一医学视觉-语言模型的感知与理解，构建相关训练语料库和评估基准，在多医学任务上性能优于现有模型。

Comments 10 pages, 6 figures

Forensic Reproducibility Audit of a Radiology Vision-Language Model Benchmark: From Intended Protocol to Released Artifact

放射学视觉语言模型基准的法证可重复性审计：从预期协议到发布工件

Mateusz Kozłowski

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 对胸部X光视觉语言模型试点进行法证可重复性审计，追踪提示绑定等多方面情况，发现存在图像渲染、数据分割等问题，重建队列改变统计值，撤回原声明并指定机器可验证控制。

Comments Withdrawn by the author. On further review, the archived artifacts underlying this audit are too incomplete to support the reported statistics, and the paper's conclusions do not follow from the available evidence. The work is withdrawn in full; earlier versions should not be cited

Logit Lens Supervision for Patch-Level Explanations in Vision-Language Models

在视觉语言模型中保留局部化补丁语义

Parsa Esmaeilkhani, Longin Jan Latecki

机构 * Department of Computer and Information Sciences, Temple University, Philadelphia, USA（计算机与信息科学系，特兰普大学，费城，美国） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；grounding(abstract)；分类 cs.CV

AI总结 为解决视觉语言模型中图像与文本 tokens 信息扩散问题，提出 Logit Lens Loss（LLL）以保留图像 tokens 的局部化语义，提升模型可解释性和分割任务性能。

UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations

UniProbe：基于多结构内部表征的可学习大视觉语言模型（VLM） token 级幻觉检测器

Dvir Samuel, Guy Bar-Shalom, Fabrizio Frasca, Ethan Fetaya, Yftah Ziser, Gal Chechik, Haggai Maron

机构 * NVIDIA Research（英伟达研究院） ； Technion（以色列理工学院） ； Bar-Ilan University（巴伊兰大学） ； University of Groningen（格罗宁根大学） 纠错

专题命中 VLM训练与架构 ：VLM(title_cn)；vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.LG

AI总结 UniProbe 是基于 LVLM 异构计算轨迹的可学习 token 级幻觉检测器，通过多结构模块交互实现 SOTA 检测性能，解码时可降 55% 对象幻觉且延迟仅增 6%

Comments Project Page: https://research.nvidia.com/labs/par/uniprobe/

DashArena: Benchmarking LLMs on Interactive Analytic Dashboard Generation

DashArena：面向交互式分析仪表板生成的大语言模型基准测试

Xiaotong Wang, Dazhen Deng

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究人员推出首个交互式分析仪表板生成基准DashArena，含轨迹回放与VLM评判，提炼出DashJudge-8B，发现前沿模型仍存多类缺陷，交互评估可捕捉遗漏问题。

MultiModal Code-Switching: Interleaving Visual Objects into Language for Explicit Object-Level Alignment

多模态代码切换：将视觉对象交织入语言以实现显式对象级对齐

Changhao Xiang, Shangyu Xing, Zhen Wu, Jianbing Zhang, Xinyu Dai

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 针对现有多模态大语言模型的图像级对齐存在指称歧义的问题，提出多模态代码切换（MMCS）范式，构建含77.3万样本的数据集，仅用5万样本即可匹配或超越60万图像-文本对训练的模型，提升了视觉基础与感知能力。

Multimodal Ambivalence and Hesitancy Recognition via Cross-Attention and Gated Fusion

通过交叉注意力和门控融合进行多模态矛盾与犹豫识别

Oussama Berhili, Yassine Ouzar, Larbi Boubchir

机构 * University of Paris 8（巴黎第八大学） ； LIASD Laboratory（LIASD实验室） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 为ECCV 2026的ABAW11挑战赛开发多模态框架，用预训练编码器提取多模态特征，建立单模态基线，在此基础上提出含交叉注意力和门控融合的多模态架构，验证集宏F1达0.7394，提升显著。

Dynamic Context Adapters: Efficiently Infusing History into Vision-and-Language Models

动态上下文适配器：将历史信息高效注入视觉-语言模型

Yuhang Song, Bor-Jiun Lin, Jiaxu Liu, Te-Chuan Chiu, Anh Nguyen, Chun-Yi Lee

机构 * University of Liverpool（利物浦大学） ； National Tsinghua University（国立清华大学） ； Imperial College London（伦敦帝国学院） ； National Taiwan University（国立台湾大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对视觉-语言模型整合历史上下文时的计算与信息损失问题，提出动态上下文适配器（DCA），实现高效历史注入，降低注意力FLOPs超25%、内存13%，提升长时序任务性能。

Ablation-Corrected Evaluation of Attribution Maps in Echocardiographic Ejection-Fraction Models

解剖结构忠实但时间上盲目：超声心动图左心室射血分数估计的归因审核

Hyunkyung Han, Min Jung Kim

机构 * School of Integrated Medicine, Yonsei University（延世大学统合医学院） ； Department of Radiology, Research Institute of Radiologic Science, Yonsei University College of Medicine（延世大学医学院放射科学研究所放射科） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 研究超声心动图左心室射血分数估计模型的归因，微调VideoMAE Transformer和R(2+1)D CNN两个回归器，用多指标审核发现模型空间忠实但时间盲目，强调空间忠实不代表时间忠实，警示XAI验证并呼吁时间感知训练评估。

Comments 12 pages, 4 figures. v2: the chance level is now measured rather than computed, which corrects the ratios reported in v1. Adds a composition-matched ablation with an equal-area control, a reliability estimate for it, an ablation-derived score to report alongside overlap, seed repetition, and pediatric validation

Token-Based Detection of Spurious Correlations in Vision Transformers

基于Token的视觉Transformer虚假相关性检测

Solha Kang, Esla Timothy Anzaku, Wesley De Neve, Arnout Van Messem, Joris Vankerschaver, Francois Rameau, Utku Ozbulak

机构 * Center for Biosystems and Biotech Data Science（生物系统与生物技术数据科学中心） ； Ghent University Global Campus（根特大学全球校区） ； State University of New York Korea（纽约州立大学韩国分校） ； Department of Mathematics（数学系） ； Université de Liège（列日大学） ； Department of Applied Mathematics, Computer Science and Statistics（应用数学、计算机科学与统计学系） ； Ghent University（根特大学） ； Department of Electronics and Information Systems（电子与信息系统系） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出基于Token的诊断流程，通过留一Token移除法检测视觉Transformer中的虚假相关性，经ImageNet等实验验证了方法的有效性，还探讨了虚假信号的来源及相关案例。

Comments Accepted for publication in Transactions on Machine Learning Research (TMLR)

E$^3$mo-Bench: A Scalable Benchmark for Multimodal Evoked and Expressed Emotion Understanding via Bayesian Pairwise Alignment

E³mo-Bench：基于贝叶斯成对对齐的可扩展多模态诱发与表达情感理解基准

Lancheng Gao, Ziheng Jia, Shengyan Li, Zixuan Xing, Jiarui Wang, Huiyu Duan, Xiongkuo Min

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 该研究针对现有多模态情感理解基准的不足，推出E³mo-Bench基准，提出贝叶斯成对对齐方法与E³mo-Score智能体，验证了框架有效性并指出MLLMs在情感任务中的缺陷，为多模态情感智能发展指明方向。

SapiensID 2.0: Aligning Human Recognition Foundation Models with Human Perception

SapiensID 2.0：将人类识别基础模型与人类感知对齐

Yiyang Su, Jie Zhu, Feng Liu, Anil K. Jain, Xiaoming Liu

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 该研究针对现有人类识别模型与人类感知脱节的问题，提出兼具语义与时间感知的SapiensID 2.0框架，通过多项技术实现最优识别性能。

Fine-grained CLIP fine-tuning with self-annotated region alignment

基于自标注区域对齐的细粒度CLIP微调

Chenyang Zhao, Wei Lin, Janet H. Hsiao, Antoni B. Chan

机构 * City University of Hong Kong（香港城市大学） ； Hong Kong University of Science & Technology（香港科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究针对CLIP在细粒度表示上的局限，提出SFF-CLIP方法，仅用图像-文本对输入，通过运行时区域-短语对齐方案提升其细粒度表示能力，在相关任务中性能显著提升且维持原CLIP图像级任务表现。

Clarity: The Flexibility-Interpretability Trade-Off in Sparsity-aware Concept Bottleneck Models

Clarity：稀疏性感知概念瓶颈模型中的灵活性与可解释性权衡

Konstantinos P. Panousis, Diego Marcos

机构 * Department of Statistics, University of Economics and Business（经济与商业大学统计系） ； UMR TETIS, Inria, EVERGREEN, University of Montpellier（蒙彼利埃大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.LG

AI总结 研究探讨了概念瓶颈模型中稀疏性对语义对齐的影响，提出Clarity指标衡量下游性能与概念激活稀疏性和精度的相互作用，通过实验揭示灵活性与可解释性之间的关键权衡。

Journal ref Transactions on Machine Learning Research (2026)