视觉大模型 / VLM

Flatness Guided Test-Time Adaptation for Vision-Language Models

基于平坦度引导的视觉-语言模型测试时适应

Aodi Li, Liansheng Zhuang, Xiao Long, Houqiang Li, Shafei Wang

机构 * School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络科学与技术学院） ； National Engineering Laboratory for Brain-Inspired Intelligence Technology and Applications, University of Science and Technology of China（中国科学技术大学脑启发式智能技术与应用国家工程实验室） ； Peng Cheng Laboratory, Shenzhen, China（深圳鹏城实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出基于平坦度引导的视觉-语言模型测试时适应框架，通过训练时的平坦最小值与测试时损失景观的对齐，提升模型在分布偏移下的适应性能。

Text2VLM: Adapting Text-Only Datasets to Evaluate Alignment Training in Visual Language Models

Text2VLM: 将文本-only数据集适应于评估视觉语言模型对齐训练

Gabriel Downer, Sean Craven, Damian Ruck, Jake Thomas

机构 * Advai 纠错

专题命中 VLM训练与架构 ：visual language model(title,abstract)；分类 cs.AI

AI总结 Text2VLM通过将文本-only数据集转换为多模态格式，评估VLMs对提示注入攻击的鲁棒性，并揭示模型对齐中的关键弱点。

Comments 9 pages, 9 figures. Jake Thomas served as Editor for this manuscript

Journal ref Proceedings of the 2025 Conference on Applied Machine Learning for Information Security, Proceedings of Machine Learning Research PMLR Vol 299 pp 28 41

REGAL: A Registry-Driven Architecture for Deterministic Grounding of Agentic AI in Enterprise Telemetry

REGAL：一种基于注册表的架构，用于企业遥测中代理AI的确定性接地

Yuvraj Agrawal

机构 * Adobe Inc.（Adobe公司） 纠错

专题命中 VLM训练与架构 ：grounding(title,abstract)；分类 cs.AI

AI总结 REGAL提出一种基于注册表的架构，用于企业遥测中代理AI的确定性接地，通过显式架构方法和语义编译提升确定性计算，解决LLM在私有遥测中的接地问题。

Prune2Drive: A Plug-and-Play Framework for Accelerating Vision-Language Models in Autonomous Driving

Prune2Drive: 一种用于自动驾驶中加速视觉-语言模型的即插即用框架

Minhao Xiong, Zichen Wen, Zhuangcheng Gu, Xuyang Liu, Rui Zhang, Hengrui Kang, Jiabing Yang, Junyuan Zhang, Weijia Li, Conghui He, Yafei Wang, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Carnegie Mellon University（卡内基梅隆大学） ； Sichuan University（四川大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 Prune2Drive通过视觉令牌修剪框架在自动驾驶中加速视觉-语言模型，实现显著速度提升和内存节省，性能影响小。

Comments Accepted by CVPR 2026

TokenCom: Vision-Language Model for Multimodal and Multitask Token Communications

TokenCom: 一种用于多模态和多任务令牌通信的视觉-语言模型

Feibo Jiang, Siwei Tu, Li Dong, Xiaolong Li, Kezhi Wang, Cunhua Pan, Zhu Han, Jiangzhou Wang

机构 * Hunan Provincial Key Laboratory of Intelligent Computing and Language Information Processing, Hunan Normal University（湖南省级智能计算与语言信息处理重点实验室，湖南师范大学） ； School of Information Science and Engineering, Hunan Normal University（信息科学与工程学院，湖南师范大学） ； Changsha Social Laboratory of Artificial Intelligence, Hunan University of Technology and Business（长沙人工智能社会实验室，湖南工业大学） ； School of Computer Science, Hunan University of Technology and Business（计算机科学学院，湖南工业大学） ； Department of Computer Science, Brunel University London（伦敦布鲁内尔大学计算机科学系） ； National Mobile Communications Research Laboratory, Southeast University（东南大学国家移动通信研究中心） ； Department of Electrical and Computer Engineering, University of Houston（电子与计算机工程系，休斯顿大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract)；分类 cs.CV

AI总结 TokenCom提出了一种新的视觉-语言模型框架TaiChi，通过双视觉分词器和双向注意力网络提升多模态和多任务令牌通信的性能。

PointAlign: Feature-Level Alignment Regularization for 3D Vision-Language Models

PointAlign：用于3D视觉-语言模型的特征级对齐正则化

Yuanhao Su, Shaofeng Zhang, Xiaosong Jia, Qi Fan

机构 * University of Science and Technology of China（中国科学技术大学） ； Fuzhou University（福州大学） ； Fudan University（复旦大学） ； Nanjing University（南京大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 PointAlign通过特征级对齐正则化提升3D视觉-语言模型的几何信息保留与任务性能

Comments CVPR 2026 Accepted

Dynamic Token Reweighting for Robust Vision-Language Models

动态令牌重加权用于鲁棒的视觉-语言模型

Tanqiu Jiang, Jiacheng Liang, Rongyi Zhu, Jiawei Zhou, Fenglong Ma, Ting Wang

机构 * Stony Brook University（石溪大学） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 DTR通过优化KV缓存动态调整视觉令牌权重，提升视觉-语言模型对多模态劫持攻击的鲁棒性，同时保持模型性能。

Comments CVPR 2026

MERGETUNE: Continued Fine-Tuning of Vision-Language Models

MERGETUNE: 视觉-语言模型的持续微调

Wenqing Wang, Da Li, Xiatian Zhu, Josef Kittler

机构 * University of Surrey（萨里大学） ； Samsung AI Centre Cambridge（三星AI研究中心（剑桥）） ； Queen Mary University of London（伦敦大学女王学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 MERGETUNE通过持续微调和线性模式连接，恢复视觉-语言模型在微调中丢失的预训练知识，提升基础-新样本泛化和稳健微调性能。

Comments 20 pages, 5 figures

Journal ref ICLR2026

Variation-aware Vision Token Dropping for Faster Large Vision-Language Models

面向变化的视觉令牌丢弃以加速更大的视觉-语言模型

Junjie Chen, Xuyang Liu, Zichen Wen, Yiyu Wang, Siteng Huang, Honggang Chen

机构 * Sichuan University（四川大学） ； EPIC Lab, Shanghai Jiao Tong University（上海交通大学EPIC实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出V²Drop方法，通过动态令牌变化机制在LVLM推理中减少令牌数量，提升计算效率，同时保持任务性能。

Comments Accepted by CVPR 2026. Code is available at \url{https://github.com/xuyang-liu16/V2Drop}

Error Notebook-Guided, Training-Free Part Retrieval in 3D CAD Assemblies via Vision-Language Models

通过视觉-语言模型实现无训练的3DCAD装配体部件检索：基于错误笔记本的引导

Yunqing Liu, Nan Zhang, Zhiming Tan

机构 * Fujitsu Research & Development Center Shanghai, China（富士通研发中心上海） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract)；分类 cs.AI

AI总结 本研究提出一种无训练的3D CAD部件检索方法，通过结合错误笔记本与RAG技术，显著提升基于VLM的推理性能，实验显示在专有模型和开源模型上均取得显著效果。

Comments Accepted by ICLR 2026

Towards Human-AI Accessibility Mapping in India: VLM-Guided Annotations and POI-Centric Analysis in Chandigarh

迈向印度的人机可及性映射：在昌迪加尔的VLM引导标注与POI中心分析

Varchita Lalwani, Utkarsh Agarwal, Michael Saugstad, Manish Kumar, Jon E. Froehlich, Anupam Sobti

专题命中 VLM训练与架构 ：VLM(title,abstract)；分类 cs.CV

AI总结 本文提出在印度昌迪加尔部署Project Sidewalk工具，通过VLM引导标注和POI中心分析，评估了城市无障碍性改进的潜力。

Comments Accepted at the Second Workshop on AI for Urban Planning (AI4UP) at AAAI 2026

Pyramid Token Pruning for High-Resolution Large Vision-Language Models via Region, Token, and Instruction-Guided Importance

通过区域、令牌和指令引导的重要性进行高分辨率大视觉-语言模型的金字塔令牌修剪

Yuxuan Liang, Xu Li, Xiaolei Chen, Yi Zheng, Haotian Chen, Bin Li, Xiangyang Xue

机构 * Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室） ； College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 通过区域、令牌和指令引导的重要性进行高分辨率大视觉-语言模型的金字塔令牌修剪，有效降低计算和内存开销，同时保持性能

Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting

基于MLLM的弱监督类无关物体计数

Xiaowen Zhang, Zijie Yue, Yong Luo, Cairong Zhao, Qijun Chen, Miaojing Shi

机构 * College of Electronic and Information Engineering, Tongji University（电子信息工程学院，同济大学） ； College of Computer Science, Wuhan University（计算机科学学院，武汉大学） ； College of Computer Science, Tongji University（计算机科学学院，同济大学） ； State Key Laboratory of Autonomous Intelligent Unmanned Systems（自主智能无人系统国家重点实验室） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；分类 cs.CV

AI总结 本文提出 WS-COC，基于 MLLM 的弱监督框架，通过三种策略提升类无关物体计数性能，有效降低标注成本。

Comments Accepted at ICLR 2026

SchröMind: Mitigating Hallucinations in Multimodal Large Language Models via Solving the Schrödinger Bridge Problem

SchröMind: 通过求解薛定谔桥问题减轻多模态大语言模型中的幻觉

Ziqiang Shi, Rujie Liu, Shanshan Yu, Satoshi Munakata, Koichi Shirahata

机构 * Fujitsu Research \& Development Center Co.,LTD., Beijing, China Fujitsu Limited, Tokyo, Japan 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 SchröMind通过求解薛定谔桥问题，有效减轻多模态大语言模型中的幻觉问题，提升模型在医疗等高风险领域的应用能力。

Comments ICASSP 2026

FloorplanVLM: A Vision-Language Model for Floorplan Vectorization

FloorplanVLM：一种用于平面图向量化的视觉-语言模型

Yuanqing Liu, Ziming Yang, Yulong Li, Yue Yang

机构 * Beike（贝克） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；grounding(abstract)；分类 cs.CV

AI总结 FloorplanVLM通过像素到序列的范式，实现复杂平面图向量化的高精度与高鲁棒性，其统一框架和渐进训练策略在工程级向量化任务中表现出色。

An item is worth one token in Multimodal Large Language Models-based Sequential Recommendation

在基于多模态大语言模型的序列推荐中，一个项目相当于一个标记

Qiyong Zhong, Jiajie Su, Ming Yang, Yunshan Ma, Xiaolin Zheng, Chaochao Chen

机构 * Zhejiang University（浙江大学） ； Singapore Management University（新加坡国立管理学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title)；MLLM(abstract)；分类 cs.AI

AI总结 Speeder通过多模态表示压缩、模态感知渐进优化和序列位置感知增强，提升多模态大语言模型在序列推荐中的效率与效果。

Learning Domain Knowledge in Multimodal Large Language Models through Reinforcement Fine-Tuning

通过强化微调学习多模态大语言模型中的领域知识

Qinglong Cao, Yuntian Chen, Chao Ma, Xiaokang Yang

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University, Shanghai, China（人工智能大规模并行计算实验室，人工智能研究院，上海交通大学，上海） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文提出通过强化微调框架在优化层面整合领域知识，提升多模态大语言模型在专门领域任务中的性能。

Q Cache: Visual Attention is Valuable in Less than Half of Decode Layers for Multimodal Large Language Model

Q Cache：视觉注意力在少于一半的解码层中具有价值用于多模态大语言模型

Jiedong Zhuang, Lu Lu, Ming Dai, Rui Hu, Jian Chen, Qiang Liu, Haoji Hu

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 Q Cache通过跨层共享相似注意力模式，减少多模态大语言模型中的KV缓存使用量，提升吞吐量并保持性能

Comments Accepted by AAAI26

Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance

为视觉语言模型选择而基于模型特定任务相似性的层导电性

Wei Yang, Hong Xie, Tao Tan, Xin Li, Defu Lian, Enhong Chen

机构 * School of Computer Science and Technology, University of Science and Technology of China（计算机科学与技术学院，科学技术大学） ； School of AI and Data Science, University of Science and Technology of China（人工智能与数据科学学院，科学技术大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；分类 cs.AI

AI总结 本文提出了一种基于模型特定任务相似性的视觉语言模型选择方法，通过层导电性分析和方向导电性发散度度量，提升模型选择效果。

Comments Preprint. Under review

LLaVA-FA: Learning Fourier Approximation for Compressing Large Multimodal Models

LLaVA-FA: 通过傅里叶近似压缩大型多模态模型

Pengcheng Zheng, Chaoning Zhang, Jiarong Mo, GuoHui Li, Jiaquan Zhang, Jiahao Zhang, Sihan Cao, Sheng Zheng, Caiyan Qin, Guoqing Wang, Yang Yang

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；分类 cs.CV

AI总结 LLaVA-FA通过频域联合低秩和量化近似，实现高效压缩大型多模态模型，采用极坐标量化和对角校准方案，提升压缩效果与效率。

Comments Accepted by ICLR 2026

Visual Affect Analysis: Predicting Emotions of Image Viewers with Vision-Language Models

视觉情感分析：利用视觉-语言模型预测图像观看者的感受

Filip Nowicki, Hubert Marciniak, Jakub Łączkowski, Krzysztof Jassem, Tomasz Górecki, Vimala Balakrishnan, Desmond C. Ong, Maciej Behnke

机构 * Faculty of Mathematics and Computer Science, Adam Mickiewicz University（数学与计算机科学学院，亚当·密茨凯维奇大学） ； Faculty of Computer Science and Information Technology, Universiti Malaya（计算机科学与信息技术学院，马来亚大学） ； Department of Computer Science and Engineering, Korea University（计算机科学与工程系，韩国大学） ； Department of Psychology, University of Texas at Austin（心理学系，德克萨斯大学奥斯汀分校） ； Cognitive Neuroscience Center, Adam Mickiewicz University（认知神经科学中心，亚当·密茨凯维奇大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文研究了视觉-语言模型在预测图像观众情感方面的性能，发现其在离散情绪分类上表现良好，但在连续评分预测中存在偏差，揭示了其在情感计算中的潜力与局限。

Native LLM and MLLM Inference at Scale on Apple Silicon

在Apple Silicon上大规模原生LLM和MLLM推理

Wayner Barrios

机构 * Wiqonn Technologies（Wiqonn技术公司） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；分类 cs.LG

AI总结 vllm-mlx在Apple Silicon上实现高效LLM和MLLM推理，通过原生优化提升文本模型吞吐量并减少多模态延迟。

bi-modal textual prompt learning for vision-language models in remote sensing

双模文本提示学习用于遥感图像的视觉-语言模型

Pankhi Kashyap, Mainak Singha, Biplab Banerjee

机构 * Indian Institute of Technology Bombay（印度理工学院班加罗尔分校） ； University of Trento（特伦托大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 BiMoRS通过双模提示学习框架提升遥感图像视觉-语言模型的适应性与泛化能力。

Comments Accepted in ICASSP 2026

Benchmarking Multimodal Large Language Models for Missing Modality Completion in Product Catalogues

在电子商务目录中评估多模态大语言模型用于缺失模态补全

Junchen Fu, Wenhao Deng, Kaiwen Zheng, Ioannis Arapakis, Yu Ye, Yongxin Ni, Joemon M. Jose, Xuri Ge

机构 * University of Glasgow（格拉斯哥大学） ； Telefónica Scientific Research（电信科研机构） ； National University of Singapore（新加坡国立大学） ； Shandong University（山东大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文研究了多模态大语言模型在电子商务目录中补全缺失模态的能力，通过MMPCBench基准测试发现MLLMs在细粒度对齐上存在不足，并探索了GRPO方法以提升补全效果。

ViTCoP: Accelerating Large Vision-Language Models via Visual and Textual Semantic Collaborative Pruning

ViTCoP: 通过视觉和文本语义协同剪枝加速大型视觉-语言模型

Wen Luo, Peng Chen, Xiaotao Huang, LiQun Huang

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 ViTCoP通过结合视觉和文本语义协同剪枝，有效降低大型视觉-语言模型的计算成本，提升推理效率和内存利用率。

Auditing Disability Representation in Vision-Language Models

对视觉-语言模型中残障人表示的审计

Srikant Panda, Sourabh Singh Yadav, Palkesh Malviya

机构 * Lam Research 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本文研究了视觉-语言模型在残障人表示上的表现，通过引入残障情境化提示和评估框架，发现残障情境会降低模型解释忠实度，并提出针对性提示和微调方法来改善模型表现。

Measuring and Aligning Abstraction in Vision-Language Models with Medical Taxonomies

利用医学分类法测量和对齐视觉-语言模型中的抽象能力

Ben Schaper, Maxime Di Folco, Bernhard Kainz, Julia A. Schnabel, Cosmin I. Bercea

机构 * 1 School of Computation, Information ； Technology, Technical University of Munich, Germany 2 Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich, Germany 3 LTCI, Télécom Paris, Institut Polytechnique de Paris, France 4 Munich Center for Machine Learning (MCML) 5 School of Biomedical Engineering ； Imaging Sciences, King's College London, UK 6 Department of Artificial Intelligence in Biomedical Imaging, FAU Erlangen-Nuremberg, Germany 7 Department of Computing, Imperial College London, UK 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本文提出通过医学分类法量化和缓解视觉-语言模型中的抽象错误，引入灾难性抽象错误概念，并通过风险约束阈值和分类法感知微调减少严重错误至2%以下。

Less Is More -- Until It Breaks: Security Pitfalls of Vision Token Compression in Large Vision-Language Models

少即是多——直到它破裂：大视觉-语言模型中视觉标记压缩的安全隐患

Xiaomei Zhang, Zhaoxi Zhang, Leo Yu Zhang, Yanjun Zhang, Guanhong Tao, Shirui Pan

机构 * Griffith University（格里菲斯大学） ； University of Technology Sydney（悉尼技术大学） ； University of Utah（犹他大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本研究揭示了视觉标记压缩在大视觉-语言模型中显著降低鲁棒性的问题，并提出压缩感知攻击以系统研究该漏洞。

Global Compression Commander: Plug-and-Play Inference Acceleration for High-Resolution Large Vision-Language Models

全局压缩指挥者：面向高分辨率大视觉-语言模型的即插即用推理加速

Xuyang Liu, Ziming Wang, Junjie Chen, Yuhang Han, Yingyao Wang, Jiale Yuan, Jun Song, Siteng Huang, Honggang Chen

机构 * Alibaba（阿里巴巴） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出GlobalCom²框架，通过全局缩略图引导局部裁剪压缩，实现高分辨率LVLMs的高效推理加速。

Comments Accepted by AAAI 2026. Code is available at \url{https://github.com/xuyang-liu16/GlobalCom2}

MoIIE: Mixture of Intra- and Inter-Modality Experts for Large Vision Language Models

MoIIE：多模态专家的混合模型用于大视觉语言模型

Dianyi Wang, Siyuan Wang, Zejun Li, Yikun Wang, Yitong Li, Duyu Tang, Xiaoyu Shen, Xuanjing Huang, Zhongyu Wei

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institut（上海创新研究院） ； University of Southern California（南加州大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative, Institute of Digital Twin, EIT（宁波空间智能与数字衍生关键实验室，数字孪生研究院，EIT） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出MoIIE模型，通过混合内模态和跨模态专家提升大视觉语言模型的效率和性能。