视觉大模型 / VLM

LLaVA-Interactive: An All-in-One Demo for Image Chat, Segmentation, Generation and Editing

Wei-Ge Chen, Irina Spiridonova, Jianwei Yang, Jianfeng Gao, Chunyuan Li

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；分类 cs.CV、cs.AI

Comments 31 pages, 22 figures, 30M PDF file size; Project Page: https://llava-vl.github.io/llava-interactive/

ReRef-3D: A Benchmark for Spatial Referring Expression-Guided 3D Scene Rearrangement

ReRef-3D：空间指代表达引导的3D场景重排基准

Mary Lynn Martin, Yifei Zhang, Martha Palmer, Maria Leonor Pacheco

机构 * University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；分类 cs.CV

AI总结 该研究提出ReRef-3D基准，针对3D场景语言引导放置任务，经微调的LLaVA-3D等模型在该基准上验证了关系满足度优于物理有效性等结论。

Comments 18 pages, 4 figures. Submitted to ACL Rolling Review (ARR)

DashArena: Benchmarking LLMs on Interactive Analytic Dashboard Generation

DashArena：面向交互式分析仪表板生成的大语言模型基准测试

Xiaotong Wang, Dazhen Deng

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究人员推出首个交互式分析仪表板生成基准DashArena，含轨迹回放与VLM评判，提炼出DashJudge-8B，发现前沿模型仍存多类缺陷，交互评估可捕捉遗漏问题。

VisionSelector: End-to-End Learnable Visual Token Compression for Efficient Multimodal LLMs

VisionSelector：用于高效多模态大语言模型的端到端可学习视觉令牌压缩

Jiaying Zhu, Yurui Zhu, Xin Lu, Wenrui Yan, Dong Li, Kunlin Liu, Xueyang Fu, Zheng-Jun Zha

专题命中 VLM训练与架构 ：multimodal large language model(abstract,abstract_cn)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对多模态大语言模型的视觉令牌压缩瓶颈，提出端到端可学习的VisionSelector框架，通过可微Top-K与课程退火策略实现高效自适应令牌选择，在压缩时保持优异性能并提升预填充速度。

Comments Accepted by ACM Multimedia 2026

Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding

用于高效长视频理解的证据驱动型动态视觉选择器

Bo Zhang, Wenxin Wang, Feng Chen, Zhihao Zhang, Zixuan Wang, Changsheng Li, Yinjie Lei

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 本文提出基于目标MLLM内部注意力证据的动态视觉选择框架EviSelect，通过GRPO优化的随机策略实现高效长视频理解，在三个基准上性能更优，视觉token减少约50%、端到端加速3.9倍。

Comments Project Page: https://zhangbo135.github.io/EviSelect/

GSTEP: Global Spatio-Temporal Density-Driven Visual Token Pruning for Efficient Video Large Language Models

GSTEP：面向高效视频大语言模型的全局时空密度驱动视觉令牌剪枝

Mengjie Zhang, Qihui Zhu, Tao Zhang, Shuangwu Chen, Huihuang Qin, Yu Guo, Shenghao Ye, Zijian Wen, Yunpeng Hou, Dong Jin, Xiaobin Tan, Huasen He, Jian Yang

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；分类 cs.CV

AI总结 本文提出即插即用的GSTEP剪枝框架，解决现有视频令牌剪枝方法的局部剪枝缺陷，在多个VideoLLMs上实现良好的准确率-效率权衡，在LLaVA-OneVision-7B上剪去75%视觉令牌，保留100.2%原始性能并获1.17倍端到端加速。

Comments 4 figures, accepted to ACM MM 26'

Beyond Frame Selection: Generative Latent Evidence Aggregation for Long-Video Understanding

超越帧选择：用于长视频理解的生成式潜在证据聚合

Bowen Liu, Shuning Wang, Xinpeng Ding, Zhiheng Wu, Bodong Du, Xiaomeng Li

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Baidu Inc.（百度公司） ； Alibaba Group（阿里巴巴集团） ； Xidian University（西安电子科技大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究针对长视频理解的帧选择局限，提出GenEvA框架，通过查询条件化分布聚合跨帧潜在证据，在四个基准和两个视频多模态大语言模型主干上显著提升性能且开销极低。

FiRE: Enhancing MLLMs with Fine-Grained Context Learning for Complex Image Retrieval

FiRE：利用细粒度上下文学习增强多模态大语言模型（MLLMs）以实现复杂图像检索

Bohan Hou, Haoqiang Lin, Xuemeng Song, Haokun Wen, Meng Liu, Yupeng Hu, Xiangyu Zhao

机构 * Shandong University（山东大学） ； City University of Hong Kong（香港城市大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shandong Jianzhu University（山东建筑大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract,abstract_cn)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本研究针对MLLMs在复杂图像检索任务中细粒度建模不足的问题，提出自动化细粒度多模态五元组数据集构建流程与两阶段微调策略，在零样本设置下于五个数据集上取得优于现有方法的性能。

Journal ref Proceedings of the ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2025)

MPIE-Bench: Benchmarking Anatomically Plausible Multi-Person Interaction Editing

MPIE-Bench：解剖学上合理的多人交互编辑基准测试

Jiajia Lin, Mingxuan Du, Tuowen Zhou, Benfeng Xu, Hongtao Xie

机构 * University of Science and Technology of China（中国科学技术大学） ； Metastone Technology（元石科技） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.CV

AI总结 该研究针对多人交互编辑的解剖学与几何错误问题，构建了MPIE-Bench基准，提出MPIE-Eval评估方法，发现现有编辑模型在两个维度表现不均衡，且其评估比VLM清单更贴合人类判断。

ETC: Extreme Token Compression via Task-aware Visual Information Distillation in VLMs

ETC: 通过任务感知的视觉信息蒸馏实现视觉语言模型中的极端令牌压缩

Yiling Gao, Hongchen Wei, Zhenzhong Chen

机构 * School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感与信息工程学院） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出ETC框架，基于变分信息蒸馏原理，在减少输入令牌数量时最小化任务损失，通过文本-图像交叉注意力加权视觉特征并引入变分信息蒸馏，实现单令牌压缩下仍保持强任务性能。

Parameter-Efficient Adaptation of a Multi-Stream Vision-Language Framework for Blind Image Quality Assessment

面向盲图像质量评估的统计与视觉-语言特征的失真感知融合

Bishr Omer Adam, Xu Li

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出一种失真感知融合框架，通过乘法门控机制动态加权NSS统计特征与VLM嵌入，在三个基准上取得最优或竞争性能，并揭示NSS对不同失真的贡献差异。

MultiRef-Compass: Towards Comprehensive Evaluation of Multi-Reference-to-Audio-Video Generation

MultiRef-Compass：迈向多参考到音频-视频生成的综合评估

Xiaohan Zhang, Yuqing Wen, Junlin Chen, Yuqi Tang, Yiting He, Lizhuo Shao, Weiming Zhu, Tengfei Liu, Yang Shi, Jialu Chen, Yuanxing Zhang, Huaxiong Li

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 研究针对多参考到音频-视频生成设置，引入MultiRef-Compass基准。通过可扩展管道构建350个样本，定义含四个维度14个子指标的评估协议，集成自动指标与MLLM评判框架，实验表明该基准对MR2AV研究有重要意义。

Comments 32 pages

ELF: A Family of Encoder-Free ECG-Language Models

ELF：无编码器心电图语言模型家族

William Han, Tony Chen, Chaojing Duan, Xiaoyu Song, Yihang Yao, Yuzhe Yang, Michael A. Rosenberg, Emerson Liu, Ding Zhao

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Allegheny Health Network（阿勒格尼医疗网络） ； University of California Los Angeles（加州大学洛杉矶分校） ； University of Colorado（科罗拉多大学） ； Allergy and Immunology（过敏与免疫学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 提出三种无编码器架构的ECG语言模型ELF，简化架构和训练流程，在两个数据集上达到或超越现有最优模型。

Comments 34 pages, 12 figures; Accepted to MLHC 2026

On the Efficiency of LoRA Fine-Tuning for Vision-Language-Action Models in Industrial Robotic Manipulation

工业机器人操作中视觉语言动作模型的LoRA微调效率研究

Finn Ferchau, Daniel Pommer, Cristian Axenie

机构 * Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学） ； Siemens AG（西门子股份公司） ； Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.LG

AI总结 研究工业机器人操作中VLA模型的LoRA微调效率，通过在四个精密装配任务上评估，发现特定LoRA配置不比FFT差，r = 32时性能饱和，均匀分配即可，冻结VLM等会降性能，该方法可减少VRAM且无性能损失。

Comments 12 pages, 5 figures, 3 tables. Accepted at the International Conference on Artificial Neural Networks (ICANN 2026); to appear in Springer LNCS

AutoV: Loss-Oriented Ranking for Visual Prompt Retrieval in LVLMs

AutoV：面向视觉提示检索的损失导向排名用于大视觉-语言模型

Yuan Zhang, Chun-Kai Fan, Sicheng Yu, Junwen Pan, Tao Huang, Ming Lu, Kuan Cheng, Qi She, Shanghang Zhang

机构 * School of Computer Science, Peking University（北京大学计算机学院） ； ByteDance Inc.（字节跳动公司） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 AutoV通过损失导向的提示检索提升大视觉-语言模型在图像理解等任务中的性能。

Comments Accepted by ECCV 2026

Superman: Unifying Skeleton and Vision for Human Motion Perception and Generation

超人：统一骨骼与视觉用于人体运动感知与生成

Xinshun Wang, Peiming Li, Ziyi Wang, Zhongbin Fang, Zhichao Deng, Songtao Wu, Jason Li, Mengyuan Liu

机构 * State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（通用人工智能国家重点实验室，北京大学深圳研究生院） ； Sony R&D Center（索尼研发中心） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 针对人体运动分析范式碎片化问题，提出Superman统一框架，通过视觉引导运动分词器创建跨模态运动词汇，训练单一MLLM架构处理多任务，实验表明该方法在运动任务中性能领先或具竞争力，为运动分析提供高效可扩展路径。

Efficient PEFT Methods with Adaptive Checkpointing for Vision Models and VLMs on Resource Constrained Consumer-GPUs

面向资源受限消费级GPU的视觉模型与VLM的高效PEFT方法及自适应检查点技术

Altay Toktassyn, Jurn-Gyu Park

机构 * Department of Computer Science, Nazarbayev University（计算机科学系，纳扎尔拜耶夫大学） 纠错

专题命中 VLM训练与架构 ：VLM(title_cn,abstract_cn)；vision language model(abstract)；分类 cs.CV

AI总结 本文在2GB VRAM限制下，比较了五种PEFT方法在Transformer和Mamba视觉骨干上的表现，并提出了自适应梯度检查点算法，在CIFAR-100和DTD上评估了准确率、训练时间、能耗及多目标指标。

From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion

从一对一到多对多：面向深度视觉-语言融合的动态跨层注入

Cheng Chen, Yuyu Guo, Pengpeng Zeng, Jingkuan Song, Peng Di, Hang Yu, Lianli Gao

机构 * Tongji University（同济大学） ； Ant Group（蚂蚁集团） ； Shanghai Innovation Institute（上海创新研究院） ； Independent Researcher（独立研究者） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出跨层注入框架，通过自适应多投影模块和自适应门控融合机制实现视觉层与LLM的动态多对多连接，显著提升多模态理解性能。

TuringViT: Making SOTA Vision Transformers Accessible to All

TuringViT：让最先进的视觉Transformer人人可用

Qiman Wu, Hanlin Chen, Lyujie Chen, Rui Xin, Jianlei Zheng, Mingyuan Wang, Jiahui Hu, Da Zhu, Yuecheng Ma, Yuhua Wei, Yizhao Wang, Hua Zhou, Yuheng Zhang, Anhua Liu, Shaman Tang, Yue He, Pengfei Diao, Shuang Su, Haotong Xin, Weichao Huang, Hang Zhang, Xianming Liu

机构 * Foundation Model Team, Xpeng Inc.（小鹏汽车基础模型团队） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.CV

AI总结 提出TuringViT，通过图灵线性注意力、VISTA-Curation数据构建和原生动态分辨率预训练，仅用10%数据即可超越开源ViT基线，并显著提升下游VLM性能和高分辨率延迟。

AIDEN: Design and Pilot Study of an AI Assistant for the Visually Impaired

AIDEN：面向视障人士的AI助手设计与初步研究

Luis Marquez-Carpintero, Francisco Gomez-Donoso, Zuria Bauer, Bessie Dominguez-Dager, Alvaro Belmonte-Baeza, Mónica Pina-Navarro, Francisco Morillas-Espejo, Felix Escalona, Miguel Cazorla

机构 * Institute for Computer Research, University of Alicante（计算机研究所，阿利坎特大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；分类 cs.CV

AI总结 提出AIDEN系统，结合YOLO实时目标检测、LLaVA场景描述与OCR，以及基于盖革计数器隐喻的连续触觉引导，避免听觉过载并保护隐私，实验表明用户满意度高。

Journal ref IEEE Access 14 (2026) 80406-80420

Towards a Dynamic and Fixed-budget Memory Bank for Efficient Streaming Video Understanding

面向高效流式视频理解的动态固定预算记忆库

Baiyang Song, Yuli Lin, Qiong Wu, Tao Chen, Jun Peng, Xiao Chen, Yiyi Zhou, Rongrong Ji

机构 * Xiamen University（厦门大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出无训练方法CausalMem，通过在线语义基动态更新记忆库，在有限预算下最大化流式视频信息量，实现20倍视觉令牌压缩和82MB存储。

ForensicsTok: Forensics-Guided Tokenized Modeling for Image Tampering Localization

ForensicsTok: 面向图像篡改定位的法医引导分词建模

Lei Xu, Haowei Wang, Shen Chen, Taiping Yao, Bin Li, Changsheng Chen

机构 * Shenzhen University（深圳大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Shenzhen MSU-BIT University（深圳北理莫斯科大学） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 提出ForensicsTok，将图像篡改定位重构为自回归序列生成任务，通过Token Splatting解码器和分层专家融合模块，直接生成空间定位的令牌序列，避免中间监督，在六个基准上超越现有MLLM方法并略优于强法医基线。

Comments 16 pages, 4 figures, 8 tables

GroundSet: A Cadastral-Grounded Dataset for Spatial Understanding with Vector Data

GroundSet: 基于地籍数据的空间理解向量数据集

Roger Ferrod, Maël Lecene, Krishna Sapkota, George Leifman, Vered Silverman, Genady Beryozkin, Sylvain Lobry

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对多模态大模型在遥感精细空间理解上的不足，提出基于地籍矢量数据的大规模数据集，含510k高分辨率图像和380万标注对象，通过指令微调基准验证，标准架构可掌握细粒度空间定位。

BioMedVR: Confusion-Aware Mixture-of-Prompt Experts for Biomedical Visual Reprogramming

BioMedVR: 面向生物医学视觉重编程的混淆感知提示专家混合模型

Jiaxiang Liu, Tianxiang Hu, Juwei Guan, Yujie Wu, Yusong Wang, Yao Mu, Zuozhu Liu, Mingkun Xu

机构 * Guangdong Institute of Intelligence Science and Technology（广东智能科技研究院） ； Zhejiang University（浙江大学） ； Southeast University（东南大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Institute of Science Tokyo（东京科学大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出BioMedVR框架，通过可学习的VR模块实现预训练VLM在生物医学图像上的少样本适应，利用混淆最小化机制和提示专家混合模型解决细粒度分类中的类间混淆问题，在18个数据集上验证了优越性能。

Comments Accepted at ECCV 2026. 19 pages, 6 figures. Project page: https://jxliu-ai.github.io/biomedvr-page/

DriveStack-VLA: Render-Teacher Alignment for BEV-Based DeepStack Vision-Language-Action Model

DriveStack-VLA: 基于BEV的DeepStack视觉-语言-动作模型的渲染-教师对齐

Jingke Wang, Zhenru Zhao, Shuangming Lei, Hao Su, Yuehao Huang, Yijia Xie, Kai Tang, Guanglin Xu, AiXue Ye, Yukai Ma, Yong Liu

机构 * Zhejiang University（浙江大学） ； The 2012 Labs, Huawei（华为2012实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出DriveStack-VLA框架，通过DeepStack连接注入BEV表示并采用渲染-教师对齐增强空间感知，引入自批评模块优化轨迹选择，在多个驾驶基准上取得领先性能。

Hierarchical Multi-Modal Retrieval for Knowledge-Grounded News Image Captioning

基于知识的分层多模态检索用于新闻图像描述生成

Minh-Loi Nguyen, Xuan-Vu Le, Long-Bao Nguyen, Hoang-Bach Ngo, Trung-Nghia Le

机构 * University of Science, VNU-HCM（越南国立大学胡志明市分校理学院） ； Vietnam National University, Ho Chi Minh City（越南国立大学胡志明市分校） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.CV

AI总结 提出分层多模态文章检索增强的图像描述框架，通过结构感知检索和上下文精炼，结合VLM和LLM生成富含上下文细节的描述，在EVENTA 2025挑战赛中获得第5名。

Comments SOICT 2025

Beyond the Linear Separability Ceiling: Aligning Representations in VLMs

超越线性可分上限：对齐视觉-语言模型中的表征

Enrico Vompa, Tanel Tammet, Mohit Vaishnav

机构 * Applied Artificial Intelligence Group（应用人工智能小组） ； Tallinn University of Technology（塔林技术大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.CV

AI总结 提出线性可分上限（LSC）诊断框架，发现VLM存在对齐差距，并通过对比目标重塑视觉流形，使模型在抽象组合推理任务上显著超越LSC。

Comments Accepted TMLR

FrameOracle: Learning What to See and How Much to See in Videos

FrameOracle: 学习在视频中看什么以及看多少

Chaoyu Li, Tianzhi Li, Fei Tao, Zhenyu Zhao, Ziqian Wu, Maozheng Zhao, Juntong Song, Cheng Niu, Pooyan Fazli

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出FrameOracle轻量模块，预测相关帧及其数量，通过课程学习从弱代理信号到强监督，在多个VLM和基准上以更少帧数保持或提升精度。

Comments ICML 2026. Project page: https://people-robots.github.io/frameoracle/

ReMoT: Reinforcement Learning with Motion Contrast Triplets

ReMoT: 基于运动对比三元组的强化学习

Cong Wan, Zeyu Guo, Jiangyang Li, SongLin Dong, Yifan Bai, Lin Peng, Zhiheng Ma, Yihong Gong

机构 * Xi’an Jiaotong University（西安交通大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； DAMO Academy, Alibaba Group（阿里巴巴集团 DAMO 院） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.CV

AI总结 提出ReMoT统一训练范式，通过规则生成大规模运动对比数据集和组相对策略优化，解决VLM时空一致性问题，在时空推理任务上提升25.1%。

Comments CVPR 2026 Highlight

Once-For-All: A Train-Once and Select-Anytime Framework for Multimodal Instruction Tuning

Once-For-All: 一种用于多模态指令微调的“一次训练，随时选择”框架

Mingkang Dong, Hongyi Cai, Xiwen Lei, Jie Li, Tao Zhang, Muxin Pu

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出OFA框架，通过一次训练可迁移的选择器，无需重新计算即可从任意数据集或模型中筛选出最具信息量的多模态指令数据，实现高效微调。

Comments 15 pages, 6 figures. Mingkang Dong and Hongyi Cai contributed equally to this work. Muxin Pu is the corresponding author