视觉大模型 / VLM

M2Note: Continual Evolution of Vision Language Models via Mistake Notebook Learning

M2Note: 通过错误笔记本学习实现视觉语言模型的持续演化

Haiwen Li, Jing Tang, Rui Chen, Lei Sun, Xiangxiang Chu

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 提出M2Note，一种无需训练的持续演化框架，通过将失败轨迹转化为可编辑的笔记，利用多模态检索增强生成在推理时引导模型，避免重复错误，并在多个基准上提升性能。

UniDrive-WM: Unified Understanding, Planning and Generation World Model for Autonomous Driving

UniDrive-WM：面向自动驾驶的统一理解、规划和生成世界模型

Zhexiao Xiong, Xin Ye, Burhan Yaman, Sheng Cheng, Yiren Lu, Jingru Luo, Nathan Jacobs, Liu Ren

机构 * Bosch Research North America & Bosch Center for Artificial Intelligence (BCAI)（博世北美研究院与博世人工智能中心） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Arizona State University（亚利桑那州立大学） ； Case Western Reserve University（凯斯西储大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 提出UniDrive-WM，一个基于VLM的统一世界模型，联合执行场景理解、轨迹规划和未来图像生成，在Bench2Drive上轨迹误差降低7.3%，碰撞率降低10.4%。

Comments Accepted to ECCV 2026. Project Page: https://unidrive-wm.github.io/UniDrive-WM

Steal the Patch Size: Adversarially Manipulate Vision-Language Models

窃取补丁大小：对抗性操纵视觉-语言模型

Kai Hu, Akash Bharadwaj, Weichen Yu, Matt Fredrikson

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出一种黑盒模型窃取攻击，通过任务级侧信道推断视觉语言模型的补丁大小和预处理流程，并利用泄露信息实现预处理感知的迁移攻击和模型定向对抗操纵。

Journal ref ICML 2026

MVPruner: Dynamic Token Pruning for Accelerating Multi-view Vision-Language Models in Autonomous Driving

MVPruner: 用于加速自动驾驶中多视图视觉语言模型的动态令牌剪枝

Nan Yang, Zhanwen Liu, Linfeng Zhang, Shangyu Xie, Yang Wang, Wenzhuo Zhou, Xiangmo Zhao

机构 * School of Information Engineering, Chang’an University, China（长安大学信息工程学院） ； School of Artificial Intelligence, Shanghai Jiaotong University, China（上海交通大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出MVPruner，一种两阶段自适应令牌剪枝方法，通过动态分配剪枝预算和基于指令的令牌选择，在保持精度的同时大幅降低计算量，实现多视图视觉语言模型的高效推理。

Comments accepted by ECCV26

Interact3D: Compositional 3D Generation of Interactive Objects

Interact3D: 交互式物体的组合3D生成

Hui Shan, Keyang Luo, Ming Li, Sizhe Zheng, Yanwei Fu, Zhen Chen, Xiangru Huang

机构 * Zhejiang University（浙江大学） ； Shanghai Innovation Institute（上海创新研究院） ； Westlake University（西湖大学） ； Adobe ； Fudan University（复旦大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出Interact3D框架，通过统一3D引导场景、两阶段组合流水线（全局到局部几何对齐和基于SDF的优化）以及闭环智能体修正策略，从单张图像生成物理合理的交互式3D组合物体，解决遮挡和空间关系保持问题。

Comments Accepted to ECCV 2026

Towards High-Resolution Visual Perception via Hierarchical Entity Exploration

通过层次化实体探索实现高分辨率视觉感知

Ziyu Ma, Shidong Yang, Yuxiang Ji, Yiming Hu, Tongwen Huang, Yong Wang, Jianfei Cai, Xiangxiang Chu

机构 * AMAP, Alibaba Group, China（阿里巴巴集团高德地图，中国） ； Monash University, Australia（莫纳什大学，澳大利亚） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出无训练、模型无关的层次化实体探索框架HEE，通过动态查询引导、双评分机制和置信度回溯，解决高分辨率图像中细粒度细节丢失问题，在多个基准上超越现有方法。

Comments Accepted by ECCV2026

DroneFINE: Domain-Aware Parameter-Efficient Fine-Tuning of Vision-Language Detectors for Drone Images

DroneFINE: 面向无人机图像的视觉-语言检测器的域感知参数高效微调

Ke Wu, Yanan Zhang, Yingjie Gao, Wenhao Li, Chenyu Zhou, XinZhu Ma, Jiaxin Chen, Di Huang

机构 * National College for Excellent Engineers, Beihang University, Beijing, China（北京航空航天大学优秀工程师学院） ； School of Computer Science and Engineering, Beihang University, Beijing, China（北京航空航天大学计算机科学与工程学院） ； School of Computer Science and Information Engineering, Hefei University of Technology, Hefei, China（合肥工业大学计算机科学与信息工程学院） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, Beijing, China（虚拟现实技术与系统国家重点实验室） ； Innovation Center for Intelligent System Cognition and Decision-Making, Beijing, China（智能系统认知与决策创新中心） ； Information Science Academy of China Electronics Technology Group Corporation, Beijing, China（中国电子科技集团有限公司信息科学研究院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 针对无人机图像与视觉语言模型预训练数据之间的域差异，提出包含HyperAdapter和SemanticGate的域感知参数高效微调方法，在减少可训练参数的同时达到与全微调相当的性能。

Comments Accepted by ECCV2026

Multimodal and Multiscale Spatial-Temporal Semantic Search and Recommendation with AI Foundation Models

基于AI基础模型的多模态与多尺度时空语义搜索与推荐

Yuanyuan Tian, Wenwen Li, Xiao Chen, Michael Brook, Michael Brubaker, Anna Liljedahl, Chitta Baral

机构 * School of Geographical Sciences and Urban Planning, Arizona State University（地理科学与城市规划学院，亚利桑那州立大学） ； Alaska Native Tribal Health Consortium（阿拉斯加原住民部落健康联盟） ； Woodwell Climate Research Center（伍德沃德气候研究中心） ； School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 提出融合大语言模型和视觉-语言模型的框架，通过CAMERA算法融合文本与视觉信息生成更丰富嵌入，以及ASTRA算法结合尺度依赖的时空相关性与语义相似性进行重排序，在环境事件文档检索中优于单模态方法。

Comments 17 pages, accepted for publication in the ACM Transactions on Spatial Algorithms and Systems

Magic-MM-Embedding: Towards Visual-Token-Efficient Universal Multimodal Embedding with MLLMs

Magic-MM-Embedding: 面向视觉令牌高效的多模态大语言模型通用嵌入

Qi Li, Yanzhe Zhao, Yongxin Zhou, Yameng Wang, Yandong Yang, Yuanjia Zhou, Jinxiang Liu

机构 * Honor Device Co., Ltd., China（荣耀终端有限公司，中国） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出Magic-MM-Embedding，通过视觉令牌压缩架构和多阶段渐进训练策略，在通用多模态嵌入中实现高效率和最先进性能。

Comments Accepted by ECCV 2026

Information-Regularized Attention for Visual-Centric Reasoning

信息正则化注意力用于以视觉为中心的推理

Guohao Sun, Xiaofang Wang, Yash Patel, Mengchen Liu, Zhiqiang Tao, Praveen Krishnan

机构 * FAIR at Meta（Meta 的 FAIR 部门） ； Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 针对视觉语言模型中的对象幻觉、视觉基础弱和灾难性遗忘问题，提出信息正则化注意力机制，通过随机注意力显式调控视觉信息注入，改善表示学习稳定性。

Comments Accepted by ECCV 2026

Retrieved Images as Visual Thought: Training-Free Multimodal In-Context Learning for the Open-vs-Closed Gap

检索图像作为视觉思维：面向开放与封闭差距的无训练多模态上下文学习

Bingchen Huang, Zhiling Wang, Yifu Chen, Yuanchao Du

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 提出无训练框架ReVisIT，通过检索图像-标签对作为视觉思维单元，结合结构化类定义、多模态检索和交替注入示例，在多个基准上显著提升性能，弥合开放与封闭任务差距。

Comments 12 pages, 6 figures. Includes appendix. Introduces the MAAC-Bench benchmark

Selective Test-Time Debiasing for CLIP via Reward Gating

通过奖励门控实现CLIP的选择性测试时去偏

Jaeho Han, Jisoo Yang, Hyeondong Woo, Mingyu Jeon, Sunjae Yoon, Junyeong Kim

机构 * Department of Artificial Intelligence, Chung-Ang University（中央大学人工智能系） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract_cn)

AI总结 提出基于强化学习的测试时自适应框架RG-TTA，根据输入对偏见的敏感性选择性应用去偏，在减少偏见的同时保持零样本性能。

Comments 15 pages, 7 figures, 11 tables

LeVLJEPA: End-to-End Vision-Language Pretraining Without Negatives

LeVLJEPA：无负样本的端到端视觉语言预训练

Lukas Kuhn, Giuseppe Serra, Randall Balestriero, Florian Buettner

机构 * German Cancer Research Center（德国癌症研究中心） ； German Cancer Consortium（德国癌症联盟） ； Goethe University Frankfurt（法兰克福大学） ； Brown University（布朗大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出首个完全非对比的端到端视觉语言预训练方法LeVLJEPA，通过跨模态预测与分布正则化学习，无需负样本、温度参数等，生成更强的密集语义特征，在下游任务中优于对比基线。

StochasT: Learning with Stochastic Turn Depth for Visual Instruction Tuning

StochasT：基于随机轮次深度的视觉指令微调学习

Yuan Qing, Chengzhi Mao, Boqing Gong

机构 * Boston University（波士顿大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 针对视觉指令微调中多轮训练与单轮测试不匹配的问题，提出StochasT方法，通过随机分组语言任务为不同大小的轮次深度，增强模型在单轮和多轮场景下的鲁棒性。

Comments Accepted to ECCV 2026. Project page and code: https://yuanqing-ai.github.io/StochasT

Stateful Token Reduction for Long-Video Hybrid VLMs

面向长视频混合视觉语言模型的有状态令牌缩减

Jindong Jiang, Amala Sanjay Deshmukh, Kateryna Chumachenko, Karan Sapra, Zhiding Yu, Guilin Liu, Andrew Tao, Pavlo Molchanov, Jan Kautz, Wonmin Byeon

机构 * NVIDIA（英伟达） 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 针对混合Mamba-Transformer视觉语言模型，提出有状态令牌缩减方法，利用Mamba层的状态保持特性实现压缩而非剪枝，在25%令牌预算下实现3.8-4.2倍预填充加速，同时保持基线精度。

MMLoP: Multi-Modal Low-Rank Prompting for Efficient Vision-Language Adaptation

MMLoP: 多模态低秩提示用于高效视觉-语言适配

Sajjad Ghiasvand, Haniyeh Ehsani Oskouie, Mahnoosh Alizadeh, Ramtin Pedarsani

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出MMLoP框架，通过低秩分解参数化视觉和文本提示，仅用11.5K可训练参数实现深度多模态提示，并引入自调节一致性损失、均匀漂移校正和共享上投影三个组件，在11个数据集上达到79.70%的基类到新类泛化调和平均。

Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs

醒来触摸！多模态大语言模型中的掩码隔离触觉对齐学习

Yoonhyung Park, Minji Kim, Sungwon Moon, Jiyoung Lee

机构 * Division of Artificial Intelligence & Software（人工智能与软件系） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 提出Splash框架，通过参数空间划分（休眠/关键子空间）实现非破坏性触觉模态扩展，在不增加推理开销下保持视觉语言能力，在触觉基准上达到SOTA。

Comments ECCV 2026, Project page: http://mmai.ewha.ac.kr/splash/

Prompt2Effect: Training-Free Image-to-Video Model Specialization via LoRA Generation

Prompt2Effect: 通过LoRA生成实现免训练图像到视频模型特化

Xiaomeng Yang, Yanyu Li, Gordon Guocheng Qian, Ivan Skorokhodov, Viacheslav Ivanov, Avalon Vinella, Xuan Zhang, Yanzhi Wang, Sergey Tulyakov, Anil Kag

机构 * Northeastern University（东北大学） ； Snap Inc.（Snap公司） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 提出Prompt2Effect，一种权重驱动超网络，通过单次前向传播直接合成效果特定的LoRA权重，无需训练，在保持视频质量的同时将计算成本从56 GPU小时降至3.3秒。

Comments Accepted to ECCV 2026, project page: https://xiaomeng-yang.github.io/Prompt2Effect

From Objectives to Applications: Aligning Architectural Biases in Audio Self-Supervised Learning

从目标到应用：对齐音频自监督学习中的架构偏差

Kele Xu, Yulu Fang, Boda Zhou, Yulin Sun, Qisheng Xu, Qiya Song, Jin Zhang, Cheng Yang, Huaimin Wang

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 本文通过预训练目标、架构归纳偏差与下游应用的对齐，系统分析音频自监督学习，围绕五种范式讨论不同监督信号对表征的影响，并关联到CNN、RNN、状态空间模型、Transformer及混合架构的偏差，最后解读在语音、环境声、音乐、医学及多模态等领域的应用。

Enhancing Audio Captioning with Auxiliary AudioSet Semantics

利用辅助AudioSet语义增强音频描述生成

Shubham Gupta, Adarsh Arigala, Sri Rama Murty Kodukula

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 提出一种资源高效的自动音频描述生成框架，通过ConvNeXt编码器提取帧级声学表示并融合AudioSet关键词语义，使用紧凑的六层BART解码器生成描述，在Clotho V2和AudioCaps上取得竞争性性能。

Decompose, Compare, and Decide: Multimodal LLMs are Implicit Few-Shot Learners

分解、比较与决策：多模态大语言模型是隐式少样本学习者

Yunhan Wang, Eshika Khandelwal, Edson Araujo, Walid Bousselham, Nina Shvetsova, Hilde Kuehne

机构 * Tuebingen AI Center, University of Tuebingen（图宾根大学图宾根人工智能中心） 纠错

专题命中 其他VLM ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出DeCoDe方法，通过将少样本分类分解为成对图像比较，利用现有多模态大语言模型（MLLM）的logit作为相似度分数，无需额外训练即可实现强少样本分类，在多个基准上显著超越现有方法。

DroneIQA-VLE: Multi-Task Drone Image Quality Assessment via Vision-Language Ensemble

DroneIQA-VLE：基于视觉-语言集成的多任务无人机图像质量评估

Wei Sun, Weixia Zhang, Hongjian Zhan, Mingkai Lu, Yixuan Gao, Guangtao Zhai

机构 * East China Normal University（华东师范大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV

AI总结 提出DroneIQA-VLE框架，通过集成SigLIP2视觉编码器与多任务回归头以及LoRA微调的Qwen3.5-9B多模态大模型，联合预测全局、目标和背景质量分数，在ICME 2026无人机图像质量评估挑战赛中获得第二名。

Comments The model achieves 2nd place in ICME 2026 Drone-IQA Grand Challenge on Target-aware Image Quality Assessment for Low-altitude UAV Images