视觉大模型 / VLM

VIBE: Annotation-Free Video-to-Text Information Bottleneck Evaluation for TL;DR

VIBE：用于TL;DR的无注释视频到文本信息瓶颈评估

Shenghui Chen, Po-han Li, Sandeep Chinchali, Ufuk Topcu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 针对决策任务中VLM输出冗长及现有评估依赖人工注释的问题，提出无注释的VIBE方法，用基础和效用指标对VLM输出评分并排序选择，在多个数据集上验证该方法能显著提升任务准确性、减少响应时间。

From Alignment to Synthesis Contrastive Volumetric Grounding for Text-to-CT Generation

从对齐到合成：用于文本到CT生成的对比体 grounding

Daniele Molino, Camillo Maria Caruso, Filippo Ruffini, Paolo Soda, Valerio Guarrasi

机构 * Unit of Artificial Intelligence and Computer Systems, Department of Engineering, Università Campus Bio-Medico di Roma（人工智能与计算机系统单位，工程系，罗马生物医学大学） ； Department of Diagnostics and Intervention, Biomedical Engineering and Radiation Physics, Umeå University（诊断与干预部门，生物医学工程与放射物理学，乌梅拉大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title,title_cn)；分类 cs.CV、cs.AI

AI总结 该研究针对文本到CT生成的视觉-语言对齐瓶颈，提出带结构化难负样本的3D-CLIP编码器，结合端到端潜在扩散模型，在CT-RATE数据集上实现了优于现有方法的性能。

Comments Accepted at BMVC 2026

Detect Before You Leap: Mirage Detection in Vision-Language Models

在跳跃前检测：视觉语言模型中的幻象检测

Sayeed Shafayet Chowdhury, Md. Shaown Miah, S. M. Taiabul Haque, Syed Ishtiaque Ahmed

机构 * Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校） ； Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 针对视觉语言模型在缺乏视觉证据时产生自信但无根据回答的幻象问题，提出文本条件层内对齐方法，通过分析视觉编码器各层补丁令牌与问题嵌入的对齐轨迹，结合像素统计、零样本域路由和结构化自评估，实现高精度预响应幻象检测。

Unveiling the Visual Counting Bottleneck in Vision-Language Models

揭示视觉语言模型中的视觉计数瓶颈

Xingzhou Pang, Yifan Hou, Junling Wang, Mrinmaya Sachan

机构 * Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；VLM(abstract_cn)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 通过分解视觉计数为三个认知阶段，发现视觉语言模型在符号映射阶段失败，提出断裂数量假说：模型学习到分离的模态特定统计流形，无法实现跨模态对齐。

Comments ICML 2026

Zero-Shot Distracted Driver Detection via Vision Language Models with Double Decoupling

基于双解耦视觉语言模型的零样本分心驾驶员检测

Takamichi Miyata, Sumiko Miyata, Andrew Morris

机构 * Chiba Institute of Technology（千叶工业大学） ； Institute of Science Tokyo（东京科学大学） ； Loughborough University（拉夫堡大学） 纠错

专题命中 视觉定位与Grounding ：vision language model(title)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出一种主体解耦框架，通过提取驾驶员外观嵌入并从图像嵌入中移除其影响，再结合度量投影正交化文本嵌入，实现零样本分心驾驶检测，显著提升实际场景性能。

Comments Accepted to IEEE 15th International Symposium on Communication Systems, Networks and Digital Signal Processing (CSNDSP 2026)

LVSum: A Benchmark for Timestamp-Aware Long Video Summarization

LVSum：一个用于时间感知长视频摘要的基准测试

Alkesh Patel, Melis Ozyildirim, Ying-Chang Cheng, Ganesh Nagarajan

机构 * Apple（苹果公司） 纠错

专题命中 视觉定位与Grounding ：MLLM(summary_cn,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出LVSum基准测试，用于评估长视频摘要中时间对齐的性能，通过引入新的评估指标揭示现有MLLM在时间理解上的系统性差距。

Comments 25 pages, 5 tables, 3 figures

Visual-Language-Guided Task Planning for Horticultural Robots

面向园艺机器人的视觉-语言引导任务规划

Jose Cuaran, Kendall Koe, Aditya Potnis, Naveen Kumar Uppalapati, Girish Chowdhary

机构 * the Siebel School of Computing and Data Science（塞比尔计算与数据科学学院） ； the Department of Agricultural and Biological Engineering（农业与生物工程系） ； National Center for Supercomputing Applications（国家超级计算中心） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract)；vision language model(abstract)；grounding(abstract)

AI总结 提出一种模块化框架，利用视觉语言模型（VLM）主动查询异构数据源来引导机器人任务规划，在单作和混作环境中进行短期和长期作物监测任务基准测试，发现零样本VLM在短期任务中表现稳健（成功率87%），但长期多目标任务成功率低于10%，且依赖噪声语义地图时性能下降。

Comments 18 pages, 6 figures

DAEP: Difficulty-Aware Evidence Planning for Medical Video Corpus Temporal Answer Grounding

DAEP：面向医学视频语料时序答案 grounding 的难度感知证据规划

Tianjian He, Yujie Liu, Zhiping Huang, Changbo Xu

机构 * TikTok, ByteDance（字节跳动TikTok） ； Beijing Institute of Graphic Communication（北京印刷学院） ； Lingnan University（岭南大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title,title_cn)；分类 cs.CV

AI总结 BIGC团队提出DAEP方案，通过多模态证据排名与难度感知规划，在NLPCC 2026共享任务中以0.2728的平均得分获第一名，提升了医学视频时序答案定位的性能。

Comments 12 pages, 2 figures, 5 tables, accepted by NLPCC 2026 Shared Task Track 3

MEDIC-AD: Towards Medical Vision-Language Model's Clinical Intelligence

MEDIC-AD：迈向医疗视觉-语言模型的临床智能

Woohyeon Park, Jaeik Kim, Sunghwan Steve Cho, Pa Hong, Wookyoung Jeong, Yoojin Nam, Namjoon Kim, Ginny Y. Wong, Ka Chun Cheung, Jaeyoung Do

机构 * AIDAS Laboratory, Seoul National University（首尔大学AIDAS实验室） ； Samsung Changwon Hospital（三星昌原医院） ； Samsung Medical Center（三星医疗中心） ； NVIDIA, Santa Clara, USA（英伟达（美国圣克拉拉）） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 MEDIC-AD通过分阶段框架提升医疗视觉-语言模型在病变检测、症状跟踪和视觉可解释性方面的性能，实现临床应用中的最优表现。

Journal ref CVPR 2026

Models Can Model, But Can't Bind: Structured Grounding in Text-to-Optimization

模型可以建模，但无法绑定：文本到优化中的结构化 grounding

Zhiqi Gao, Albert Ge, Alexander Berenbeim, Nathaniel D. Bastian, Frederic Sala

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； United States Military Academy（美国军事学院） 纠错

专题命中 视觉定位与Grounding ：grounding(title,title_cn)；分类 cs.LG

AI总结 本文研究了文本到优化任务中建模与绑定两个关键能力的分离性，发现随着实例数据增长，模型准确性下降，提出BIND方法通过结构化文件外部化数据来提升绑定性能，验证了绑定专精模型在不同优化类别中的优势。

Comments Accepted to COLM 2026. Code and data: https://github.com/SprocketLab/Text2Opt-Bench

HKVLM: Faithful Query--Region Binding for Frozen-Detector Visual Grounding

HKVLM：通过将语言查询绑定到冻结检测器实现忠实推理定位

Bo Ma

机构 * Bo Ma 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出HKVLM框架，通过将定位从语言路径中分离，利用冻结检测器和语言模型，仅训练轻量对齐钩子实现推理定位，在少样本冷启动场景下显著提升定位精度并减少幻觉。

Image-based Geo-localization for Robotics: Are Black-box Vision-Language Models there yet?

基于图像的机器人地理定位：黑盒视觉语言模型是否已经足够？

Sania Waheed, Bruno Ferrarini, Michael Milford, Sarvapali D. Ramchurn, Shoaib Ehsan

机构 * University of Southampton（南安普顿大学） ； MyWay srl ； Queensland University of Technology（昆士兰科技大学） ； University of Essex（埃塞克斯大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文首次系统研究黑盒生成式视觉语言模型作为独立零样本地理定位系统的潜力，发现其在粗粒度定位上表现良好，但在细粒度定位上因现实变化而显著退化。

Comments Accepted to the ICRA 2026 Workshop on Multi-Modal Spatial AI for Robust Navigation and Open-World Understanding (MM-SpatialAI)

Grounding Multi-Hop Reasoning in Structural Causal Models via Group Relative Policy Optimization

通过群体相对策略优化在结构因果模型中 grounding 多跳推理

Yunhan Bu, Quan Zhang, Huaping Zhang, Guotong Geng, Chunxiao Gao, Askar Hamdulla, Juan Wang, Qiuchi Li, Baohua Zhang, Shuai Lei, Yunbo Cao, Zhunchen Luo

机构 * School of Computer Science and Technology, Xinjiang University, Urumqi, China（新疆大学计算机科学与技术学院，乌鲁木齐，中国） ； Beijing Institute of Technology, Beijing, China（北京理工大学，北京，中国） ； Military Science Information Research Center, Academy of Military Science, Beijing, China（军事科学院军事科学信息研究中心，北京，中国） 纠错

专题命中 视觉定位与Grounding ：grounding(title,title_cn)；分类 cs.AI

AI总结 本文提出基于结构因果模型的多跳事实验证框架，通过群体相对策略优化解决推理链长度与准确率的平衡问题，实验表明其在HoVer和EX-FEVER数据集上优于现有方法。

Open-Vocabulary BEV Segmentation with 3D-Aware Geometric Constraints

开放词汇BEV分割：基于3D感知几何约束的方法

Hojun Choi, Seulbin Hwang, Daejung Kim, Kisung Kim, Hyunjung Shim, Jinhan Lee

机构 * KAIST AI（韩国科学技术院人工智能） ； NAVER LABS（NAVER实验室） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 针对开放词汇BEV分割中2D VLM语义到BEV的3D几何不一致问题，提出OVBEVSeg框架，通过三阶段几何约束（伪标签、场景优化、知识蒸馏）实现高效在线推理，在nuScenes上未见类别mIoU超越闭集方法15.3，推理速度提升2.5倍。

Comments This paper has been accepted to ECCV 2026

Ophiuchus: Incentivizing Tool-augmented "Think with Images" for Joint Medical Segmentation, Understanding and Reasoning

Ophiuchus: 激励工具增强的“图像思考”用于联合医学分割、理解与推理

Yankai Jiang, Yujie Zhang, Peng Zhang, Wenjie Li, Yichen Li, Jintai Chen, Xiaoming Shi, Shihui Zhen

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Information Hub, HKUST (Guangzhou)（信息枢纽，香港科技大学（广州）） 纠错

专题命中 视觉定位与Grounding ：MLLM(summary_cn,abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出Ophiuchus框架，通过三阶段训练策略（冷启动SFT、自反思微调、工具强化学习）使MLLM动态聚焦细粒度视觉区域，实现精准医学分割与诊断。

GridVAD: Open-Set Video Anomaly Detection via Spatial Reasoning over Stratified Frame Grids

GridVAD: 通过分层帧网格上的空间推理实现开放集视频异常检测

Mohamed Eltahir, Ahmed O. Ibrahim, Obada Siralkhatim, Tabarak Abdallah, Sondos Mohamed

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； Independent Researcher（独立研究员） ； National Center for Research (NCR)（国家研究中心） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract,abstract_cn)；grounding(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 GridVAD通过分层帧网格的空间推理生成开放集候选描述，结合自一致性巩固和空间跟踪模块实现像素级异常掩码，其在UCSD Ped2上达到77.59的Pixel-AUROC，优于其他方法。

Comments Accepted at the Large-scale Video Object Segmentation (LVOS) Workshop in conjunction with ECCV 2026

VLC Fusion: Vision-Language Conditioned Sensor Fusion for Robust Object Detection

VLC Fusion：面向鲁棒目标检测的视觉-语言条件传感器融合

Aditya Taparia, Noel Ngu, Mario Leiva, Joshua Shay Kricheli, John Corcoran, Nathaniel D. Bastian, Gerardo Simari, Paulo Shakarian, Ransalu Senanayake

机构 * Arizona State University（亚利桑那州立大学） ； Department of Computer Science and Engineering, Universidad Nacional del Sur and Institute for Computer Science and Engineering（计算机科学与工程系，国家南方大学和计算机科学与工程研究所） ； U.S. Department of Defense（美国国防部） ； United States Military Academy（美国军事学院） ； Syracuse University（雪城大学） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出VLC Fusion视觉-语言条件传感器融合框架，利用VLM捕捉环境线索动态调整模态权重，在多传感器融合目标检测任务中，于自动驾驶与军事目标数据集上较传统方法实现更优性能。

Comments 27 pages, 20 figures, Accepted for presentation at ECML PKDD 2026, Shortlisted for the Best Research Track Student Paper Award

An Intelligent-Cloud Edge Multimodal Interaction System for Robots

一种用于机器人的智能云边缘多模态交互系统

Zihan Guo, Xiaoqi Li

机构 * Hainan University（海南大学） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 针对复杂环境下资源受限机器人的交互问题，提出云边缘多模态交互框架，集成增强YOLO手势检测器与LLM、VLM智能体，改进手势检测方法，经实验验证该系统在手势检测精度、任务成功率及用户满意度方面表现良好，证明了方法的可行性。

The Truth Stays in the Family: Enhancing Contextual Grounding via Inherited Truthful Heads in Model Lineages

真相留在家族中：通过模型谱系中继承的真相头增强上下文基础

Miso Choi, Seonga Choi, Mincheol Kwon, Woosung Joung, Jinkyu Kim, Jungbeom Lee

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title)；MLLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究发现基础LLM与下游变体间存在上下文真相分数的强继承性，提出TruthProbe软门控策略放大真相头以提升上下文真实性并减少多模态幻觉。

Comments Accepted at ICML 2026

MolSight: A Graph-Aware Vision-Language Model for Unified Chemical Image Understanding

MolSight: 一种用于统一化学图像理解的图感知视觉语言模型

Wenda Wang, Yihan Tong, Yuwei Hu, Xuchen Pan, Zhewei Wei, Yaliang Li, Bolin Ding

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出MolSight框架，通过分子拓扑模块和分子接地模块增强视觉语言模型对分子图像的结构理解，在多项化学视觉理解任务中显著优于现有模型。

AGMark: Attention-Guided Dynamic Watermarking for Large Vision-Language Models

AGMark：基于注意力的动态水印技术用于大视觉-语言模型

Yue Li, Xin Yi, Dongsheng Shi, Yongyi Cui, Gerard de Melo, Linlin Wang

机构 * East China Normal University（华东师范大学） ； Hasso Plattner Institute（哈索普拉特纳研究所） ； University of Potsdam（波茨坦大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title)；vision language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 AGMark通过动态注意力机制提升大视觉-语言模型的水印可靠性，实现高质量生成和强视觉语义保真度。

Comments KDD 2026

OpenGround: Planning-based Online Perception for Open-World 3D Visual Grounding

OpenGround：基于规划的开放世界3D视觉定位在线感知

Wenyuan Huang, Zhenyu Zhang, Zhao Wang, Zhou Wei, Ting Huang, Fang Zhao, Jian Yang

机构 * Nanjing University, School of Intelligent Science and Technology（南京大学智能科学与技术学院） ； China Mobile Zijin Innovation Institute（中国移动紫金创新院） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；visual language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对开放世界3D视觉定位中现有方法的局限，提出OpenGround框架，集成任务链规划与上下文引导感知，还构建OpenTarget数据集。实验表明其在多个数据集上性能优异，在开放世界评估中有显著提升。

Comments ECCV2026, 46 pages, 13 figures, 15 tables

Cross-Cultural Value Attribution in Large Vision-Language Models

跨文化价值观意识在大型视觉-语言模型中的体现

Phillip Howard, Xin Su, Kathleen C. Fraser

机构 * Thoughtworks ； University of Ottawa（渥太华大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了图像中文化背景如何影响大型视觉-语言模型对人物道德、伦理和政治价值观的判断，通过多维分析揭示模型对文化价值观差异的认知。

T-QPM: Enabling Temporal Out-Of-Distribution Detection and Domain Generalization for Vision-Language Models in Open-World

T-QPM：面向开放世界视觉语言模型的时间分布外检测与域泛化

Aditi Naiknaware, Salimeh Sekeh

机构 * San Diego State University（圣地亚哥州立大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出T-QPM框架，通过时间四元模式匹配和轻量级融合权重学习，增强视觉语言模型在动态环境下的分布外检测和协变量偏移鲁棒性。

GEASS: Gated Evidence-Adaptive Selective Caption Trust for Vision-Language Models

GEASS: 基于证据适应的门控选择性描述信任机制用于视觉-语言模型

Zeshang Li, Shuoyang Zhang

机构 * University of International Relations（国际关系大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出GEASS，一种无需训练的模块，通过门控、加权和证据标准来决定模型在每个查询中消耗多少描述信息，从而提升视觉-语言模型的准确性。

Comments 18 pages, 12 figures

Toward Visual Grounding: A Survey

视觉定位：一项综述

Linhui Xiao, Xiaoshan Yang, Xiangyuan Lan, Yaowei Wang, Changsheng Xu

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV

AI总结 本综述梳理视觉定位的发展与背景，总结近年进展与新挑战，定义规范研究设置，介绍相关数据集与应用，提出未来方向，是该领域最全面的综述，适合不同阶段研究者。

Comments Accepted by TPAMI 2025. We keep tracing related works at https://github.com/linhuixiao/Awesome-Visual-Grounding, article publication page: https://ieeexplore.ieee.org/abstract/document/11235566

Journal ref IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 48, no. 3, pp. 2749-2771, March 2026

FARM: Find Anything using Relational Spatial Memory

FARM: 使用关系空间记忆找到任何物体

Siming He, Leo Huang, Adam Lilja, Fabio Huebel, Jonas Frey, Marco Pavone, S. Shankar Sastry, Jitendra Malik, Claire Tomlin

机构 * UC Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract)；grounding(abstract)

AI总结 提出FARM系统，通过实时构建包含几何、视觉语言描述和视角证据的开放词汇物体级记忆，并利用VLM解析查询和显式空间约束，在44k语言查询中Recall@5和Recall@10分别提升164%和224%，Accuracy@1提升35%。

UniGround: Universal 3D Visual Grounding via Training-Free Scene Parsing

UniGround: 通过无训练场景解析实现通用三维视觉接地

Jiaxi Zhang, Yunheng Wang, Wei Lu, Taowen Wang, Shuning Zhang, Yixiao Feng, Junzhe Xu, Shunwang Sun, Weisheng Xu, Yuetong Fang, Renjing Xu

机构 * The Hong Kong University of Science and Technology(Guangzhou)（香港科学与技术大学（广州）） ； Shanghai Normal University（上海师范大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 UniGround通过无训练的视觉和几何推理实现通用三维视觉接地，超越训练数据限制，在ScanRefer和EmbodiedScan上取得新突破。

Comments 30 pages,9 figures,11 tables

CAVE: Competence-Aware Visual Boundary Evidence Alignment for Video Temporal Grounding

CAVE：面向视频时序定位的能力感知视觉边界证据对齐

Wei Jia, Zhicong Lu, Yu Chen, Xiang Wang, Shuai Li, Wenqian Lv, Jiayue Cao, Huaxing Liu

机构 * AMAP, Alibaba Group（阿里巴巴集团AMAP） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 针对视频时序定位中视觉证据与时间戳错位的问题，提出CAVE方法，通过边界证据奖励、轻量级热身及性能感知门控，在公开基准上验证了有效性。

Forgetting-Resistant and Lesion-Aware Source-Free Domain Adaptive Fundus Image Analysis with Vision-Language Model

具有遗忘抵抗性和病变意识的源无关域自适应视网膜图像分析与视觉-语言模型

Zheang Huai, Hui Tang, Hualiang Wang, Xiaomeng Li

机构 * The Hong Kong University of Science（香港科学与技术大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出FRLA方法，通过保留目标模型的自信预测和利用ViL模型的细粒度知识，提升视网膜图像诊断的源无关域自适应性能。

Comments Some experimental results in Section 3 are based on comparisons that may not be entirely fair