视觉大模型 / VLM

PROBE: Manipulation-Grounded Visual Question Answering with VLM Agents

PROBE：基于操作的视觉问答（使用VLM智能体）

Vineet Bhat, Siyi Chen, Alex Zook, Xuning Yang, Stan Birchfield, Valts Blukis, Jonathan Tremblay

机构 * NVIDIA（英伟达） 纠错

专题命中 视觉问答 ：VLM(title,title_cn)；visual question answering(title,abstract)；vision-language model(abstract)；grounding(abstract)

AI总结 针对现实杂乱环境中需操作遮挡物体的视觉问答问题，提出PROBE框架，含模拟器、基准测试集及微调方案，提升VLM智能体性能并验证模拟到现实的迁移。

Memory Tree Guided Key Frame Querying for Efficient 3D Question Answering

基于记忆树引导的关键帧查询的高效三维问答

Hsiang-Wei Huang, Fu-Chen Chen, Li-Wu Tsao, Cheng-Han Lee, Che-Chun Su, Lu Xia, Ronghui Peng, Jenq-Neng Hwang, Min Sun, Cheng-Hao Kuo

机构 * University of Washington（华盛顿大学） ； Amazon（亚马逊公司） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视觉问答 ：LLaVA(summary_cn,abstract)；VLM(abstract,abstract_cn)；vision language model(abstract)；分类 cs.CV

AI总结 本研究针对具身场景三维问答的效率问题，提出MemTree3D记忆树引导的关键帧选择方法，在OpenEQA数据集上显著提升GPT-4o与LLaVA-OneVision-7B的问答性能，优于现有视觉搜索方法。

Comments ECCV 2026

SimulRAG: Simulator-based RAG for Grounding LLMs in Long-form Scientific QA

SimulRAG：基于模拟器的检索增强生成（RAG）框架，用于将大型语言模型（LLMs）落地到长篇科学问答任务中

Haozhou Xu, Dongxia Wu, Matteo Chinazzi, Ruijia Niu, Rose Yu, Yi-An Ma

机构 * University of California San Diego（加州大学圣迭戈分校） ； Stanford University（斯坦福大学） ； Northeastern University（东北大学） 纠错

专题命中 视觉问答 ：grounding(title,abstract)；分类 cs.LG

AI总结 针对LLMs在长篇科学问答中易幻觉的问题，本文提出SimulRAG框架，引入UE+SBA机制，发布相关基准，实验表明其信息量与事实性较基线分别提升30.4%、16.3%

Comments Haozhou Xu and Dongxia Wu are co-first authors

Counterfactual Anatomy-guided Spatial-Temporal Decoding for Annotation-Free Hallucination Mitigation in Medical VLMs

用于医学视觉语言模型无注释幻觉缓解的反事实解剖学引导时空解码

Yifan Lu, Adinath Dukre, Abhijit Das, Ziyun Zou, Haolin Yang, Yutong Xie, Imran Razzak

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； MedOS 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV

AI总结 该研究提出无需人工注释的CAST框架，通过自动选择解剖区域结合对比解码，在SLAKE和MIMIC-CXR数据集上针对三种Med-VLMs实现优于基线的幻觉缓解，提升了医学视觉语言模型的空间接地性。

Comments Accepted by MICCAI 2026

The 10th AI City Challenge

第10届AI City挑战赛

Zheng Tang, Shuo Wang, David C. Anastasiu, Ming-Ching Chang, Anuj Sharma, Quan Kong, Munkhjargal Gochoo, Jun-Wei Hsieh, Tomasz Kornuta, Zhedong Zheng, Renran Tian, Judah Goldfeder, Fulgencio Navarro, Yuxing Wang, Yizhou Wang, Sameer Satish Pusegaonkar, Anqi Li, Nalin Dadhich, Ridham Kachhadiya, Dhanishtha Patil, Haoquan Liang, Jiajun Li, Han Zhang, Yilin Zhao, Zaid Pervaiz Bhat, Shuyu Yang, Ashutosh Kumar, Rong Wang, Rafael Martin Nieto, Peter Christiansen, Ahmed Abduljawad, Mohanrasu Shanmugam, Nadeem Shaik, Sujit Biswas, Xunlei Wu, Vidya Murali, Rama Chellappa

机构 * Santa Clara University（圣克拉拉大学） ； University at Albany, SUNY（纽约州立大学奥尔巴尼分校） ； Iowa State University（爱荷华州立大学） ； Woven by Toyota（丰田编织公司） ； United Arab Emirates University（阿拉伯联合酋长国大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学） ； University of Macau（澳门大学） ； North Carolina State University（北卡罗来纳州立大学） ； Columbia University（哥伦比亚大学） ； Milestone Systems（里程碑系统公司） ； Xi’an Jiaotong University（西安交通大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文总结了与ECCV 2026同期举办的第10届AI City挑战赛的设置、数据集、评估结果等，该赛事规模扩大，设多类赛道，成功系统结合基础模型与多种技术。

Comments Summary of the 10th AI City Challenge Workshop in conjunction with ECCV 2026