视觉大模型 / VLM

Failure-Informed Image Self-Augmentation for Multimodal Large Language Model Self-Improvement

面向多模态大语言模型自我改进的故障感知图像自增强

Chunyang Jiang, Pingping Zhang, Yuzhi Zhao, Wenao Ma, Zhijian Hou, Mengyang Wu, Yiyang Cai, Senkang Hu, Sitong Cheng, Chi-Min Chan, Wei Xue, Yike Guo

专题命中 视觉问答 ：MLLM(summary_cn,abstract)；multimodal large language model(title,abstract)；visual question answering(abstract)；分类 cs.AI

AI总结 提出FISA框架，基于MLLM失败案例生成保留答案的增强图像，经自检验与双重保真过滤后，可提升视觉问答性能，且兼容文本自增强、数据效率更优。

In-Context Collapse in Vision-Language Models and How to Mitigate it?

视觉语言模型中的上下文坍缩及其缓解方法

Mohammad Rostami

机构 * Amazon Generative AI Innovation Center（亚马逊生成式AI创新中心） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文发现视觉语言模型存在随演示增多的上下文坍缩问题，通过因果定位将其归因于视觉-语言整合通路，提出CircA干预方法可有效缓解该问题并实现抗坍缩能力迁移。

Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding

Qwen-3D：用于空间理解的通用三维视觉语言模型

Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 视觉问答 ：vision-language model(title)；visual reasoning(abstract)；visual question answering(abstract)；grounding(abstract)

AI总结 本研究提出 Qwen-3D 三维视觉语言模型，通过多视角几何线索与三维旋转位置嵌入提升空间推理，在三维任务上超越现有 3D LMM，还保持二维任务性能。

Comments Project Page: https://qwen-3d.github.io/

Failing to See or Failing to Know? Attributing Errors in Vision-Language Models

是看不见还是不知道？归因视觉语言模型中的错误

Khang Nhat Hoang Vo, Artem Vazhentsev, Artem Shelmanov, Timothy Baldwin, Yova Kementchedjhieva

机构 * MBZUAI The University of Melbourne（MBZUAI墨尔本大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract_cn)；visual question answering(abstract)；分类 cs.CV

AI总结 研究视觉语言模型在回答需额外知识问题时的错误，提出统一框架分离失败模式，探讨预生成信号能否预测错误源，发现可在解码前预测，能据此进行针对性干预。

CARE-X: Towards Clinically Useful Radiology VLMs with Auxiliary Supervision, Reward-Aligned Learning, and Tool-Augmented Measurement

CARE-X：借助辅助监督、奖励对齐学习与工具增强测量实现临床可用的放射学视觉语言模型

Mercy Prasanna Ranjit, Anirban Porya, Sathvik Joel, Niharika Vadlamudi, Nikhilesh Chowdary Eathamukkala, Prasanth V, Abhyuday Kumara Swamy, Pranay Narhari Umredkar, Pradeep Narayan, Vivek Rajagopal, Tanuja Ganu

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；grounding(abstract)

AI总结 CARE-X是一款胸部X射线视觉语言模型，通过辅助监督、奖励对齐学习及工具增强测量，在多个医学影像任务上实现了优于基线的性能，缩小了放射科医生需求与现有生成模型间的差距。

Bayesian Data Reweighting Improves Multimodal Retrieval for Knowledge-Based Visual Question Answering

贝叶斯数据重加权改进基于知识的视觉问答的多模态检索

Jingchen Sun, Shaobo Han, Ruiyi Zhang, Naresh Kumar Devulapally, Ming Liu, Yitao Long, Vishnu Suresh Lokhande, Changyou Chen

机构 * University at Buffalo（布法罗大学） ； NEC Laboratories America（美国 NEC 实验室） ； Adobe Research（奥多比研究院） ； Iowa State University（爱荷华州立大学） ； New York University（纽约大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.LG

AI总结 针对基于知识的视觉问答中多模态检索的负样本处理问题，提出贝叶斯数据重加权框架，通过概率建模与随机EM优化，在三个检索器和七个基准上提升了检索准确率。

SimulRAG: Simulator-based RAG for Grounding LLMs in Long-form Scientific QA

SimulRAG：基于模拟器的检索增强生成（RAG）框架，用于将大型语言模型（LLMs）落地到长篇科学问答任务中

Haozhou Xu, Dongxia Wu, Matteo Chinazzi, Ruijia Niu, Rose Yu, Yi-An Ma

机构 * University of California San Diego（加州大学圣迭戈分校） ； Stanford University（斯坦福大学） ； Northeastern University（东北大学） 纠错

专题命中 视觉问答 ：grounding(title,abstract)；分类 cs.LG

AI总结 针对LLMs在长篇科学问答中易幻觉的问题，本文提出SimulRAG框架，引入UE+SBA机制，发布相关基准，实验表明其信息量与事实性较基线分别提升30.4%、16.3%

Comments Haozhou Xu and Dongxia Wu are co-first authors

DocTrace: Towards Traceable Long Document VQA via Hierarchical Evidence Graph Reasoning

DocTrace：面向可追溯的长文档视觉问答的分层证据图推理方法

Le Xiang, Zhicheng Guan, Hong Chen, Xiaocong Lin, Zhenghua Lei, Teng Hu, Bolei He, Long Zeng

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 本文提出DocTrace分层框架，将长文档视觉问答建模为显式证据图推理问题，经两阶段训练优化后，在三个基准上优于现有模型，且推理可追溯。

OncoTriad-QA: A Patient-Level Radiology-Pathology-Genomics Benchmark for Pan-Cancer Reasoning

OncoTriad-QA：用于泛癌推理的患者级放射学-病理学-基因组学基准

Ahnaf Munir, Dannong Wang, Michael W. McDonald, Mubarak Shah, Pegah Khosravi, Yu Tian

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 本文提出OncoTriad-QA多模态癌症问答基准及OncoVLM模型，实验显示OncoVLM经微调后在泛癌问答任务上优于现有模型，该基准可用于相关模型的训练与评估。

Geo-Embed: Towards Unified Multimodal Embeddings for Urban Understanding

Geo-Embed：面向城市理解的统一多模态嵌入

Jiapeng Li, Yong Li, Junjie Zhou, Fan Zhang, Yu Liu

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本文针对现有多模态嵌入模型难以支持异构地理空间任务的问题，提出GeoMEB基准与Geo-Embed模型，在GeoMEB上实现15.3%的相对性能提升，为地理空间嵌入器发展提供方向。

Epistemic-aware Vision-Language Foundation Model for Fetal Ultrasound Interpretation

具备知识意识的视觉-语言基础模型用于胎儿超声解读

Xiao He, Huangxuan Zhao, Guojia Wan, Jiancheng Pan, Yanxing Liu, Yong Luo, Juhua Liu, Yongchao Xu, Wei Zhou, Dacheng Tao, Bo Du

机构 * National Engineering Research Center for Multimedia Software, School of Computer Science, Wuhan University（国家多媒体软件工程技术研究中心，武汉大学计算机学院） ； College of Computing and Data Science, Nanyang Technological University（computing and Data Science学院，南洋理工大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 FetalMind通过Salient Epistemic Disentanglement方法，提升胎儿超声解读的准确性和效率，实现多视图图像推理和疾病诊断的高效处理。

Comments KDD 2026

Geometric Cross-Modal Token Selection for Latency-Constrained Multimodal Token Communication

面向延迟约束多模态令牌通信的几何跨模态令牌选择

Joohyuk Park, Junyong Shin, Yongjeong Oh, Jihong Park, Yo-Seb Jeon

专题命中 视觉问答 ：visual question answering(abstract)

AI总结 该研究针对延迟约束多模态令牌通信问题，提出基于几何的跨模态令牌选择框架及IBS、R-IBS策略，在VQA和AVQA任务上实现了显著的准确率提升。