视觉大模型 / VLM

A General-Purpose VLM Can Teach an Astronomy Foundation Model to Better Recognize Galaxy Morphology

通用视觉语言模型（VLM）可指导天文基础模型更好地识别星系形态

Dichang Zhang, Jiaqi Deng, Yixuan Shao, Yuanpeng Liu, Jiali Cui, Zhiqiang Lao, Heather Yu, Liang Peng, Simon Birrer, Dimitris Samaras

机构 * Stony Brook University（石溪大学） ； University of Technology Sydney（悉尼科技大学） ； Futurewei Technologies（华为主机技术公司） 纠错

专题命中 视觉问答 ：VLM(title,title_cn)；分类 cs.CV

AI总结 该研究提出用通用视觉语言模型（VLM）作为弱监督教师，指导天文基础模型Zoobot提升星系形态识别性能，可高效适配未来大型天文巡天任务。

Comments 12 pages, 5 figures

Slot2Text: Object-Centric Visual Tokenization for Efficient and Spatially Traceable Surgical MLLMs

Slot2Text：面向高效且空间可追溯的手术多模态大语言模型的以对象为中心的视觉分词

Guiqiu Liao, Matjaz Jogan, Daniel A. Hashimoto

专题命中 视觉问答 ：MLLM(summary_cn,abstract)；visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)

AI总结 Slot2Text将视觉输入转为槽潜变量，推出双模式手术MLLM，在多基准上实现高效推理，Slot2Text-Fast大幅降本，Slot2Text-Reason支持可追溯空间推理。

Comments 17 pages, 8 Figures

SPARC-Rad: A Multimodal Benchmark Dataset and Evaluation Pipeline for Spatial and Anatomical Reasoning in Radiology Vision-Language Models

SPARC-Rad：面向放射学视觉语言模型的空间与解剖推理多模态基准数据集及评估流程

Satvik Tripathi, Mustafa Ege Seker, Kristian Quevada, Ebubechukwu D Enwerem, Pratham Khandelwal, Emine Meltem, Bera Koca, Shahriar Faghani, Jacinta Arnold, Dania Daye, Tessa S. Cook

专题命中 视觉问答 ：vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 该研究开发了SPARC-Rad多模态基准数据集及评估流程，用于评估放射学VLMs的空间与解剖推理能力，为相关模型的开发与部署前评估提供支持。

Ground, Cover, and Refine: Evidence-Centric Frame Selection for Long-Video Question Answering

锚定、覆盖与优化：面向长视频问答的以证据为中心的帧选择框架

Fan Wei, Siru Zhong, Runmin Dong, Miao Yang, Zhaoyang Luo, Haohuan Fu

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 本文针对长视频问答中视觉预算有限及证据对齐弱的问题，提出无需训练的GCR框架，通过锚定、覆盖、优化三步选择帧，在LongVideoBench等基准上较基线取得显著性能提升。

XSPA: Crafting Imperceptible X-Shaped Sparse Adversarial Perturbations for Transferable Attacks on VLMs

XSPA：构建不可察觉的X形稀疏对抗扰动以对视觉语言模型的可迁移攻击

Chengyin Hu, Jiaju Han, Xuemeng Sun, Qike Zhang, Luwei Yang, Lehan Sun, Jiahuan Long, Yiwei Wei, Jiujiang Guo

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出XSPA攻击，通过限制扰动为两条相交对角线，测试VLMs在稀疏扰动下的鲁棒性，实验表明其能显著破坏跨任务语义。

Location-Aware Fine-Grained Representation Learning for Medical Vision Foundation Models

面向医学视觉基础模型的位置感知细粒度表示学习

Myeongkyun Kang, Yanting Yang, Xiaoxiao Li

机构 * The University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（矢量研究所） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本研究提出基于位置感知细粒度表示学习的医学视觉基础模型LoFi，构建大规模医学定位数据集MedG，在多项医学视觉任务中性能优于现有模型。

FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering

FAU参加2026年ImageCLEF多模态推理任务：鲁棒候选评分与简洁多语种视觉问答

Mohamed Basem, Vincent Christlein

机构 * Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 FAU提交的多模态推理系统，未做任务特定模型训练，在2026年ImageCLEF竞赛中，获Visual MCQ第三名、Visual OpenQA第一名，凸显推理工程的实用价值。

Comments 16 pages, 3 figures, 7 tables. CLEF 2026 Working Notes, ImageCLEF 2026 Multimodal Reasoning Task

LongChart VQA: A Comprehensive Benchmark for MLLMs with Complex Multi-Chart Reasoning

LongChart VQA：面向具备复杂多图表推理能力的多模态大语言模型的综合基准

Ziyan Xiao, Yinghao Zhu, Wenting Zhang, Heaju Kim, Lequan Yu

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 LongChart VQA是面向具备复杂多图表推理能力的MLLMs的综合基准，该基准含平均6.5张图像与31.2个问题，评估10个SOTA MLLMs发现其准确率随计算复杂性提升下降，为多图表推理研究指明方向。

ORCA: ORgan-Centroid Aggregation for Training-Free 3D CT Visual Token Compression

ORCA：面向无需训练的3D CT视觉令牌压缩的器官质心聚合方法

Renjie Liang, Zijian Xu, Jinqian Pan, Chengkun Sun, Zhengkang Fan, Shawn Li, You Qin, Mei Liu, Jie Xu

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 针对3D CT视觉令牌压缩的痛点，提出无需训练的即插即用ORCA方法，在多数据集、多任务上实现显著压缩比与速度提升，性能优于现有方法。

Hierarchical Pre-Training of Vision Encoders with Large Language Model

基于大语言模型的视觉编码器分层预训练

Eugene Lee, Ting-Yu Chang, Jui-Huang Tsai, Jiajie Diao, Chen-Yi Lee

机构 * University of Cincinnati（辛辛那提大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出HIVE框架，通过引入视觉编码器与大语言模型间的分层交叉注意力机制，提升视觉语言对齐，改进特征融合与表征学习，实验表明其在图像分类和多模态任务中表现优异。

Comments 17 pages, 14 figures, accepted to Computer Vision and Pattern Recognition Conference (CVPR) Workshops 2026. 5th MMFM Workshop: What is Next in Multimodal Foundation Models?

Journal ref In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 7415-7424) 2026

3DZip: Spatial-Aware Feature Diversity-Guided Token Compression for 3D Question Answering

3DZip：面向3D视觉问答的空间感知特征多样性引导的Token压缩方法

Changwoo Baek, Kyeongbo Kong

机构 * Pusan National University（釜山国立大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文针对3D视觉问答中Token压缩忽略空间特性的问题，提出三阶段框架3DZip，在三个基准上以128个Token保留94.7%性能、提速1.92倍，优于现有方法。

Comments Accepted to ECCV 2026. Project page: https://cvsp-lab.github.io/3DZip

Obshazard-bench: Benchmarking Multimodal Foundation Models for Real-Time Disaster Intelligence from Raw Earth Observation Streams

Obshazard-bench：面向原始地球观测流的实时灾害情报多模态基础模型基准测试

Fengxiang Wang, Qiuyang Yu, Yueying Li, Mingshuo Chen, Chengchi Fei, Kaiyi Xu, Lixin Gu, Wangxu Wei, Junchao Gong, Lipeng Ma, Jiong Wang, Fenghua Ling, Wenlong Zhang, Xue Yang, Wenjing Yang, Ben Fei, Long Lan

机构 * National University of Defense Technology（国防科技大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究推出Obshazard-bench基准测试，评估多模态基础模型的实时灾害情报能力，发现现有模型在将原始多通道物理观测转化为符合决策需求的灾害推理方面存在显著局限。

SAGE: An Expert-Annotated South Asian GI Endoscopy Dataset for Multimodal Learning and Hallucination Analysis

SAGE：面向多模态学习与幻觉分析的专家标注南亚胃肠内镜数据集

Niyoj Oli, Sachin Acharya, Sandesh Pokhrel, Sanjay Bhandari, Ramesh Rana, Nikesh Mani Shrestha, Ram Bahadur Gurung, Yash Raj Shrestha, Prashnna K Gyawali, Binod Bhattarai

机构 * Nepal Applied Mathematics and Informatics Institute for Research（尼泊尔应用数学与信息技术研究所） ； GastroIntestinal Department, Dhulikhel Hospital（杜尔基hel医院消化内科） ； Univesity of Lausanne（洛桑大学） ； University of West Virginia（西弗吉尼亚大学） ； University of Utah（犹他大学） ； University of Aberdeen（阿伯丁大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 为解决南亚地区胃肠癌诊断数据缺乏问题，构建了包含1300张图像、标注和问答对的SAGE数据集，并评估了模型在人口偏移下的性能下降。