视觉大模型 / VLM

GLIMPSE : Real-Time Text Recognition and Contextual Understanding for VQA in Wearables

GLIMPSE：面向可穿戴设备的实时文本识别与上下文理解的视频大语言模型

Akhil Ramachandran, Ankit Arun, Ashish Shenoy, Abhay Harpale, Srihari Jayakumar, Debojeet Chatterjee, Mohsen Moslehpour, Pierce Chuang, Yichao Lu, Vikas Bhardwaj, Peyman Heidari

机构 * Meta Reality Labs（Meta现实实验室） 纠错

专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 GLIMPSE通过混合架构在可穿戴设备上实现低功耗的实时文本识别与上下文理解，提升视频大语言模型在资源受限设备上的VQA性能。

Multimodal LLM With Hierarchical Mixture-of-Experts for VQA on 3D Brain MRI

多模态大语言模型与分层混合专家用于3D脑部MRI的视觉问答

Arvind Murari Vepa, Yannan Yu, Jingru Gan, Anthony Cuturrufo, Michael F. Romano, Weikai Li, Fabien Scalzo, Wei Wang, Yizhou Sun

机构 * UCLA Computer Science（UCLA计算机科学系） ； UCSF Radiology（UCSF放射学） ； UCLA Medicine（UCLA医学） 纠错

专题命中 视觉问答 ：VLM(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本研究提出了一种多模态大语言模型mpLLM，用于3D脑部MRI的视觉问答，通过分层混合专家架构提升肿瘤描述的临床可解释性，并在多个数据集上优于现有基线模型。

Comments 17 pages, 3 figures

Building Egocentric Procedural AI Assistant: Methods, Benchmarks, and Challenges

构建第一人称程序化AI助手：方法、基准和挑战

Junlong Li, Huaiyuan Xu, Sijie Cheng, Kejun Wu, Kim-Hui Yap, Lap-Pui Chau, Yi Wang

机构 * Department of EEE（电子工程系） ； The Hong Kong Polytechnic University（香港理工大学） ； RayNeo ； Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出第一人称程序化AI助手，探讨其核心任务、赋能维度及挑战，通过实验评估现有方法并指明未来研究方向。

Comments Under peer-review

SMMILE: An Expert-Driven Benchmark for Multimodal Medical In-Context Learning

SMMILE：一个多模态医学上下文学习的专家驱动基准

Melanie Rieff, Maya Varma, Ossian Rabow, Subathra Adithan, Julie Kim, Ken Chang, Hannah Lee, Nidhi Rohatgi, Christian Bluethgen, Mohamed S. Muneer, Jean-Benoit Delbrouck, Michael Moor

机构 * ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） ； Lund University（隆德大学） ； Jawaharlal Institute of Postgraduate Medical Education and Research（贾瓦哈拉尔·尼赫鲁医学教育与研究学院） ； UCSF（加州大学旧金山分校） ； University of Zurich（苏黎世大学） ； University Hospital Zurich（苏黎世大学医院） ； HOPPR 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.LG

AI总结 SMMILE是一个专家驱动的多模态医学上下文学习基准，评估了15个MLLMs在医学任务中的多模态ICL能力，发现其表现有限且易受无关示例和最近性偏见影响。

Comments NeurIPS 2025 (Datasets & Benchmarks Track)

GRASP: Guided Region-Aware Sparse Prompting for Adapting MLLMs to Remote Sensing

GRASP: 基于区域感知的稀疏提示引导方法用于适应遥感图像的多模态大语言模型

Qigan Sun, Chaoning Zhang, Jianwei Zhang, Xudong Wang, Jiehui Xie, Pengcheng Zheng, Haoyu Wang, Sungyoung Lee, Chi-lok Andy Tai, Yang Yang, Heng Tao Shen

机构 * School of Computing, Kyung Hee University（京畿大学计算机学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； College of Computer Science and Information Engineering, Harbin Normal University（哈尔滨师范大学计算机科学与信息工程学院） ； College of Professional and Continuing Education, The Hong Kong Polytechnic University（香港理工大学专业及继续教育学院） ； School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 GRASP通过引导区域感知的稀疏提示方法，提升多模态大语言模型在遥感图像任务中的适应性与性能。

KBE-DME: Dynamic Multimodal Evaluation via Knowledge Enhanced Benchmark Evolution

KBE-DME: 通过知识增强的基准进化实现动态多模态评估

Junzhe Zhang, Huixuan Zhang, Xiaojun Wan

机构 * Wangxuan Institute of Computer Technology（王轩计算机技术研究所） ； Peking University（北京大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 KBE-DME通过整合多模态知识和动态基准进化，实现对多模态大语言模型能力的更全面评估。

HyperWalker: Dynamic Hypergraph-Based Deep Diagnosis for Multi-Hop Clinical Modeling across EHR and X-Ray in Medical VLMs

HyperWalker: 基于动态超图的多跳临床建模深度诊断方法，跨EHR和X光在医学视觉语言模型中

Yuezhe Yang, Hao Wang, Yige Peng, Jinman Kim, Lei Bi

机构 * Institute of Translational Medicine, Shanghai Jiao Tong University（翻译医学研究院，上海交通大学） ； School of Computer Science, University of Sydney（计算机科学学院，悉尼大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 HyperWalker通过动态超图和测试时训练，实现跨EHR和X光的多跳临床建模深度诊断，提升医疗视觉语言模型的诊断性能。

Comments Under Review

AVIR: Adaptive Visual In-Document Retrieval for Efficient Multi-Page Document Question Answering

AVIR: 为高效多页文档问答的自适应视觉在文档检索

Zongmin Li, Yachuan Li, Lei Kang, Dimosthenis Karatzas, Wenkang Ma

机构 * China University of Petroleum (East China)（中国石油大学（华东）） ； Shandong Xiehe University（山东谢家大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 AVIR通过自适应视觉在文档检索框架减少多页文档问答所需的页面数，提升效率并降低计算成本。

Comments 7 pages, 3 figures

RPIQ: Residual-Projected Multi-Collaboration Closed-Loop and Single Instance Quantization for Visually Impaired Assistance

RPIQ: 基于残差投影多协作闭环和单实例量化的方法用于视障辅助

Xuanyu Wang, Haisen Su, Jingtao Zhang, Xiangxiang Wang, Yongbin Yu, Manping Fan, Jialing Xiao, Bo Gong, Siqi Chen, Mingsheng Cao, Liyong Ren, Zhenglin Yang

机构 * School of Information ； Software Engineering, University of Electronic Science ； School of Mathematical Sciences, Sichuan Normal University, Chengdu, Sichuan, China ； Sichuan Provincial Key Laboratory for Human Disease Gene Study, Sichuan Academy of Medical Sciences \& Sichuan Provincial People's Hospital, University of Electronic Science ； Research Unit for Blindness Prevention, Chinese Academy of Medical Sciences, Sichuan Academy of Medical Sciences ； Sichuan Provincial People’s Hospital, Chengdu, Sichuan, China ； School of Medicine, University of Electronic Science ； Tibetan Language Intelligence National Key Laboratory, Qinghai Normal University, Xining, Qinghai, China 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.LG

AI总结 RPIQ通过残差投影多协作闭环和单实例量化方法，实现大规模模型在4位表示下的高效压缩，显著降低内存消耗并保持高性能，适用于视障辅助系统。

FALCONEye: Finding Answers and Localizing Content in ONE-hour-long videos with multi-modal LLMs

FALCONEye: 在一小时内视频中寻找答案并定位内容的多模态大语言模型

Carlos Plou, Cesar Borja, Ruben Martinez-Cantin, Ana C. Murillo

机构 * DIIS-I3A, University of Zaragoza（DIIS-I3A，西班牙阿利坎特大学） 纠错

专题命中 视觉问答 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 FALCONEye通过多模态大语言模型在小时长视频中高效定位内容并回答问题，超越现有模型性能并显著降低推理成本。

A unified multimodal understanding and generation model for cross-disciplinary scientific research

面向跨学科科学研究的统一多模态理解和生成模型

Xiaomeng Yang, Zhiyu Tan, Xiaohui Zhong, Mengping Yang, Qiusheng Huang, Lei Chen, Libo Wu, Hao Li

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 FuXi-Uni是一种统一多模态模型，能跨学科领域理解和生成科学数据，通过自然语言和科学数值预测提升跨学科研究效率。

Towards Vision-Language Geo-Foundation Model: A Survey

迈向视觉-语言地理基础模型：一种综述

Yue Zhou, Zhihang Zhong, Xue Yang

机构 * School of GeoAI（地理人工智能学院） ； Hindon STAI Institute（Hindon STAI研究所） ； Key Laboratory of Geographic Information Science (Ministry of Education)（地理信息科学重点实验室） ； East China Normal University（华东师范大学） ； School of AI（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； School of Automation and Intelligent Sensing（自动化与智能感知学院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文综述了视觉-语言地理基础模型（VLGFMs），探讨其背景、核心技术和应用，旨在构建具备多样化地理感知能力的智能模型。

Comments 18 pages, 4 figures

Toward Ambulatory Vision: Learning Visually-Grounded Active View Selection

迈向便携视觉：基于视觉的主动视角选择

Juil Koo, Daehyeon Choi, Sangwoo Youn, Phillip Y. Lee, Minhyuk Sung

机构 * KAIST（韩国科学技术院） 纠错

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出基于视觉的主动视角选择方法，通过仅利用当前图像中的视觉信息来选择最有信息量的视角，从而提升视觉问答的性能和泛化能力。

Comments Project page: https://active-view-selection.github.io/

SpatialReasoner: Active Perception for Large-Scale 3D Scene Understanding

SpatialReasoner: 大规模3D场景理解中的主动感知

Hongpei Zheng, Shijie Li, Yanran Li, Hujun Yin

机构 * University of Manchester（曼彻斯特大学） ； Institute for Infocomm Research (I2R), A*STAR, Singapore（信息与通信研究 institute（I2R），A*STAR，新加坡） ； University of Bedfordshire（贝德福德郡大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 SpatialReasoner通过主动感知框架实现大规模3D场景理解，采用两阶段训练策略在H$^2$U3D数据集上取得最佳性能。

TCC-Bench: Benchmarking the Traditional Chinese Culture Understanding Capabilities of MLLMs

TCC-Bench：评估多模态大语言模型对传统中国文化理解能力的基准测试

Pengju Xu, Yan Wang, Shuyuan Zhang, Xuan Zhou, Xin Li, Yue Yuan, Fengzhao Li, Shunyuan Zhou, Xingyu Wang, Yi Zhang, Haiying Zhao

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 TCC-Bench通过双语视觉问答基准评估多模态大语言模型对传统中国文化理解能力，揭示其在文化相关视觉内容推理上的挑战。

Comments There are issues with the paper

Look Where It Matters: Training-Free Ultra-HR Remote Sensing VQA via Adaptive Zoom Search

关注关键区域：通过自适应缩放搜索实现无需训练的超高清遥感视觉问答

Yunqi Zhou, Chengjie Jiang, Chun Yuan, Jing Li

机构 * Central University of Finance and Economics（中央财经大学） ； Tsinghua University（清华大学） ； East China Normal University（华东师范大学） 纠错

专题命中 视觉问答 ：LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 ZoomSearch通过自适应缩放搜索实现无需训练的超高清遥感视觉问答，提升准确性和效率。

Comments 17 pages, 8 figures

ChineseVideoBench: Benchmarking Multi-modal Large Models for Chinese Video Question Answering

ChineseVideoBench: 多模态大模型在中文视频问答中的基准测试

Yuxiang Nie, Han Wang, Yongjie Ye, Haiyang Yu, Weitao Jia, Tao Zeng, Hao Feng, Xiang Fei, Yang Li, Xiaohui Lv, Guozhi Tang, Jingqun Tang, Jinghui Lu, Zehui Dai, Jiacong Wang, Dingkang Yang, An-Lan Wang, Can Huang

机构 * Bytedance Inc.（字节跳动公司） 纠错

专题命中 视觉问答 ：InternVL(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 ChineseVideoBench通过提供中文视频问答的基准测试，评估多模态大语言模型的性能，揭示了当前模型在复杂中文视频内容上的挑战。

When Better Teachers Don't Make Better Students: Revisiting Knowledge Distillation for CLIP Models in VQA

当更好的教师不培养更好的学生：重新审视用于CLIP模型的KL知识蒸馏在视觉问答中的应用

Pume Tuchinda, Parinthapat Pengpun, Romrawin Chumpu, Sarana Nutanong, Peerat Limkonchotiwat

机构 * VISTEC ； Bangkok Christian International School（巴吞普林国际学校） ； AI Singapore（AI新加坡） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文重新审视了CLIP模型在视觉问答中的知识蒸馏，发现更强教师不必然产生更好学生，揭示了现有蒸馏框架的局限性，并指明了参数高效多模态模型的设计新方向。

Integrating Cognitive Processing Signals into Language Models: A Review of Advances, Applications and Future Directions

将认知处理信号整合进语言模型：关于进展、应用与未来方向的综述

Angela Lopez-Cardona, Sebastian Idesis, Ioannis Arapakis

机构 * Telefónica Scientific Research（Telefónica科学研究院） ； Universitat Politècnica de Catalunya（加泰罗尼亚理工大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文综述了将认知信号，特别是眼动数据整合到语言模型中的最新进展、应用及未来方向，探讨了其在提升模型性能和解决环境成本方面的潜力。

MedGEN-Bench: Contextually entangled benchmark for open-ended multimodal medical generation

Junjie Yang, Yuhao Yan, Gang Wu, Yuxuan Wang, Ruoyu Liang, Xinjie Jiang, Xiang Wan, Fenglei Fan, Yongquan Zhang, Feiwei Qin, Changmiao Wang

机构 * South China University of Technology（华南理工大学） ； Sun Yat-sen University（中山大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang University of Finance & Economics（浙江财经大学） ； National University of Singapore（新加坡国立大学） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments CVPR 2026 Under Review

VLMs Guided Interpretable Decision Making for Autonomous Driving

Xin Hu, Taotao Jing, Renran Tian, Zhengming Ding

机构 * Department of Computer Science, Tulane University（路易斯安那大学计算机科学系） ； Qualcomm（高通公司） ； Department of Industrial and Systems Engineering, North Carolina State University（北卡罗来纳州立大学工业与系统工程系） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Accepted by WACV 2026

Tracing and Mitigating Hallucinations in Multimodal LLMs via Dynamic Attention Localization

Tiancheng Yang, Lin Zhang, Jiaye Lin, Guimin Hu, Di Wang, Lijie Hu

机构 * MBZUAI ； Provable Responsible AI and Data Analytics (PRADA) Lab（可证明负责任的人工智能与数据分析实验室） ； King Abdullah University of Science and Technology（卡迪夫大学科学与技术大学） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院） ； University of Copenhagen（哥本哈根大学） ； Tsinghua University（清华大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

OIDA-QA: A Multimodal Benchmark for Analyzing the Opioid Industry Documents Archive

Xuan Shen, Brian Wingenroth, Zichao Wang, Jason Kuen, Wanrong Zhu, Ruiyi Zhang, Yiwei Wang, Lichun Ma, Anqi Liu, Hongfu Liu, Tong Sun, Kevin S. Hawkins, Kate Tasker, G. Caleb Alexander, Jiuxiang Gu

专题命中 视觉问答 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI

Comments Accepted by AAAI 2026 Artificial Intelligence for Social Impact Track

Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering

Kuicai Dong, Yujing Chang, Shijie Huang, Yasheng Wang, Ruiming Tang, Yong Liu

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 视觉问答 ：VLM(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Paper accepted to NeurIPS 2025 DB

ToolScope: An Agentic Framework for Vision-Guided and Long-Horizon Tool Use

Mengjie Deng, Guanting Dong, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

CATCH: A Modular Cross-domain Adaptive Template with Hook

Xinjin Li, Yulie Lu, Jinghan Cao, Yu Ma, Zhenglin Li, Yeyang Zhou

机构 * Columbia University, United States Shanghai Jiao Tong University, China San Francisco State University, United States Carnegie Mellon University, United States Texas A\&M University, College Station, United States University of California, San Diego, United States 纠错

专题命中 视觉问答 ：LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV

A Video Is Not Worth a Thousand Words

Sam Pollard, Michael Wray

机构 * University of Bristol（布里斯托大学） 纠错

专题命中 视觉问答 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV

3D-RAD: A Comprehensive 3D Radiology Med-VQA Dataset with Multi-Temporal Analysis and Diverse Diagnostic Tasks

Xiaotang Gai, Jiaxiang Liu, Yichen Li, Zijie Meng, Jian Wu, Zuozhu Liu

机构 * ZJU-Angelalign R&D Center for Intelligence Healthcare（浙江大学智能医疗研发中心） ； Zhejiang University（浙江大学） ； Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence（浙江省医学影像人工智能重点实验室） ； Guangdong Institute of Intelligence Science and Technology（广东省智能科学与技术研究院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Accepted by NeurIPS 2025

MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning

Siyong Chen, Jinbo Wen, Jiawen Kang, Tenghui Huang, Xumin Huang, Yuanjia Su, Hudan Pan, Zishao Zhong, Dusit Niyato, Shengli Xie, Dong In Kim

机构 * School of Automation, Guangdong University of Technology（广东工业大学自动化学院） ； College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院） ； State Key Laboratory of Traditional Chinese Medicine Syndrome, The Second Affiliated Hospital of Guangzhou University of Chinese Medicine, Guangdong Provincial Hospital of Chinese Medicine, Guangdong Provincial Academy of Chinese Medical Sciences（广东省中医药科学院中医证候重点实验室，广州中医药大学第二附属医院，广东省中医院，广东省中医药科学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院） ； Department of Electrical and Computer Engineering, Sungkyunkwan University（成均馆大学电子与计算机工程系） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.AI

MedReason-R1: Learning to Reason for CT Diagnosis with Reinforcement Learning and Local Zoom

Yifan Li, Fenghe Tang, Yingtai Li, Shaohua Kevin Zhou

机构 * 1 School of Biomedical Engineering, Division of Life Sciences ； Medicine, University of Science ； Technology of China, Hefei, Anhui, 230026, P.R. China 2 Center for Medical Imaging, Robotics ； Analytic Computing \& LEarning (MIRACLE), Suzhou Institute for Advanced Research, USTC, Suzhou 215123, P.R. China 3 Jiangsu Provincial Key Laboratory of Multimodal Digital Twin Technology, Suzhou Jiangsu, 215123 4 State Key Laboratory of Precision 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Comments The code, checkpoints, and dataset are available at: https://github.com/Leevan001/MedReason-R1