多模态大模型

Test-Time Adaptation for Tactile-Vision-Language Models

测试时适应用于触觉-视觉-语言模型

Chuyang Ye, Haoxian Jing, Qinting Jiang, Yixi Lin, Qiang Li, Xing Tang, Jingyan Jiang

机构 * Shenzhen Technology University（深圳技术大学） ； New York University（纽约大学） ； Shenzhen University（深圳大学） ； Tsinghua University（清华大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出了一种可靠性感知框架，用于提升触觉-视觉-语言模型在测试时的适应能力，通过估计各模态可靠性来过滤不可靠样本并优化融合过程，有效提升了在模态损坏情况下的准确率。

Text Before Vision: Staged Knowledge Injection Matters for Agentic RLVR in Ultra-High-Resolution Remote Sensing Understanding

文本优先于视觉：针对超高清遥感理解的代理强化学习在超高清遥感理解中的知识注入至关重要

Fengxiang Wang, Mingshuo Chen, Yueying Li, Yajie Yang, Yuhao Zhou, Di Wang, Yifan Zhang, Haoyu Wang, Haiyan Zhao, Hongda Sun, Long Lan, Jun Song, Yulin Wang, Jing Zhang, Wenlong Zhang, Bo Du

机构 * National University of Defense Technology, China（国防科技大学） ； Beijing University of Posts and Telecommunications, China（北京邮电大学） ； University of the Chinese Academy of Sciences, China（中国科学院大学） ； Sichuan University, China（四川大学） ； Wuhan University, China（武汉大学） ； Chinese Academy of Science, China（中国科学院） ； Tsinghua University, China（清华大学） ； Shanghai Artificial Intelligence Laboratory, China（上海人工智能实验室） ； Renmin University of China, China（中国人民大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.AI

AI总结 本文提出分阶段知识注入方法，利用文本引导提升超高清遥感理解的视觉推理能力，实现XLRS-Bench上的高准确率。

UniVRSE: Unified Vision-conditioned Response Semantic Entropy for Hallucination Detection in Medical Vision-Language Models

UniVRSE: 统一的视觉条件响应语义熵用于医学视觉语言模型中的幻觉检测

Zehui Liao, Shishuai Hu, Ke Zou, Mengyuan Jin, Yanning Zhang, Huazhu Fu, Liangli Zhen, Yong Xia

机构 * National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology, School of Computer Science and Engineering, Northwestern Polytechnical University（集成航空航天地面海洋大数据应用技术国家工程实验室，计算机科学与工程学院，西北工业大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 UniVRSE通过统一的视觉条件响应语义熵框架，有效检测医学视觉语言模型中的幻觉，提升临床应用的可靠性。

Comments Under Review. 12 pages, 2 figures

They Said Memes Were Harmless-We Found the Ones That Hurt: Decoding Jokes, Symbols, and Cultural References

他们说迷因是无害的——我们发现了那些有害的：解码笑话、符号和文化参考

Sahil Tripathi, Gautam Siddharth Kashyap, Mehwish Nasim, Jian Yang, Jiechao Gao, Usman Naseem

机构 * Macquarie University（麦考瑞大学） ； The University of Western Australia（西澳大学） ； Stanford University（斯坦福大学） ； Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（巴黎-罗quentcourt研究所） ； Rajiv Gandhi University（拉贾·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕勒尔研究实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 CROSS-ALIGN+通过三阶段框架解决迷因滥用检测中的文化盲区、边界模糊和可解释性问题，实现性能提升和决策可解释性。

Comments Accepted at the The Web Conference 2026 (Research Track)

GLAD: Generative Language-Assisted Visual Tracking for Low-Semantic Templates

GLAD: 生成式语言辅助低语义模板视觉跟踪

Xingyu Luo, Yidong Cai, Jie Liu, Jie Tang, Gangshan Wu, Limin Wang

机构 * State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 GLAD通过生成式多模态融合提升低语义模板视觉跟踪性能，实现更高效的多模态特征融合与语义增强。

Observing Health Outcomes Using Remote Sensing Imagery and Geo-Context Guided Visual Transformer

利用遥感图像和地理上下文引导的视觉变换器观察健康结果

Yu Li, Guilherme N. DeSouza, Praveen Rao, Chi-Ren Shyu

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出一种结合地理空间信息的视觉变换器模型，通过引导注意力机制提升遥感图像处理效果，有效预测疾病流行率。

Comments Submitted to IEEE Transactions on Geoscience and Remote Sensing

Sparse CLIP: Co-Optimizing Interpretability and Performance in Contrastive Learning

稀疏CLIP：在对比学习中协同优化可解释性与性能

Chuan Qin, Constantin Venhoff, Sonia Joseph, Fanyi Xiao, Stefan Scherer

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 稀疏CLIP通过在对比学习中直接整合稀疏性，实现了可解释性与性能的协同优化，保留了多模态能力并提升了下游任务性能。

Docs2Synth: A Synthetic Data Trained Retriever Framework for Scanned Visually Rich Documents Understanding

Docs2Synth: 一种用于扫描视觉丰富文档理解的合成数据训练检索框架

Yihao Ding, Qiang Sun, Puzhen Wu, Sirui Li, Siwen Luo, Wei Liu

机构 * University of Western Australia（西澳大学） ； The University of Hong Kong（香港大学） ； Murdoch University（默多克大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 Docs2Synth通过合成监督框架实现私有和低资源领域文档理解，利用检索引导推理提升接地能力和领域泛化，无需人工标注。

Comments Accepted at WWW 2026 Demo Track

MedicalNarratives: Connecting Medical Vision and Language with Localized Narratives

MedicalNarratives: 通过局部化叙述连接医学视觉与语言

Wisdom O. Ikezogwo, Kevin Zhang, Mehmet Saygin Seyfioglu, Fatemeh Ghezloo, Linda Shapiro, Ranjay Krishna

机构 * University of Washington（华盛顿大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） ； Amazon（亚马逊） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 MedicalNarratives通过局部化鼠标轨迹连接医学视觉与语言，训练出的GenMedClip在12个医学领域均优于现有最佳模型。

MVT: Mask-Grounded Vision-Language Models for Taxonomy-Aligned Land-Cover Tagging

MVT：基于分类对齐的土地覆盖标签的掩码导向视觉-语言模型

Siyi Chen, Kai Wang, Weicong Pang, Ruiming Yang, Ziru Chen, Renjun Gao, Alexis Kai Hon Lau, Dasa Gu, Chenchen Zhang, Cheng Li

机构 * HKUST（香港科技大学） ； JHU（约翰·霍普金斯大学） ； CUHKSZ（香港中文大学） ； NUS（新加坡国立大学） ； MUST（穆斯林大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 MVT通过三阶段框架结合类无关掩码证据与基于分类的场景解释，提升遥感土地覆盖标签的准确性和信息性。

Comments The project is available at https://charlescsyyy.github.io/MVT

MoIIE: Mixture of Intra- and Inter-Modality Experts for Large Vision Language Models

MoIIE：多模态专家的混合模型用于大视觉语言模型

Dianyi Wang, Siyuan Wang, Zejun Li, Yikun Wang, Yitong Li, Duyu Tang, Xiaoyu Shen, Xuanjing Huang, Zhongyu Wei

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institut（上海创新研究院） ； University of Southern California（南加州大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative, Institute of Digital Twin, EIT（宁波空间智能与数字衍生关键实验室，数字孪生研究院，EIT） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出MoIIE模型，通过混合内模态和跨模态专家提升大视觉语言模型的效率和性能。

Attention mechanisms in neural networks

神经网络中的注意机制

Hasi Hays

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文系统阐述了神经网络中注意机制的理论基础、计算特性及应用，涵盖自然语言处理、计算机视觉和多模态学习等多个领域，分析了其可解释性及当前存在的限制。

Affordance-Guided Coarse-to-Fine Exploration for Base Placement in Open-Vocabulary Mobile Manipulation

基于 affordance 的粗到细探索用于开放词汇移动操控中的基座放置

Tzu-Jung Lin, Jia-Fong Yeh, Hung-Ting Su, Chung-Yi Lin, Yi-Ting Chen, Winston H. Hsu

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出了一种基于 affordance 的粗到细探索方法，通过结合视觉语言模型的语义理解和几何可行性，提升开放词汇移动操控中基座放置的成功率。

Comments Accepted to AAAI 2026

Towards Vision-Language Geo-Foundation Model: A Survey

迈向视觉-语言地理基础模型：一种综述

Yue Zhou, Zhihang Zhong, Xue Yang

机构 * School of GeoAI（地理人工智能学院） ； Hindon STAI Institute（Hindon STAI研究所） ； Key Laboratory of Geographic Information Science (Ministry of Education)（地理信息科学重点实验室） ； East China Normal University（华东师范大学） ； School of AI（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； School of Automation and Intelligent Sensing（自动化与智能感知学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文综述了视觉-语言地理基础模型（VLGFMs），探讨其背景、核心技术和应用，旨在构建具备多样化地理感知能力的智能模型。

Comments 18 pages, 4 figures

AsyMoE: Leveraging Modal Asymmetry for Enhanced Expert Specialization in Large Vision-Language Models

AsyMoE：利用模态不对称性提升大视觉-语言模型专家专业化

Heng Zhang, Haichuan Hu, Yaomin Shen, Weihao Yu, Yilei Yuan, Haochen You, Guo Cheng, Zijian Zhang, Lubin Gan, Huihui Wei, Hao Zhang, Jin Huang

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 AsyMoE通过三个专门专家组解决视觉-语言模态不对称问题，提升大模型专家专业化性能。

Comments This submission has been withdrawn by the authors due to a fundamental error in the methodology that affects the validity of the main results

SELECT: Detecting Label Errors in Real-world Scene Text Data

SELECT：在现实世界场景文本数据中检测标签错误

Wenjun Liu, Qian Wu, Yifeng Hu, Yuke Li

机构 * Yidun AI Lab, NetEase（网易异度人工智能实验室） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 SELECT通过多模态训练和SSLC方法有效检测现实世界场景文本数据中的标签错误，提升文本识别准确性。

Med3DVLM: An Efficient Vision-Language Model for 3D Medical Image Analysis

Med3DVLM: 一种高效的视觉-语言模型用于3D医学图像分析

Yu Xin, Gorkem Can Ates, Kuang Gong, Wei Shao

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 Med3DVLM通过三个创新提出，实现了高效的3D医学图像分析，显著提升了图像-文本检索、报告生成和视觉问答的性能。

Investigate the Low-level Visual Perception in Vision-Language based Image Quality Assessment

研究基于视觉-语言的图像质量评估中的低级视觉感知

Yuan Li, Zitang Sun, Yen-Ju Chen, Shin'ya Nishida

机构 * Graduate School of Informatics, Kyoto University（京都大学信息科学研究生院） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文研究了基于视觉-语言模型的图像质量评估中低级视觉感知的问题，发现现有模型在检测基本失真时存在偏差，并通过改进视觉编码器对齐度提升失真识别准确率。

uCLIP: Parameter-Efficient Multilingual Extension of Vision-Language Models with Unpaired Data

uCLIP: 无配对数据下多语言视觉语言模型的参数高效扩展

Dahyun Chung, Donghyun Shin, Yujin Sung, Seunggi Moon, Jinwoo Jeon, Byung-Jun Lee

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 uCLIP通过无需配对数据的轻量级框架，在低资源语言中实现高效多语言视觉语言对齐。

Comments Our project page can be found at https://dinyudin203.github.io/uCLIP-project/

DEJIMA: A Novel Large-scale Japanese Dataset for Image Captioning and Visual Question Answering

DEJIMA：一种新的大规模日语数据集用于图像描述和视觉问答

Toshiki Katsube, Taiga Fukuhara, Kenichiro Ando, Yusuke Mukuta, Kohei Uehara, Tatsuya Harada

机构 * The University of Tokyo（东京大学） ； RIKEN（日本资源技术研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 DEJIMA是首个大规模日语图像描述与视觉问答数据集，通过整合网络收集、目标检测和大语言模型优化，提升了日语语言和文化表现力，显著优于现有翻译或人工标注数据集。

See, Rank, and Filter: Important Word-Aware Clip Filtering via Scene Understanding for Moment Retrieval and Highlight Detection

见、排、滤：通过场景理解的重要词感知Clip过滤用于片段检索和亮点检测

YuEun Lee, Jung Uk Kim

机构 * YuEun Lee, Jung Uk Kim 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出通过识别查询中的重要词，结合多模态大语言模型实现视频片段检索和亮点检测的细粒度过滤方法，提升检索和检测性能。

UMind-VL: A Generalist Ultrasound Vision-Language Model for Unified Grounded Perception and Comprehensive Interpretation

UMind-VL：一种通用的超声视觉-语言模型，用于统一的 grounded perception 和全面的 interpretation

Dengbo Chen, Ziwei Zhao, Kexin Zhang, Shishuang Zhao, Junjie Hou, Yaqian Wang, Nianxi Liao, Anlan Sun, Fei Gao, Jia Ding, Yuhang Liu, Dong Wang

机构 * Yizhun Medical AI Team（义诊医疗AI团队） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 UMind-VL 是一种通用超声视觉-语言模型，通过统一的 grounded perception 和 comprehensive interpretation 实现对医学影像的高效理解和诊断。

Connecting the Dots: Training-Free Visual Grounding via Agentic Reasoning

连接点：通过代理推理实现无需训练的视觉接地

Liqin Luo, Guangyao Chen, Xiawu Zheng, Yongxing Dai, Yixiong Zou, Yonghong Tian

专题命中 图文多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 GroundingAgent通过代理推理实现无需微调的视觉接地，达到65.1%的零样本准确率，并在选择阶段实现90%的准确率，展示了LLM推理能力的重要性。

Comments AAAI 2026

CLIP-IT: CLIP-based Pairing for Histology Images Classification

CLIP-IT: 基于CLIP的病理图像分类配对

Banafsheh Karimian, Giulia Avanzato, Soufian Belharbi, Alexis Guichemerre, Luke McCaffrey, Mohammadhadi Shateri, Eric Granger

机构 * LIVIA, ILLS, Dept. of Systems Engineering, ETS Montreal, Canada（LIVIA、ILLs、系统工程系、蒙特利尔大学ETSMontreal加拿大） ； Dept. of Computer Engineering, University of Cagliari, Italy（计算机工程系、卡利亚里大学意大利） ； Goodman Cancer Research, Centre, Dept. of Oncology, McGill University, Canada（Goodman癌症研究中心、肿瘤学系、麦吉尔大学加拿大） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 CLIP-IT通过利用未配对的病理报告提升病理图像分类性能，无需配对数据或复杂推理。

BackdoorVLM: A Benchmark for Backdoor Attacks on Vision-Language Models

BackdoorVLM：面向视觉-语言模型的后门攻击基准

Juncheng Li, Yige Li, Hanxun Huang, Yunhao Chen, Xin Wang, Yixu Wang, Xingjun Ma, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Singapore Management University（新加坡管理学院） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 BackdoorVLM提出首个评估视觉-语言模型后门攻击的基准，揭示VLMs对文本指令的高敏感性及多模后门的有效性

Attention Guided Alignment in Efficient Vision-Language Models

注意力引导的高效视觉-语言模型

Shweta Mahajan, Hoang Le, Hyojin Park, Farzad Farhadzadeh, Munawar Hayat, Fatih Porikli

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出AGE-VLM，通过交错交叉注意力层和空间知识提取，减少高效视觉-语言模型中的幻觉问题。

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop on Efficient Reasoning

Uni-Hema: Unified Model for Digital Hematopathology

Abdul Rehman, Iqra Rasool, Ayisha Imran, Mohsen Ali, Waqas Sultani

机构 * Information Technology University of Punjab（旁遮普信息科技大学） ； Chughtai Lab（楚格塔实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

QwenCLIP: Boosting Medical Vision-Language Pretraining via LLM Embeddings and Prompt tuning

Xiaoyang Wei, Camille Kurtz, Florence Cloppet

机构 * Laboratoire d'Informatique Paris Descartes (LIPADE), Université Paris Cité (France)（巴黎笛卡尔大学信息学实验室（LIPADE），巴黎城市大学（法国）） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

Comments This work has been submitted to the IEEE ISBI for possible publication

VITRIX-CLIPIN: Enhancing Fine-Grained Visual Understanding in CLIP via Instruction Editing Data and Long Captions

Ziteng Wang, Siqi Yang, Limeng Qiao, Lin Ma

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

Comments Accepted to NeurIPS 2025

Synth-Align: Improving Trustworthiness in Vision-Language Model with Synthetic Preference Data Alignment

Robert Wijaya, Ngoc-Bao Nguyen, Ngai-Man Cheung

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV