多模态大模型

CFPO: Counterfactual Policy Optimization for Multimodal Reasoning

CFPO：用于多模态推理的反事实策略优化

Zhangyuan Yu, Wanran Sun, Guangjing Yang, Xiaohu Wu, Qicheng Lao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 提出反事实策略优化框架，通过跨模态反事实增强机制强制视觉与文本推理的因果一致性，显著提升多模态推理的准确性。

Comments Accepted to ICML 2026. 17 pages

T-IMPACT: A Severity-Aware Benchmark for Contextual Image-Text Manipulation

T-IMPACT：面向上下文图像-文本操纵的严重性感知基准

Gagandeep Singh, Aaditya Yadav, Priyanka Singh

机构 * The University of Queensland（昆士兰大学） 纠错

专题命中 图文多模态 ：image-text(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出T-IMPACT基准，包含98,786个图像-文本对，涵盖原始、仅图像、仅文本和联合操纵，通过校准的连续严重性分数和粗粒度标签评估操纵对上下文理解的影响，实验表明现有模型在严重性预测上仍远弱于人类判断。

Comments 7 pages, 2 figures

Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders

通过稀疏自编码器提取和分析视觉语言模型中的多模态概念

Sergio Lanza, Jae Hee Lee, Stefan Wermter

机构 * Knowledge Technology, Department of Informatics, University of Hamburg（汉堡大学信息学系知识技术实验室） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出基于稀疏自编码器的框架，从视觉语言模型中提取视觉、文本和多模态概念，通过余弦相似度评估概念与样本的对齐，在VQA数据集上提升视觉概念质量达45%。

Comments International Conference on Artificial Neural Networks (ICANN), 2026, Padua

Pocket-Dentist: On-Device Dental Image Understanding via Efficient Multimodal Large Language Models

口袋牙医：通过高效多模态大语言模型实现设备端牙科图像理解

Kai Bian, Xucheng Guo, Bin Chen, Lingyan Ruan, Yiran Shen, Ting Dang, Hong Jia

机构 * The University of Auckland, New Zealand（奥克兰大学） ； Shandong University, China（山东大学） ； The University of Melbourne, Australia（墨尔本大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出Pocket-Dentist基准，通过评估14种视觉语言模型发现紧凑模型（2B参数）在牙科图像理解中精度更高且计算成本更低，并在iPhone 17 Pro上实现低延迟部署。

LUQ: Layerwise Ultra-Low Bit Quantization for Multimodal Large Language Models

LUQ: 多模态大语言模型的逐层超低位量化

Shubhang Bhatnagar, Andy Xu, Kar-Han Tan, Narendra Ahuja

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； HP Inc.（惠普公司） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出LUQ方法，通过逐层输出激活熵衡量功能复杂度，对简单层应用超低位量化，结合多模态校准，在LLaVA-1.5和Qwen-2.5-VL上实现低于4-bit量化，内存减少40%和31%，MME性能下降<10%。

Comments Published in Transactions on Machine Learning Research (2026)

SciLens: Multi-modal Scientific Claim Verification with Agentic Entailment and Grounding

SciLens: 多模态科学声明验证的智能蕴含与归因框架

Yueming Wang, Tianshi Zheng, Jiaxin Bai, Yangqiu Song, Ginny Wong, Simon See

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong Baptist University（香港浸会大学） ； NVIDIA AI Technology Center（英伟达人工智能技术中心） 纠错

专题命中 图文多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CL

AI总结 提出SciLens框架，通过将声明分解为原子命题并归因到表格/图表证据，实现多模态科学声明验证，在SciClaimEval上达到79.2%宏F1和63.1%配对准确率。

Comments KDD 2026 SciSoc Agents & LLMs (Oral)

Category-Adaptive Cross-Modal Semantic Refinement and Transfer for Open-Vocabulary Multi-Label Recognition

类别自适应跨模态语义精炼与迁移用于开放词汇多标签识别

Haijing Liu, Tao Pu, Hefeng Wu, Keze Wang, Feng Gao, Fan Yang, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； Peking University（北京大学） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出C²SRT框架，通过类别内语义精炼（ISR）和类别间语义迁移（IST）模块，自适应建模类别内和跨类别语义相关性，提升开放词汇多标签识别性能。

Comments Accepted by IEEE Transactions on Multimedia

Multimodal Image Colorization: Quantifying the Impact of Text-Conditioned Guidance on Grayscale-to-Color Translation

多模态图像着色：量化文本条件引导对灰度到彩色转换的影响

Colten Reissmann, Hugo Garrido-Lestache Belinchon

机构 * Department of Computer Science and Software Engineering（计算机科学与软件工程系） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV、cs.CL

AI总结 本文通过U-Net和Stable Diffusion 1.5两种架构，量化了CLIP文本条件对灰度图像着色质量的影响，发现文本条件显著提升了PSNR、SSIM和色彩度，降低了LPIPS。

MAPS: Multi-Anchor Projection Similarity for Joint Vision-Language Geo-Localization

MAPS: 多锚点投影相似性用于联合视觉-语言地理定位

Yutong Hu, Siyuan Tan, Shaocheng Yan, Pengcheng Shi, Qingwu Hu, Jiayuan Li

机构 * School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出多锚点投影相似性（MAPS）度量，将联合图像-文本查询的地理定位建模为多锚点几何对齐问题，通过目标特征在查询锚平面上的投影长度衡量相似性，并引入基于MAPS的对比损失，实现最先进性能。

MEDLAYXPLAIN: Benchmarking the Expert-Lay Gap in Medical Vision-Language Models

MEDLAYXPLAIN: 医学视觉语言模型中的专家-外行差距基准测试

Han Jang, Junhyeok Lee, Songsoo Kim, Chae Young Lim, Hyeonjin Goh, Heeseong Eum, Kyu Sung Choi

机构 * Seoul National University（首尔大学） ； Seoul National University Hospital（首尔大学医院） ； Seoul National University College of Medicine（首尔大学医学院） ； Sungkyunkwan University School of Medicine（成均馆大学医学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出首个大规模医学外行语言生成基准MedLayXPlain，包含12万+区域级样本和三层UMLS本体，通过HOVER管道构建外行描述，并引入轻量级评估器MedLayEval，揭示当前医学VLM在外行可读性与临床精度间的系统性差距。

Comments 40 pages (10 pages main text, 30 pages appendix), 4 main figures, 33 vision-language models benchmarked

Vision-language models for chest radiography do not always need the image

胸部X光片的视觉-语言模型并不总是需要图像

Mahshad Lotfinia, Sebastian Ziegelmayer, Lisa Adams, Daniel Truhn, Andreas Maier, Soroosh Tayebi Arasteh

机构 * Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学模式识别实验室） ； Department of Diagnostic and Interventional Radiology, TUM University Clinic, School of Medicine and Health, Klinikum rechts der Isar, Technical University of Munich（慕尼黑工业大学医学院与健康学院伊萨尔河右岸医院诊断与介入放射学系） ； Lab for AI in Medicine, RWTH Aachen University（亚琛工业大学医学人工智能实验室） ； Department of Diagnostic and Interventional Radiology, University Hospital RWTH Aachen（亚琛工业大学医院诊断与介入放射学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文通过因果审计方法，发现许多医学视觉-语言模型在胸部X光片任务中依赖文本先验而非图像，纯文本模型与多模态模型性能接近，并提出了基于图像依赖性的评估框架。

Decoupling the Declarative from the Procedural in Vision-Language-Action Models

在视觉-语言-动作模型中解耦声明性知识与程序性知识

Nikolaos Tsagkas, Andreas Sochopoulos, Chris Xiaoxuan Lu, Oisin Mac Aodha, Alexandros Kouris

机构 * University of Edinburgh（爱丁堡大学） ； UCL（伦敦大学学院） ； Samsung AI Center - Cambridge, UK（三星人工智能中心 - 英国剑桥） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对现有VLA模型无法解耦声明性与程序性知识导致零样本技能迁移脆弱的问题，提出w$^{2}$VLA模型，通过重构信息流实现模块化、可解释的知识解耦，显著提升对未见物体的零样本技能迁移能力。

MIRCaps: A Large-Scale Mixed-Domain Dataset with Image-Level and Region-Level Captions for Fine-Grained Vision-Language Learning

MIRCaps: 一个大规模混合域数据集，包含图像级和区域级描述，用于细粒度视觉-语言学习

Arlindo Luciano Tulumba Roberto, Hyungjoon Kim

机构 * Changwon National University（昌原国立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 为解决通用与监控视频领域的混合域图像-描述数据集匮乏问题，构建了包含14万图像、98万图像级描述、174万区域级描述和139万边界框的大规模数据集，通过互补描述类型帮助视觉语言模型学习细粒度视觉属性，并在图像描述和目标检测任务上验证了有效性。

Scalable Training of Spatially Grounded 2D Vision-Language Models for Radiology

面向放射学的空间定位2D视觉-语言模型的可扩展训练

Yusuf Salcan, Simon Ging, Robin Tibor Schirrmeister, Philipp Arnold, Elmar Kotter, Behzad Bozorgtabar, Thomas Brox

机构 * Computer Vision Group, University of Freiburg, Germany（德国弗莱堡大学计算机视觉组） ； Department of Radiology, Medical Center -- University of Freiburg, Germany（德国弗莱堡大学医学中心放射科） ； CRIION-AI Lab, Freiburg, Germany（德国弗莱堡CRIION-AI实验室） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 提出RefRad2D大规模双语数据集，通过LLM和自动分割生成空间定位数据，训练RadGrounder模型联合完成报告生成、VQA和空间定位，在外部基准上取得竞争性结果。

Comments Accepted for MICCAI 2026. First two authors: equal contribution. Last two authors: equal supervision

Unmasking LAION-5B: Age, Gender, Race, and Emotion Biases in Large-Scale Image Datasets

揭开LAION-5B的面纱：大规模图像数据集中的年龄、性别、种族和情感偏见

Iris Dominguez-Catena, Daniel Paternain, Mikel Galar

机构 * Institute of Smart Cities (ISC), Department of Statistics, Computer Science and Mathematics（智能城市研究所（ISC），统计、计算机科学与数学系） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本研究利用FairFace、DeepFace和Emo-AffectNet模型分析LAION-5B数据集中的年龄、性别、种族和情感偏见，发现年轻白人男性过度代表，少数族裔和中老年女性不足，以及情感与人口属性的刻板关联。

Comments Published as a paper at 3rd DATA-FM workshop @ ICLR 2026, Brazil

4DVLT: Dynamic Scene Understanding with Worldline-Centered Vision-Language Tracking

4DVLT：以世界线为中心的视觉-语言跟踪动态场景理解

Chaoyue Li, Boxue Yang, Shengyao Zhou, Haoyang Wu, Rui Qian, Linfeng Zhang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出世界线为中心的4D动态场景理解任务4DVLT及基准Instruct-4D，通过图条件世界线推理方法4DTrack实现指令跟踪，在指标上超越基线19.62点。

GTA-Net: Cooperative Game Theory for Vision-Language Alignment in Chest X-Ray Report Generation

GTA-Net：合作博弈论在胸部X光报告生成中的视觉-语言对齐

Saif ur Rehman Khan, Imad Ahmed Waqar, Sebastian Vollmer, Andreas Dengel, Muhammad Nabeel Asim

机构 * Department of Computer Science, Rhineland-Palatinate Technical University of Kaiserslautern-Landau（莱茵兰-普法尔茨凯泽斯劳滕-兰道工业大学计算机科学系） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； IntelligentX GmbH 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出GTA-Net，利用合作博弈论实现图像区域与文本的显式对齐，通过二元和三元对齐器提升胸部X光报告生成的临床一致性。

Sparse Neuron Ablation Triggers Catastrophic Collapse of the Language Core in Large Vision-Language Models

稀疏神经元消融引发大型视觉-语言模型中语言核心的灾难性崩溃

Cen Lu, Yung-Chen Tang, Andrea Cavallaro

机构 * École Polytechnique Fédérale de Lausanne (EPFL)（瑞士洛桑联邦理工学院） ； Idiap Research Institute（日内瓦研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出渐进式神经元消融方法CAN，发现消融极少量（如LLaVA-1.5-7b中仅4个）位于语言模型下投影层的神经元即可导致LVLM灾难性崩溃，揭示功能依赖语言骨干中的稀疏神经元子集。

Comments Accepted to ICML 2026 Mechanistic Interpretability Workshop