多模态大模型

Fine-R1: Make Multi-modal LLMs Excel in Fine-Grained Visual Recognition by Chain-of-Thought Reasoning

Fine-R1: 通过链式推理使多模态大语言模型在细粒度视觉识别中脱颖而出

Hulingxiao He, Zijun Geng, Yuxin Peng

机构 * Wangxuan Institute of Computer Technology（王轩计算机技术研究所） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 Fine-R1通过链式推理监督微调和三元组增强策略优化，提升多模态大语言模型在细粒度视觉识别中的表现，仅用4次训练即超越现有模型。

Comments Published as a conference paper at ICLR 2026. The models are available at https://huggingface.co/collections/StevenHH2000/fine-r1

Evaluating Remote Sensing Image Captions Beyond Metric Biases

超越度量偏差的遥感图像描述评估

Ziyun Chen, Fan Liu, Liang Yao, Chuanyi Zhang, Yuye Ma, Wei Zhou

机构 * Hohai University（河海大学） ； Cardiff University（卡迪夫大学） 纠错

专题命中 图文多模态 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 本文提出ReconScore指标，通过文本重建能力评估描述质量，发现未微调的MLLM在零样本遥感图像描述任务中表现更优，并引入无需训练的RemoteDescriber方法提升语义精度。

From Pixels to Explanations: Interpretable Diabetic Retinopathy Grading with CNN-Transformer Ensembles, Visual Explainability and Vision-Language Models

从像素到解释：结合CNN-Transformer集成、视觉可解释性和视觉语言模型的可解释性糖尿病视网膜病变分级

Pir Bakhsh Khokhar, Carmine Gravino, Fabio Palomba, Sule Yildirim Yayilgan, Sarang Shaikh

机构 * Department of Informatics, University of Salerno（萨勒诺大学信息学院） ； Department of Information Security and Communication Technology (IIK), Norwegian University of Science and Technology（挪威科技大学信息安全部） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出结合强判别模型与多模态解释的方法，利用APTOS 2019基准评估六种CNN和Transformer模型，通过集成策略提升分级一致性，并利用视觉语言模型生成可解释的视网膜病变分级结果。

Pretrain-then-Adapt: Uncertainty-Aware Test-Time Adaptation for Text-based Person Search

预训练后再适应：面向基于文本的人脸搜索的不确定性感知测试时间适应

Jiahao Zhang, Shaofei Huang, Yaxiong Wang, Zhedong Zheng

机构 * University of Macau（澳门大学） ； Hefei University of Technology（合肥工业大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出一种预训练后再适应方法，通过离线测试时间适应减少对目标域标注数据的依赖，引入不确定性感知测试时间适应框架以提升人像搜索系统的鲁棒性和效率。

Comments Accepted to ACM SIGIR 2026

Lightweight and Production-Ready PDF Visual Element Parsing

轻量且适用于生产的PDF视觉元素解析

Meizhu Liu, Yassi Abbasi, Matthew Rowe, Michael Avendi, Paul Li

机构 * Oracle AI 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出一种轻量级PDF解析框架，通过空间启发式、布局分析和语义相似性结合，实现高准确率的视觉元素检测与标题关联，提升多模态RAG检索性能。

SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters

SycoPhantasy: 量化小型开放权重视觉-语言模型中趋炎附势行为与幻觉现象以评估奇幻角色的视觉-语言评分

Arya Shah, Deepali Mishra, Chaklam Silpasuwanchai

机构 * IIT Gandhinagar（印度加尔各答理工学院） ； IIT Kanpur（印度坎浦尔理工学院） ； Asian Institute of Technology（亚洲理工学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究小型开放权重VLM在评估图像-文本对齐时是否存在趋炎附势行为，通过引入布林系数量化模型评分与视觉证据的不匹配程度，发现模型规模与趋炎附势率呈负相关。

Comments 13 pages, 12 figures, 6 tables

See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection

看得更远，想得更深：通过低级视觉线索和反思提升VLM的推理能力

Zhiheng Wu, Tong Wang, Shuning Wang, Naiming Liu, Yumeng Zhang

机构 * Baidu Inc.（百度公司） ； Zhejiang University（浙江大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ForeSight框架，通过低级视觉线索和有效视觉反馈提升VLM推理能力，构建新数据集CG-SalBench，并验证其在参数规模相同和部分指标上优于现有SOTA模型。

Comments CVPR2026

Discovering Failure Modes in Vision-Language Models using RL

通过强化学习发现视觉-语言模型的失败模式

Kanishk Jain, Qian Yang, Shravan Nayak, Parisa Kordjamshidi, Nishanth Anand, Aishwarya Agrawal

机构 * Mila – Québec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） ； Michigan State University（密歇根州立大学） ； McGill University（麦吉尔大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于强化学习的框架，自动发现视觉-语言模型在特定数据分布上的失败模式，通过生成问题来识别模型在细粒度视觉细节和技能组合上的不足。

Probing CLIP's Comprehension of 360-Degree Textual and Visual Semantics

探测CLIP对360度文本和视觉语义的理解

Hai Wang, Xiaochen Yang, Mingzhi Dong, Jing-Hao Xue

机构 * Department of Statistical Science, University College London, UK（伦敦大学统计科学系） ； School of Mathematics and Statistics, University of Glasgow, UK（格拉斯哥大学数学与统计学学院） ； Department of Computer Science, University of Bath, UK（巴斯大学计算机科学系） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文探讨CLIP模型对360度全景图像-文本对语义对齐的评估能力，提出新的评价方法，发现CLIP在处理360度视觉语义时存在局限，并提出LoRA微调框架以提升其理解能力。

Comments Project Page: https://littlewhitesea.github.io/360Semantics.github.io/

A systematic evaluation of vision-language models for observational astronomical reasoning tasks

对视觉语言模型在观测天文学推理任务中的系统评估

Wenke Ren, Hengxiao Guo, Wenwen Zuo, Xiaoman Zhang

机构 * Shanghai Astronomical Observatory, Chinese Academy of Sciences（上海天文台，中国科学院） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文系统评估了视觉语言模型在观测天文学推理任务中的表现，发现模型性能依赖于模态，且物理知识 grounding 对提升准确性至关重要。

Comments 24 pages, 5 figures

V-SEAM: Visual Semantic Editing and Attention Modulating for Causal Interpretability of Vision-Language Models

V-SEAM：视觉语义编辑与注意力调节用于视觉-语言模型的因果可解释性

Qidong Wang, Junjie Hu, Ming Jiang

机构 * Tongji University（同济大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出V-SEAM框架，结合视觉语义编辑和注意力调节，提升视觉-语言模型的因果可解释性，通过多级语义分析增强模型性能。

Comments EMNLP 2025 Main

EXACT: an explainable anomaly-aware vision foundation model for analysis of 3D chest CT

EXACT：一种可解释的异常感知视觉基础模型，用于3D胸部CT分析

Xuguang Bai, Mingxuan Liu, Tongxi Song, Yifei Chen, Hongjia Yang, Kasidit Anmahapong, Zihan Li, Ying Zhou, Qiyuan Tian

机构 * School of Biomedical Engineering, Tsinghua University（清华大学生物医学工程学院） ； Department of Radiology, Mianyang Central Hospital（绵阳市中心医院放射科） ； Center for Biomedical Imaging Research, Tsinghua University（清华大学生物医学成像研究中心） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 EXACT通过学习空间解析表示，提升3D胸部CT的异常检测与可解释性，优于现有医学基础模型，适用于多疾病诊断和报告生成。

SMoES: Soft Modality-Guided Expert Specialization in MoE-VLMs

SMoES：在MoE-VLMs中的软模态引导专家专业化

Zi-Hao Bo, Yaqian Li, Anzhou Hou, Rinyoichi Takezoe, Ertao Zhao, Tianxiang Pan, Jiale Yan, Mo Guang, Kaiwen Long

机构 * Li Auto Inc.（李自动公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出SMoES，通过动态软模态评分、专家分组机制和互信息正则化，提升MoE-VLMs的模态感知专家专业化，实验显示在多模态和语言任务上平均提升0.9%和4.2%，通信开销降低56.1%，吞吐量提升12.3%。

Comments CVPR 2026

VLM-VPI: A Vision-Language Reasoning Framework for Improving Automated Vehicle-Pedestrian Interactions

VLM-VPI：一种用于改进自动驾驶车辆-行人交互的视觉语言推理框架

Qingwen Pu, Kun Xie, Yuxiang Liu

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出VLM-VPI框架，结合多模态感知、视觉场景理解和意图推理，提升自动驾驶中行人意图识别和安全控制，实验证明其在安全性和效率上的提升。

Comments 40 pages, 7 figures, 10 tables

Modular Sensory Stream for Integrating Physical Feedback in Vision-Language-Action Models

模块化感觉流：整合物理反馈在视觉-语言-动作模型中

Jimin Lee, Huiwon Jang, Myungkyu Koo, Jungwoo Park, Jinwoo Shin

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） ； Seoul National University（首尔国立大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)

AI总结 本文提出MoSS框架，通过模块化感觉流整合多种物理信号，提升视觉-语言-动作模型的行动预测能力。

Comments 14 pages, 8 figures, Project page: https://jiminlx.github.io/MoSS