多模态大模型

Neuroscience-Inspired Analyses of Visual Interestingness in Multimodal Transformers

受神经科学启发的多模态Transformer中视觉趣味性分析

Mathis Immertreu, Fitim Abdullahu, Thomas Kinfe, Helmut Grabner, Patrick Krauss, Achim Schilling

机构 * Cognitive Computational Neuroscience Group, Patter Recognition Lab, University Erlangen-Nürnberg（认知计算神经科学组、模式识别实验室、埃尔兰根-纽伦堡大学） ； IDS Institut für Data Science, ZHAW School of Engineering, Winterthur, Switzerland（IDS数据科学研究所、ZHAW工程学院、温特图尔，瑞士） ； Mannheim Center for Neuromodulation and Neuroprosthetics, University Hospital Mannheim, Heidelberg University（曼海姆神经调制与神经假体中心、曼海姆大学医院、海德堡大学） ； BGU Ludwigshafen, Germany（BGU路易斯港，德国） ； Physics and Cognition Group, MCNN, University Hospital Mannheim, Heidelberg University（物理与认知组、MCNN、曼海姆大学医院、海德堡大学） ； NeuroAI and BCI Group, MCNN, University Hospital Mannheim, Heidelberg University（神经AI与BCI组、MCNN、曼海姆大学医院、海德堡大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究通过多模态视觉语言模型Qwen3-VL-8B探讨视觉趣味性编码机制，发现CI信息可从最终层嵌入中线性解码，揭示了无监督下视觉趣味性的结构化编码。

Thermal-Det: Language-Guided Cross-Modal Distillation for Open-Vocabulary Thermal Object Detection

Thermal-Det: 语言引导的跨模态蒸馏用于开放词汇热成像目标检测

Yasiru Ranasinghe, Elim Schenck, Florence Yellin, Shuowen Hu, Christopher Funk, Vishal M. Patel

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Kitware ； DEVCOM Army Research Laboratory（国防部陆军研究实验室） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出Thermal-Det，首个针对热成像的开放词汇检测器，通过合成数据集和跨模态蒸馏提升热成像目标检测性能，实验显示在公开基准上取得2-4%的AP提升。

Comments Accepted at CVPR 26

Cross-Modal Semantic-Enhanced Diffusion Framework for Diabetic Retinopathy Grading

跨模态语义增强的扩散框架用于糖尿病视网膜病变分级

Yiqun Wang

机构 * School of Software Engineering Beijing Jiaotong University（软件工程学院 北京交通大学） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出CLIP引导语义扩散框架，通过整合视觉-语言预训练与扩散概率建模，解决糖尿病视网膜病变分级中的细粒度病变模式区分、分布差异和临床语义知识利用问题。

Comments 6 pages, 3 figures, 2 tables

When Large Vision-Language Models Meet Person Re-Identification

当大视觉-语言模型遇见人重识别

Qizao Wang, Bin Li, Xiangyang Xue

机构 * School of Computer Science, Fudan University, Shanghai, China（复旦大学计算机科学学院，上海，中国） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出LVLM-ReID框架，利用大视觉-语言模型的生成能力提升人重识别的准确性，通过语义引导交互模块生成关键外观语义特征，无需额外标注即可在多个基准上取得竞争性结果。

Comments Accepted by ICASSP 2026

CapCLIP: A Vision-Language Representation Alignment Approach for Wireless Capsule Endoscopy Analysis

CapCLIP：一种用于无线胶囊内镜分析的视觉-语言表示对齐方法

Haroon Wahab, Irfan Mehmood, Hassan Ugail

机构 * School of Computer Science, AI and Electronics Faculty of Engineering and Digital Technologies（计算机科学与电子工程学院，工程与数字技术学院） ； School of Management Faculty of Mgmt, Law & Social Sciences（管理学院，管理、法律与社会科学学院） ； Centre for Visual Computing and Intelligent Systems（视觉计算与智能系统中心） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 CapCLIP通过将内镜图像与临床标准术语生成的文本描述对齐，提升无线胶囊内镜分析的泛化能力和语义解释性，优于现有方法。

Grounding the Score: Explicit Visual Premise Verification for Reliable Vision-Language Process Reward Models

将评分接地：为可靠视觉语言处理奖励模型的显式视觉前提验证

Junxin Wang, Dai Guan, Weijie Qiu, Zhihang Li, Yongbo Gai, Zhengyi Yang, Mengyu Zhou, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴大模型应用团队） ； Alibaba Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所阿里巴巴分所） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 图文多模态 ：multimodal(abstract,comments)；分类 cs.CV、cs.AI

AI总结 本文提出EVPV方法，通过显式验证视觉前提提升视觉语言处理奖励模型的可靠性，实验表明其在多模态推理基准上提升了重排序准确率。

Comments 27 pages, 4 figures, 10 tables. Evaluated on VisualProcessBench and six multimodal reasoning benchmarks (LogicVista, MMMU, MathVerse-VO, MathVision, MathVista, WeMath). Includes ablations and causal analysis via controlled constraint corruption. Code: https://github.com/Qwen-Applications/EVPV-PRM

Vocabulary Hijacking in LVLMs: Unveiling Critical Attention Heads by Excluding Inert Tokens to Mitigate Hallucination

LVLMs中的词汇劫持：通过排除惰性标记来揭示关键注意力头以缓解幻觉

Yangneng Chen, Junlin Li, Weijun Yao, Xilai Ma, Guodong Du, Wenya Wang, Jing Li

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Huawei Technologies Co., Ltd.（华为技术有限公司） ； The Hong Kong Polytechnic University（香港理工大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文通过分析LVLMs的注意力机制，揭示了词汇劫持现象，提出HABI方法定位惰性标记，并引入NHAR指标评估其影响，最终提出HAVAE方法增强关键注意力头以减少幻觉。

Comments Accepted by ACL 2026 Main

CrossVL: Complexity-Aware Feature Routing and Paired Curriculum for Cross-View Vision-Language Detection

CrossVL: 用于跨视角视觉语言检测的复杂度感知特征路由与配对课程学习

Zhipeng Liu, Chunbo Luo

机构 * Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CrossVL框架，结合复杂度感知路径聚合和配对课程学习，提升跨视角视觉语言模型的检测性能，实验显示其在MAVREC数据集上提升了aerial mAP并缩小了地面与空中视角的性能差距。

Comments Accepted to CVPR 2026. Code available at https://github.com/1nyourlife/Crossvl_cvpr2026

When Relations Break: Analyzing Relation Hallucination in Vision-Language Model Under Rotation and Noise

关系破裂：在旋转和噪声下的视觉语言模型关系幻觉分析

Philip Wootaek Shin, Ajay Narayanan Sridhar, Sivani Devarapalli, Rui Zhang, Jack Sampson, Vijaykrishnan Narayanan

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 研究探讨了旋转和噪声对视觉语言模型关系推理的影响，发现轻微扰动显著降低模型性能，提示需更鲁棒的几何感知模型。

Learning More from Less: Exploiting Counterfactuals for Data-Efficient Chart Understanding

从少量数据中学习更多：利用反事实以提高图表理解的数据效率

Jianzhu Bao, Haozhen Zhang, Kuicai Dong, Bozhi Wu, Sarthak Ketanbhai Modi, Zi Pong Lim, Yon Shin Teo, Wenya Wang

机构 * Nanyang Technological University（南洋理工大学） ； Aumovio Singapore Pte. Ltd.（Aumovio新加坡私人有限公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出ChartCF框架，通过反事实数据合成和多模态偏好优化，提升图表理解的反事实敏感性，实验表明其在少数据下表现优异。

Comments Accepted to ACL 2026 Main Conference

PolarVLM: Bridging the Semantic-Physical Gap in Vision-Language Models

PolarVLM：弥合视觉语言模型中的语义-物理差距

Yuliang Li, Chu Zhou, Heng Guo, Boxin Shi, Imari Sato, Zhanyu Ma

机构 * Beijing University of Posts and Telecommunications, China（北京邮电大学） ； National Institute of Informatics, Japan（日本国立信息机构） ； Peking University, China（北京大学） ； The University of Tokyo, Japan（东京大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 PolarVLM通过引入极化物理参数，解决视觉语言模型在反射和透明物体等光学模糊问题中的局限，提出双流架构和分阶段训练策略，构建首个极化感知的VQA基准，实现25.4%的总体提升。

Comments 23 pages, 12 figures, including appendices

JODA: Composable Joint Dynamics for Articulated Objects

JODA：可组合的联合动力学用于连杆物体

Tianhong Gao, Cheng Yu, Yinghao Xu, Mengyu Chu

机构 * Peking University（北京大学） ； Ant Group, Robbyant（蚂蚁集团，Robbyant） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 JODA通过结构化三通道场生成关节级动力学，结合视觉和语言模型推断并优化关节动力学，实现可控的连杆物体动力学建模。

Uni-Hand: Universal Hand Motion Forecasting in Egocentric Views

Uni-Hand：面向亲身体验视角的通用手部运动预测

Junyi Ma, Wentao Bao, Jingyi Xu, Guanzhong Sun, Yu Zheng, Erhang Zhang, Xieyuanli Chen, Hesheng Wang

机构 * IRMV Lab, Shanghai Jiao Tong University（上海交通大学IMV实验室） ； Meta Reality Labs（Meta现实实验室） ； Department of Electronic Engineering, Shanghai Jiao Tong University（上海交通大学电子工程系） ； China University of Mining and Technology（中国矿业大学） ； College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学与技术学院） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出Uni-Hand框架，通过多模态输入、多维多目标预测和多任务赋能，实现手部在2D和3D空间的精准预测，并引入目标指标预测手腕和指尖关节点，同时预测手-物体交互状态，提升下游任务性能。

Comments Accepted by T-PAMI 2026. Code and data: https://github.com/IRMVLab/UniHand

LiteVLA-H: Dual-Rate Vision-Language-Action Inference for Onboard Aerial Guidance and Semantic Perception

LiteVLA-H: 双速率视觉-语言-动作推断用于机载空中引导与语义感知

Justin williams, Kishor Datta Gupta, Roy George, Mrinmoy Sarkar

机构 * Department of Cyber Physical Systems, Clark Atlanta University（克劳克阿特拉大学网络物理系统系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 LiteVLA-H通过双速率操作在边缘设备上实现高效视觉-语言-动作推断，兼顾快速动作输出与语义理解，提升空中引导与场景感知性能。

HyperTransport: Amortized Conditioning of T2I Generative Models

HyperTransport：T2I生成模型的 amortized 条件控制

Valentino Maiorca, Eleonora Gualdoni, Xavier Suau, Marco Cuturi, Luca Zappella, Pau Rodríguez

机构 * Apple（苹果公司） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 HyperTransport 通过超网络框架实现对T2I生成模型的amortized条件控制，结合连续可解释强度控制和跨模态条件，提升模型可控性与效率，验证结果在多个测试概念上优于传统方法。