多模态大模型

Struct-Searcher: Agentic Structural Thinking Advances Multimodal Deep Information Seeking

Struct-Searcher：代理式结构化思维推进多模态深度信息检索

Fan Zhang, Vireo Zhang, Shengju Qian, Haoxuan Li, Zheng Lian, Hao Wu, Yuan Gao, Xinyu Geng, Xin Wang, Pheng-Ann Heng

机构 * CUHK（香港中文大学） ； LIGHTSPEED ； PKU（北京大学） ； Tongji University（同济大学） ； THU（清华大学） ； HKUST（香港科技大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出基于信念修正理论的结构化代理工作流Struct-Searcher，通过维护多模态结构图实现冲突感知的深度信息检索，在多个基准上平均相对准确率提升17.2%。

The Boy Who Cried Wolf: Adversarial Misclassification of Safe Inputs as Unsafe in Multimodal Guardrails

《狼来了：多模态安全护栏中安全输入被对抗性误分类为不安全》

Shuo Shi, Rui Yin, Naen Xu, Jiahao Chen, Chunyi Zhou, Tianyu Du, Zhihui Fu, Jun Wang, Zhaoxiang Wang, Shouling Ji

专题命中 图文多模态 ：multimodal(title,abstract)

AI总结 该研究针对多模态安全护栏提出不安全诱导攻击，通过不安全语义蒸馏实现84%攻击成功率，揭示了当前多模态安全架构存在安全输入被误判为不安全的可用性漏洞。

Comments Accepted by KDD 2026

PhenoNEST: A Neuro-Symbolic Framework for Ontology-Aware Multimodal Plant Phenotyping and Trait Discovery

PhenoNEST：用于本体感知多模态植物表型分析和性状发现的神经符号框架

Jayant Ghadge, Soumyashree Kar, Surya S. Durbha

机构 * Centre of Studies in Resources Engineering (CSRE)（资源工程研究中心） ； Indian Institute of Technology Bombay（孟买印度理工学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)

AI总结 提出构建多模态粒状知识图谱框架，以弥合语义鸿沟，通过蒸馏野外记录提取实体和关系，结合模型与本体对齐，经视觉语言模型生成软图，引入节点连接多模态子图，成功映射野外观察，助力小麦育种。

Where Am I? Semantic Map Grounding via Vision-Language Models for Multi-Modal Localization

我在哪里？基于视觉-语言模型的语义地图定位用于多模态定位

Suraj Borate, Aarav Shah, Madhu Vadali

机构 * IIT Gandhinagar（印度理工学院甘地讷格尔分校） 纠错

专题命中 图文多模态 ：multi-modal(title)；cross-modal(abstract)

AI总结 将机器人定位重构为语义推理任务，使用微调的Qwen2.5-VL-7B模型融合摄像头、LiDAR和语义地图预测位姿，在室内数据集上达到98.23%位置精度，并展现出跨模态互补性和对新场景的泛化能力。

MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents

MemVenom：网络代理中多模态记忆的触发式投毒

Yv Zhang, Hao Sun, Hao Fang, Kuofeng Gao, Fan Mo, Bin Chen, Shu-Tao Xia, Yaowei Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Tianjin University（天津大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生学院，清华大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)

AI总结 提出MemVenom框架，针对网络代理的外部记忆系统，通过触发条件检索和攻击诱导，实现黑盒多模态记忆投毒，达到高成功率且不影响良性性能。

Comments Preprint. 27 pages, 6 figures, 6 tables

Learning Deep Modality-Shared Self-Expressiveness for Image Clustering with Textual Information

用于结合文本信息的图像聚类的深度模态共享自表达学习

Xianghan Meng, Wei He, Zhiyuan Huang, Chun-Guang Li

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出DeepMORSE方法，通过模态共享自表达模型学习结合文本信息的图像聚类，在6个基准数据集上聚类性能提升超3%，且所学表示可迁移至下游任务。

KITE: A Tri-Modal Transformer Integrating Text, Images, and Knowledge Graphs for Fake News Detection

KITE：一种融合文本、图像和知识图谱的三模态假新闻检测Transformer

Kevin Patel, Shashi Bhushan Jha

机构 * Department of Computer Science, University of West Florida（威斯福大学计算机科学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出三模态假新闻检测框架KITE，联合建模文本、视觉和知识表示，利用跨模态注意力整合特征，在基准数据集上显著优于单双模态基线。

Visuals Lie, Consistency Speaks: Disentangling Spatial Attention from Reliability in Vision-Language Models

视觉会撒谎，一致性说话：在视觉-语言模型中解耦空间注意力与可靠性

Logan Mann, Yi Xia, Ajit Saravanan, Ishan Dave, Saadullah Ismail, Shikhar Shiromani, Emily Huang, Ruizhe Li, Kevin Zhu

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Algoverse AI Research（Algoverse AI研究） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 图文多模态 ：multimodal(abstract,comments)；multimodal foundation model(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出VLM可靠性探针（VRP），通过结构注意力指标和生成动态分析，发现空间注意力与准确性几乎无关（R≈0.001），而自一致性是可靠性的主要预测因子（R=0.429），揭示了视觉特征与最终生成之间的符号脱离现象。

Comments 16 pages. Accepted to the ICLR 2026 Workshop on Multimodal Intelligence. Code: https://github.com/itsloganmann/VLM-Reliability-Probe

Multimodal Semantic-Probabilistic Objectness for Open World Object Detection

用于开放世界目标检测的多模态语义概率目标性

Weijun Tian, Rui Liu

机构 * School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV、cs.AI

AI总结 研究开放世界目标检测问题，提出MSPO轻量级语义校准框架，通过融合已知类别语言语义与视觉目标性来校准预测，在实验中改进了PROB基线，提升了主要指标及PASCAL VOC最终mAP，证明已知类别语义可有效校准概率目标性。

Comments 16 pages, 3 figures, 4 tables

Enabling 24-hour Agricultural Robotics: Unsupervised Day-to-Night Cross-Modal Image Translation for Nighttime Visual Navigation

实现24小时农业机器人技术：用于夜间视觉导航的无监督日夜跨模态图像翻译

Robel Mamo, Rajitha de Silva, Grzegorz Cielniak, Taeyeong Choi

机构 * LaSER Lab, Kennesaw State University（激光实验室，肯尼索州立大学） ； Lincoln Institute for Agri-Food Technology, University of Lincoln（林肯农业食品技术研究所，林肯大学） 纠错

专题命中 图文多模态 ：cross-modal(title)；分类 cs.CV、cs.AI

AI总结 该研究针对农业机器人夜间视觉导航中大规模标注图像数据集难获取的问题，提出无监督图像翻译框架，整合CLIP模型并引入可见性掩码，复用白天语义标签训练模型，经实验验证提升了图像质量和下游语义分割性能。

Comments Accepted to IROS2026

Multimodal Image Colorization: Quantifying the Impact of Text-Conditioned Guidance on Grayscale-to-Color Translation

多模态图像着色：量化文本条件引导对灰度到彩色转换的影响

Colten Reissmann, Hugo Garrido-Lestache Belinchon

机构 * Department of Computer Science and Software Engineering（计算机科学与软件工程系） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV、cs.CL

AI总结 本文通过U-Net和Stable Diffusion 1.5两种架构，量化了CLIP文本条件对灰度图像着色质量的影响，发现文本条件显著提升了PSNR、SSIM和色彩度，降低了LPIPS。

Vision-Language Grounding as Bidirectional Concept Correspondence

视觉-语言 Grounding 作为双向概念对应

Jieyu Zhang, Ziqi Gao, Luke Zettlemoyer, Ranjay Krishna

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（艾伦人工智能研究所） ； FAIR at Meta（Meta FAIR实验室） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本研究将视觉-语言 Grounding 建模为双向概念对应，提出 ConCor-1 模型统一相关任务，在长文本数据集和零样本 LVIS 上对应 F1 分别提升 48%、29%，性能优于基线。

Through the LENS: Local Geometric Decomposition of Vision-Language Model Representations

通过LENS：视觉语言模型表示的局部几何分解

Shalom Kachko, Raz Lapid, Margarita Vald, Almog Dubin, Moshe Sipper

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本研究提出LENS方法，将VLM激活分解为局部低秩高斯邻域，揭示LLaVA与Qwen3-VL的不同模态融合轨迹，该方法可实现因果生成干预并提升多模态检索性能。

An Exam for Active Observers

主动观察者的测试

Jiarui Zhang, Muzi Tao, Shangshang Wang, Ollie Liu, Xuezhe Ma, Willie Neiswanger

机构 * University of Southern California（南加州大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究多模态大语言模型是否具备主动观察能力，引入ActiveVision基准测试，发现前沿模型表现不佳，即便能编写视觉代码差距仍存，表明当前模型缺乏主动视觉观察，呼吁构建闭合感知 - 推理循环的架构和训练目标。

Comments 17 pages, 8 figures, 4 tables. Project page: https://activevision.dev

Vision-Language Procedural Reasoning for Context-Aware Reward Modeling of Robotic Endovascular Guidewire Navigation

面向机器人血管内导丝导航的视觉-语言程序化推理与上下文感知奖励建模

Wentong Tian, Jiyuan Zhao, Tianliang Yao, Yuxiang Fan, Zhengyu Shi, Dong Liu, Peng Qi

机构 * Department of Control Science and Engineering, College of Electronic and Information Engineering, and Shanghai Institute of Intelligent Science and Technology, Tongji University（同济大学电子与信息工程学院控制科学与工程系，以及上海智能科学与技术研究院） ； Department of Electronic Engineering, Faculty of Engineering, The Chinese University of Hong Kong（香港中文大学工程学院电子工程系） ； Shanghai Operation Robot Co., Ltd.（上海微创医疗机器人（集团）股份有限公司） 纠错

专题命中 图文多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)

AI总结 提出视觉-语言程序化推理框架，利用多模态大模型实时理解视觉上下文，动态调整奖励权重，实现单策略适应复杂血管导航任务，提升可靠性与效率。

Comments This paper has been accepted by IEEE/RSJ IROS 2026. 7 pages, 4 figures, 2 tables

Textual Supervision Enhances Geospatial Representations in Vision-Language Models

文本监督增强视觉-语言模型中的地理空间表示

Marcelo Sartori Locatelli, Fernando Tonucci, Jea Kwon, Luiz Felipe Vecchietti, Bryan Nathanael Wijaya, Cheng Yaw Low, Virgilio Almeida, Meeyoung Cha

机构 * University of São Paulo（圣保罗大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究视觉、视觉-语言及多模态模型的地理空间表示能力，发现文本监督能有效提升空间编码，推动地理空间AI发展。

Comments Accepted at ICML 2026

BUS: Brain-Inspired Unsupervised Self-Reflection via Backward Prediction for Multimodal Reasoning

BUS：用于高级多模态推理的受脑启发的无监督自我反思

Jiacheng Yang, Tongying Xiao, Yunkai Dang, Cong Wang, Yuekun Yang, Qi Fan, Tianyu Ding, Wenbin Li, Feng Miao, Yang Gao

机构 * AAAI Press（美国人工智能协会出版社） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV

AI总结 研究针对VLM处理复杂视觉任务的不足，受脑启发提出BUS无监督训练框架，通过反向预测提升其反思推理能力，无需标注数据，与多种微调方法兼容，经实验验证在多任务中有效提升了VLM推理性能。

RSICCLLM: A Multimodal Large Language Model for Remote Sensing Image Change Captioning

RSICCLLM：用于遥感图像变化描述的多模态大语言模型

Yelin Wang, Zijia Song, Shuo Ye, Chuanguang Yang, Miaoyu Wang, Yong Xu, Zhulin An, Yongjun Xu, Zitong Yu

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（人工智能安全国家重点实验室，计算技术研究所，中国科学院，北京，中国） ； Great Bay University, Dongguan, China（东莞Great Bay大学，中国） ； Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳学院，中国） ； Dongguan Key Laboratory for Intelligence and Information Technology, Dongguan, China（东莞智能与信息科技重点实验室，中国） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV

AI总结 提出首个针对遥感图像变化描述任务的大视觉语言模型后训练框架RSICCLLM，通过数据生成范式、差异感知微调和双负偏好优化，仅7B参数即超越更大规模模型。

Comments Accepted by ECCV 2026

ExDet: Open-Domain Open-Vocabulary Detection with Cross-modal Extrapolation and Rectification

ExDet: 基于跨模态外推与校正的开放域开放词汇检测

Yupeng Zhang, Yuzhong Feng, Ruize Han, Zhiwei Chen, Wei Feng, Liang Wan

机构 * College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部） ； Faculty of Computer Science and Artificial Intelligence, Shenzhen University of Advanced Technology（深圳理工大学计算机科学与人工智能学院） ； School of Artificial Intelligence, Nanchang University（南昌大学人工智能学院） 纠错

专题命中 图文多模态 ：cross-modal(title)；分类 cs.CV

AI总结 提出ExDet框架，通过文本引导外推（TGE）和检测器兼容校正（DCR）模块，无需额外训练即可增强开放域开放词汇检测的跨类别和跨域泛化能力，在多个基准上取得最优性能。

Intern-S2-Preview: Scientific Agentic Foundation Model

Intern-S2-Preview：科学智能体基础模型

Lei Bai, Jiaqi Cao, Chiyu Chen, Guanzhou Chen, Kai Chen, Guangran Cheng, Erfei Cui, Xuanlang Dai, Shengyuan Ding, Shangheng Du, Yanhui Duan, Yue Fan, Youqing Fang, Quan Gan, Yuanyuan Gao, Jiaye Ge, Lixin Gu, Yuzhe Gu, Qipeng Guo, Junjun He, Xin Hong, Ming Hu, Zhouqi Hua, Haian Huang, Junhao Huang, Zixian Huang, Minxi Jin, Lingkai Kong, Alexander Lam, Zehao Li, Zonglin Li, Tianhao Liang, Dahua Lin, Junyao Lin, Tianyang Lin, Zhouhan Lin, Jiangning Liu, Jin Liu, Kuikun Liu, Wenran Liu, Yifei Liu, Yuhong Liu, Yuhong Liu, Zhoumianze Liu, Ziyan Liu, Ziyu Liu, Haijun Lv, Han Lv, Chengqi Lyu, Le Ma, Ningsheng Ma, Zerun Ma, Haoyang Peng, Runyu Peng, Jifei Shan, Zixin Shang, Kou Shi, Xiang Shi, Qisheng Su, Xuerui Su, Hao Sun, Xiao Sun, Yanan Sun, Yu Sun, Huanze Tang, Yinghao Tang, Wenhui Tian, Zhongbo Tian, Bingli Wang, Haomin Wang, Jiarui Wang, Jingzhi Wang, Rui Wang, Xiquan Wang, Yi Wang, Zhecan Wang, Ziyi Wang, Zun Wang, Rubin Wei, Lianyi Wu, Wen Wu, Yue Wu, Yuhan Wu, Zhenyu Wu, Zijian Wu, Shuhao Xing, Jun Xu, Xingle Xu, Xuenan Xu, Xiangchao Yan, Ziang Yan, Bowen Yang, Danni Yang, Lin Yang, Zhiqi Yang, Qian Yao, Haochen Ye, Peng Ye, Jinhui Yin, Jiashuo Yu, Dingbo Yuan, Fei Yuan, Yuhang Zang, Bo Zhang, Chao Zhang, Chen Zhang, Hongjie Zhang, Junming Zhang, Wenlong Zhang, Wenwei Zhang, Yiming Zhang, Zhuo Zhang, Ziyang Zhang, Haiteng Zhao, Penghao Zhao, Yibo Zhao, Zhonghan Zhao, Zhihang Zhong, Bowen Zhou, Peiheng Zhou, Xin Zhou, Xinyu Zhou, Yunhua Zhou, Dongsheng Zhu, Yicheng Zou

机构 * Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL

AI总结 本研究提出Intern-S2-Preview系列科学智能体基础模型，通过多阶段训练与架构优化，在多类基准上取得领先结果，相关模块可提升科学任务表现且无需修改主干模型。

Comments 35 pages, 12 figures

SpikeWorld: Fast-State Adaptation for Frozen Spiking World Models

SpikeWorld：用于冻结脉冲世界模型的快速状态适应

Ziqiao Yu

机构 * DiDi International Business Group（滴滴国际业务集团） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 SpikeWorld是145万参数的稀疏脉冲模型，冻结训练参数后通过外部路径实现快速状态适应，提升多模态预测等性能，在Meta-World任务中提高冻结策略奖励与成功率。

Comments 14 pages, 2 figures, 4 tables. Code: https://github.com/Oooorca/SpikeWorld

Gaze Behavior in Visual World Experiments Can be Modeled With Off-the-shelf Language-Vision Encoders

视觉世界实验中的注视行为可采用现成的语言-视觉编码器建模

Rahul Murali Shankar, Titus von der Malsburg, Sebastian Padó

机构 * University of Stuttgart（斯图加特大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 该研究提出结合CLIP双编码器与双模态归因方法的新方法，无需微调或生成式架构，即可复现经典视觉世界研究的人类注视行为预测结果。

QR-Structured Thermal Triggers for Targeted Semantic Attacks on Infrared Vision-Language Models

用于红外视觉语言模型定向语义攻击的QR结构化热触发装置

Xiang Chen, Yingying Zhao, Chao Li, Jiaju Han, Ben Zhang, Ang Li, Jiahuan Long, Yiwei Wei, Jiujiang Guo, Chengyin Hu

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出QR-STT框架，作为隐蔽黑盒攻击手段，可定向操控IR-VLMs的语义对齐，其扰动还能跨任务迁移，凸显了对该类攻击进行鲁棒性评估的必要性。

TextSLIP: Text Self-Supervised CLIP for Medical Report Generation

TextSLIP：用于医学报告生成的文本自监督CLIP

Haoyu Jiang, Ziping Cong

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对现有CLIP方法在医学报告生成中语义监督不足问题，提出TextSLIP框架，通过模态内文本对比学习增强CLIP，经实验验证其在报告生成指标上有改进，表明文本级对比学习对改善医学视觉-文本对齐有潜力。

Comments 9 pages

Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment

回答前看清楚：通过显著性驱动的感知重新对齐减轻LVLMs中的幻觉

Pengxu Chen, Yao Zhu, Guangming Zhu, Jun Sheng, Jincai Huang, Xiangyang Ji, Liang Zhang

机构 * Xidian University（西安电子科技大学） ； Tsinghua University（清华大学） ； Shanghai Road Transport Development Center（上海市道路运输发展中心） ； Hunan Institute of Advanced Technology（湖南先进技术研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 研究针对LVLMs易产生幻觉问题，提出无需训练的SDPR框架，通过显著性驱动注意力重新分配、缓存对齐及先验约束对比解码，整体对齐视觉意识，在多基准测试中优于现有方法，无需额外训练且开销小。

Comments Accepted by ACM Multimedia 2026

When Structured Sparse Autoencoders Learn Consistent Concepts Across Modalities

当结构化稀疏自编码器跨模态学习一致概念时

Weiduo Liao, Yunqiao Yang, Ying Wei

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言模型中普通稀疏自编码器难以学习模态一致概念的问题，提出结构化稀疏自编码器$S^2AE$，通过图像块分组及结构化稀疏正则化强化概念一致性，经实验验证该方法在语义对齐等方面有提升，能促进跨模态表示更连贯解缠。

RADIO1D: Elastic Representations for Condensed Vision Modeling

RADIO1D：用于压缩视觉建模的弹性表示

Greg Heinrich, Mike Ranzinger, Collin McCarthy, Natan Bagrov, Eugene Khvedchenya, Bryan Catanzaro, Jan Kautz, Andrew Tao, Pavlo Molchanov

机构 * NVIDIA（英伟达） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 挑战视觉语言模型需固定基于补丁的2D视觉特征的假设，分析微调视觉编码器，基于发现引入RADIO1D，用多教师知识蒸馏等将图像压缩成1D令牌序列，有强分层总结能力，在多模态基准测试中有优势。

Comments Published as main conference paper at ICML 2026

SAB-LVLM: Significance-Aware Binarization for Large Vision-Language Models

SAB-LVLM: 面向大型视觉-语言模型的重要性感知二值化

Qi Lyu, Jiahua Dong, Baichen Liu, Xudong Wang, Mingfei Han, Yulun Zhang, Fahad Shahbaz Khan, Salman Khan, Lianqing Liu, Zhi Han

机构 * State Key Laboratory of Robotics and Intelligent Systems（机器人学国家重点实验室） ； Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出SAB-LVLM方法，通过构建空间重要性图与模态引导整合策略，实现跨层跨模态权重重要性感知的二值化，在约1比特压缩下优于现有二值化方法。

ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP

ReasonCLIP-58M: CLIP的视觉基础常识推理监督

Sicheng Zhang, Muzammal Naseer, Binzhu Xie, Naufal Suryanto, Shi Qiu, Jamal Bentahar, Naveed Akhtar, Mubarak Shah

机构 * Khalifa University（卡利法大学） ； University of Western Australia（西澳大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Melbourne（墨尔本大学） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 提出ReasonCLIP-58M框架，通过两阶段策略将大规模推理监督集成到CLIP模型中，构建ReasonLite-42M和ReasonPro-16M数据集及RCLIP-Bench基准，提升视觉基础常识推理和零样本检索性能。

Comments Accepted to ECCV2026

Steering Vision-Language Models with Joint Sparse Autoencoders

用联合稀疏自编码器引导视觉-语言模型

Huizhen Shu, Xuying Li, Hongxu Lin, Wenjie Sun, Hui Li

机构 * yunshanai（云山AI） ； HKUST(Guangzhou)（香港科技大学（广州）） ； Zidongtaichu（紫东太初） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出联合稀疏自编码器（JSAE），通过显式对齐约束联合分解视觉和语言激活，得到可解释的跨模态特征，并在LLaVA等模型上验证了层依赖的干预效果。

Comments 19pages,10 figures