多模态大模型

PGN: Design and Implementation of a Vision-Language Navigation System Based on Pangu Multimodal Foundation Model

PGN：基于盘古多模态基础模型的视觉语言导航系统的设计与实现

Li Xian, Mingxi Li, Yizheng Wang, Yiming Shen, Qi Chen, Zhuoling Xiao

机构 * University of Electronic Science and Technology of China（电子科技大学） ； School of Information and Communication Engineering（信息与通信工程学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.AI

AI总结 研究基于盘古多模态基础模型设计实现视觉语言导航系统PGN，训练分两阶段，先对齐视觉与语言编码器，再使模型适应专家轨迹，结合多种计算方式，在特定评估下取得一定指标，量化了离线专家动作对齐情况。

Comments 6 pages, 5 figures

Pailitao-MMSearch: Building Native E-Commerce Multimodal Search Foundation

派利淘-多模态搜索：构建原生电子商务多模态搜索基础

Xiaohan Ye, Xu Chen, Zihan Gong, Jian Ding, Lianyu Du, Baicheng Chen, Yunmeng Shu, Jingqian Zhao, Zhixiang Zhao, Shuaiqi Jia, Chong Ma, Shuwen Xiao, Xiangheng Kong, Yuan Gao, Jun Song, Jinsong Lan, Xiaoyong Zhu, Bo Zheng

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝及天猫集团） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对电子商务多模态搜索问题，提出派利淘-多模态搜索基础模型，通过混合语义ID、两阶段持续预训练策略和混合推理后训练管道，在淘宝派利淘平台实现显著改进，提升了商品交易总额和交易量。

Comments Technical Report: Pailitao-MMSearch

RobustVLA: On Robustness of Vision-Language-Action Model against Multi-Modal Perturbations

针对多模态扰动的视觉-语言-动作模型的鲁棒性

Jianing Guo, Zhenhong Wu, Chang Tu, Yiyao Ma, Xiangqi Kong, Zhiqian Liu, Jiaming Ji, Shuning Zhang, Yuanpei Chen, Kai Chen, Qi Dou, Yaodong Yang, Xianglong Liu, Huijie Zhao, Weifeng Lv, Simin Li

专题命中 图文多模态 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出RobustVLA，通过多模态鲁棒优化提升视觉-语言-动作模型在多种扰动下的鲁棒性，实验表明其在性能和推理速度上均优于现有方法。

Comments Published as a conference paper at ICLR 2026

One Modality to Forget Them All: Enhancing Cross-Modal Unlearning in Vision-Language Models

一种模态遗忘一切：增强视觉语言模型中的跨模态遗忘

Sudharshan Balaji, Yili Ren, Guangjing Wang, Yimin Chen, Ning Wang

机构 * University of South Florida（南佛罗里达大学） ； University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.CL

AI总结 研究视觉语言模型中跨模态遗忘转移问题，通过对三种架构研究发现其不对称不完整。提出CrossInf策略，聚焦关键transformer块遗忘，减少转移差距，提升鲁棒性，经人工评估验证，还用CKA分析浅层遗忘。

Comments 18 pages

RobustMAD: Evaluating Real-World Robustness of Multimodal Small Language Models for Deployable Anomaly Detection Assistants

RobustMAD：评估用于可部署异常检测助手的多模态小语言模型的现实世界鲁棒性

Anushiya Arunan, Xin Li, Yan Qin, U-Xuan Tan, Nhu Khue Vuong, Xiaoli Li, Chau Yuen

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局） ； Nanyang Technological University（南洋理工大学） ； Chongqing University（重庆大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对多模态小语言模型现场部署的鲁棒性评估问题，开发RobustMAD基准测试，通过多种开放式查询评估模型，发现最佳模型虽有潜力但仍存差距及三种失败模式，为下一代多模态工业检测助手设计提供指导。

Comments Accepted for publication in Transactions on Machine Learning Research (TMLR), 2026 at https://openreview.net/forum?id=skrA9UYNIZ

Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment

回答前看清楚：通过显著性驱动的感知重新对齐减轻LVLMs中的幻觉

Pengxu Chen, Yao Zhu, Guangming Zhu, Jun Sheng, Jincai Huang, Xiangyang Ji, Liang Zhang

机构 * Xidian University（西安电子科技大学） ； Tsinghua University（清华大学） ； Shanghai Road Transport Development Center（上海市道路运输发展中心） ； Hunan Institute of Advanced Technology（湖南先进技术研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 研究针对LVLMs易产生幻觉问题，提出无需训练的SDPR框架，通过显著性驱动注意力重新分配、缓存对齐及先验约束对比解码，整体对齐视觉意识，在多基准测试中优于现有方法，无需额外训练且开销小。

Comments Accepted by ACM Multimedia 2026

Memory-Supported Synergistic Adaptation for Training-Free Test-Time Medical Image Segmentation

用于无训练测试时医学图像分割的内存支持协同适应

Lingrui Li, Nan Pu, Dong Zhao, Wenjing Li, Andrew P French, Zhun Zhong, Xin Chen

机构 * School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） ； Information Systems Technology and Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学信息系统技术与设计支柱） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 研究针对医学图像分割中测试时适应的挑战，提出内存支持协同适应（MSSA）框架，不更新模型参数，通过构建在线内存、文本引导语义先验及跨图像结构对齐实现稳健适应，实验证明其优于现有方法。

Comments 18 pages, ECCV 2026

Revealing Physical-World Semantic Vulnerabilities: Universal Adversarial Patch for Infrared Vision-Language Models

揭示物理世界语义漏洞：用于红外视觉语言模型的通用对抗性补丁

Chengyin Hu, Yuxian Dong, Yikun Guo, Xiang Chen, Qike Zhang, Junqi Wu, Jiahuan Long, Jiujiang Guo, Yiwei Wei, Tingsong Jiang, Wen Yao

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出通用曲网格补丁框架UCGP，用于揭示红外视觉语言模型的语义鲁棒性漏洞，通过扰动视觉表征空间以削弱跨模态语义对齐，验证了其在多种架构和数据集上的有效性。

Med-OPD: Improving Medical Vision-Language Models via Evidence-Aware On-Policy Distillation

Med-OPD：通过证据感知策略蒸馏改进医学视觉语言模型

Yunhang Qian, Jiaquan Yu, Jiawei Liu, Meng Wang, Hongwei Bran Li, Xiaobin Hu

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对医学视觉语言模型依赖语言先验而非视觉证据推理的问题，提出Med-OPD框架，引入医学证据优势信号，在令牌和轨迹级别重新分配蒸馏信号，实验证明该方法能加强模型对关键视觉证据的依赖，提升多模态医学推理能力。

COLIP-2: Olfaction-Vision-Language Embeddings

COLIP-2：嗅觉-视觉-语言嵌入

Kordel Kade France

机构 * Scentience 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 COLIP-2模型构建多模态嵌入空间，将嗅觉与视觉、语言结合，通过训练使机器人能定位香气来源。因缺乏相关大规模数据集，需新方法和数据集。文中展示其内部测试结果并优化，该模型有望用于多模态领域。

Comments Model Card

FUSAR-R1: A Large-Scale Reasoning Model for Intelligent Interpretation of SAR Images

FUSAR-R1：一种用于合成孔径雷达图像智能解释的大规模推理模型

Yi Yang, Xiaokun Zhang, Yuxuan Li, Ruyi Zhang, Xinpeng Zhou, Haipeng Wang

机构 * Fudan University（复旦大学） ； Key Laboratory for Information Science of Electromagnetic Waves (MoE)（电磁波信息科学教育部重点实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 针对SAR图像智能解释问题，提出FUSAR-R1模型。通过模拟专家解释构建思维链推理数据指导指令学习，赋予基本推理能力，再用强化学习策略优化输出。该模型在多种SAR解释任务中表现优于现有模型。

Localization-Infused Vision-Language Semantic Fusion for Text-Guided Medical Image Segmentation

用于文本引导医学图像分割的定位注入视觉语言语义融合

Songyue Han, Mingye Zou, Shuchang Ye, Lei Bi, Mingyuan Meng

机构 * Air Force Engineering University（空军工程大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； University of Sydney（悉尼大学） ； Institute of Translational Medicine, Shanghai Jiao Tong University（上海交通大学转化医学研究院） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 研究针对文本引导医学图像分割，提出LoG框架，通过联合执行多尺度目标定位任务，实现三级定位注入语义融合，在三个基准数据集实验中表现出色，优于现有医学图像分割方法。

TempoVLA: Learning Speed-Controllable Vision-Language-Action Policies

TempoVLA: 学习速度可控的视觉-语言-动作策略

Dong Jing, Jingchen Nie, Tianqi Zhang, Jiaqi Liu, Huaxiu Yao, Zhiwu Lu, Mingyu Ding

机构 * RUC（中国人民大学） ； FDU（福建大学） ； UNC（北卡罗来纳大学教堂山分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出TempoVLA，通过可变速度轨迹增强和速度条件机制，实现机器人操作中速度的双向灵活控制，并支持动态速度调节。

Do All Individual Layers Help? An Empirical Study of Task-Interfering Layers in Vision-Language Models

所有个体层都有帮助吗？视觉-语言模型中任务干扰层的实证研究

Zhiming Liu, Yujie Wei, Lei Feng, Xiu Su, Xiaobo Xia, Weili Guan, Zeke Xie, Shuo Yang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Harbin Institute of Technology（哈尔滨工业大学） ； Southeast University（东南大学） ； Central South University（中南大学） ； National University of Singapore（新加坡国立大学） ； The Hong Kong University of Science and Technology, Guangzhou（香港科学与技术大学（广州）） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究通过层干预发现部分层阻碍下游任务，提出任务自适应层剔除方法提升性能，揭示预训练VLM的意外模块化特性。

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Findings, 2026, pp. 9597-9607

AutoNeural: Co-Designing Vision-Language Models for NPU Inference

AutoNeural：为 NPU 推理协同设计视觉语言模型

Wei Chen, Liangmin Wu, Yunhai Hu, Zhiyuan Li, Zhiyuan Cheng, Yicheng Qian, Lingyue Zhu, Zhipeng Hu, Luoyi Liang, Qiang Tang, Zhen Liu, Han Yang

机构 * Nexa AI ； Geely Auto 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CL

AI总结 研究针对 NPU 推理的视觉语言模型硬件与模型不匹配问题，提出 AutoNeural 架构，用深度可分离卷积骨干替换 ViT 编码器，结合状态空间模型与 Transformer 层，提升效率，降低量化误差与延迟，验证了在实际应用中的实时性能。