多模态大模型

Specializing Large Models for Oracle Bone Script Interpretation via Component-Grounded Multimodal Knowledge Augmentation

通过组件导向的多模态知识增强专门化大型模型进行甲骨文解读

Jianing Zhang, Runan Li, Honglin Pang, Ding Xia, Zhou Zhu, Qian Zhang, Chuntao Li, Xi Yang

机构 * College of Software, Jilin University（吉林大学软件学院） ； School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院） ； School of Archaeology, Jilin University（吉林大学考古学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MoE, China（教育部知识驱动人机智能工程研究中心） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV、cs.CL

AI总结 本文提出一种基于组件的多模态知识增强框架，利用视觉语言模型和语言模型代理进行组件识别与语义推理，通过专家标注的OB-Radix数据集提升甲骨文解读的精度与细节。

Asking like Socrates: Socrates helps VLMs understand remote sensing images

像苏格拉底提问：苏格拉底帮助VLMs理解遥感图像

Run Shao, Ziyu Li, Zhaoyang Zhang, Linrui Xu, Xinran He, Hongyuan Yuan, Bolei He, Yongxing Dai, Yiming Yan, Yijun Chen, Wang Guo, Haifeng Li

机构 * School of Geosciences and Info-Physics, Central South University（中南大学地球科学与信息物理学院） ； Baidu Inc.（百度公司） ； School of Earth Sciences, Zhejiang University（浙江大学地球科学学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出RS-EoT方法，通过迭代视觉证据寻求机制和两阶段强化学习策略，解决遥感图像中伪推理问题，提升视觉证据基础的推理能力。

Comments Accepted by CVPR 2026

Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models

并非所有token都同等重要：基于感知的策略优化方法用于大型视觉-语言模型

Zekai Ye, Qiming Li, Xiaocheng Feng, Ruihan Chen, Ziming Li, Haoyu Ren, Kun Chen, Dandan Tu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Peng Cheng Laboratory（鹏城实验室） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出基于感知的策略优化方法PGPO，通过动态调整token级别的优势，提升多模态推理的鲁棒性与稳定性，实验显示在多个基准上提升18.7%。

VLMShield: Efficient and Robust Defense of Vision-Language Models against Malicious Prompts

VLMShield: 有效且稳健的视觉语言模型对抗恶意提示防御

Peigui Qi, Kunsheng Tang, Yanpu Yu, Jialin Wu, Yide Song, Wenbo Zhou, Zhicong Huang, Cheng Hong, Weiming Zhang, Nenghai Yu

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Washington（华盛顿大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出VLMShield，通过多模态聚合特征提取框架提升视觉语言模型对恶意提示的防御能力，实验显示其在鲁棒性、效率和实用性方面表现优异。

Trust Through Transparency: Explainable Social Navigation for Autonomous Mobile Robots via Vision-Language Models

通过透明实现信任：通过视觉语言模型实现自主移动机器人的可解释社交导航

Oluwadamilola Sotomi, Devika Kodi, Aliasghar Arab

机构 * New York University, Tandon School of Engineering（纽约大学坦登工程学院） ； General Autonomy Inc.（通用自主公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出一种多模态可解释模块，结合视觉语言模型和热图提升自主导航的透明度，通过自然语言总结使机器人感知、分析并表达观察结果，实验表明实时解释能提升用户信任和理解。

Comments Submitted to IEEE Conferences