多模态大模型

Combating Visual Neglect and Semantic Drift in Large Multimodal Models for Enhanced Cross-Modal Retrieval

对抗大多模态模型中的视觉忽视与语义漂移以提升跨模态检索

Guosheng Zhang, Linkai Liu, Keyao Wang, Haixiao Yue, Zhiwen Tan, Xiao Tan

机构 * Baidu Inc（百度公司） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出SSA-ME框架，通过显式建模显著视觉主体，提升细粒度表示学习，解决多模态检索中的语义漂移和视觉模态忽视问题，实验表明其在MMEB基准上达到最优性能。

DualGeo: A Dual-View Framework for Worldwide Image Geo-localization

DualGeo: 一个用于全球图像地理定位的双视角框架

Junchao Cui, Wenqi Shi, Shaoyong Du, Hang He, Xuanzi Ma, Hao Tang, Xiangyang Luo

机构 * Henan Key Laboratory of Cyberspace Situation Awareness, Zhengzhou, China（河南空域态势感知重点实验室，郑州，中国） ； Information Engineering University, Zhengzhou, China（信息工程大学，郑州，中国） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 DualGeo通过融合图像与语义分割特征构建地理表示，并利用双视角对比学习与地理聚类提升全球图像定位精度，实验表明其在街道和城市级别定位准确率提升显著。

Comments ICME2026 Accept

GeoSearch: Augmenting Worldwide Geolocalization with Web-Scale Reverse Image Search and Image Matching

GeoSearch：通过网络级反向图像搜索和图像匹配增强全球地理定位

Tung-Duong Le-Duc, Hoang-Quoc Nguyen-Son, Minh-Son Dao

机构 * University of Science, VNU-HCM（越南国家科学大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出GeoSearch框架，通过整合网络级反向图像搜索与图像匹配技术，提升全球图像地理定位的准确性，实验表明其在考虑泄漏因素下的优越性。

Comments Accepted to SIGIR 2026 Main Conference

Learning from Medical Entity Trees: An Entity-Centric Medical Data Engineering Framework for MLLMs

从医学实体树学习：一种以实体为中心的医疗数据工程框架用于多模态大语言模型

Jianghang Lin, Haihua Yang, Deli Yu, Kai Wu, Kai Ye, Jinghao Lin, Zihan Wang, Yuhang Wu, Liujuan Cao

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University, China（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学，中国） ； ByteDance（字节跳动） ； Northeastern University（东北大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出以实体为中心的医疗数据工程框架，通过构建医学实体树，提升多模态大语言模型在医疗领域的表现，通过实体引导检索、双重过滤和知识感知数据合成等方法，增强模型处理复杂临床问题的能力。

One Perturbation, Two Failure Modes: Probing VLM Safety via Embedding-Guided Typographic Perturbations

一个扰动，两种失效模式：通过嵌入引导的字形扰动探测VLM安全性

Ravikumar Balakrishnan, Sanket Mendapara

机构 * Cisco Systems（思科系统） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 本文通过实证研究揭示多模态嵌入距离对VLM攻击成功率的预测作用，并提出基于嵌入引导的字形扰动方法，验证了可读性与安全对齐的交互影响。

Personalized Multi-Interest Modeling for Cross-Domain Recommendation to Cold-Start Users

面向冷启动用户的跨域推荐的个性化多兴趣建模

Xiaodong Li, Jiawei Sheng, Jiangxia Cao, Xinghua Zhang, Wenyuan Zhang, Yong Sun, Shirui Pan, Zhihong Tian, Tingwen Liu

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出NF-NPCDR框架，通过个性化偏好编码器和共同偏好编码器捕捉用户多兴趣偏好，结合随机自适应解码器提升冷启动用户推荐性能。

Adaptable phase retrieval for coherent transition radiation spectroscopy based on differentiable physics information

基于可微物理信息的适应性相位恢复用于相干跃迁辐射光谱学

Ritz Ann Aguilar, Maxwell LaBerge, Andreas Doepp, Alexander Debus, Zewu Bi, Michael Bussmann, Arie Irman, Ulrich Schramm, Jeffrey Kelling

机构 * Institute of Radiation Physics, Helmholtz-Zentrum Dresden-Rossendorf（辐射物理研究所，德累斯顿-罗斯托克研究中心） ； Centre for Advanced Laser Applications, Ludwig-Maximilians-Universität München（先进激光应用中心，慕尼黑路德维希-马克西米利安大学） ； Center for Advanced Systems Understanding, Görlitz（先进系统理解中心，戈尔茨） ； Technische Universität Dresden（德累斯顿技术大学） ； Technische Universität Chemnitz（切恩茨技术大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出了一种基于可微物理信息的相位恢复方法，用于解决相干跃迁辐射光谱学中束流剖面恢复问题，通过梯度下降优化傅里叶相位并结合物理先验约束，提升重建精度和鲁棒性。

Comments 17 pages, 8 figures

AI-Augmented Bibliometric Framework: A Paradigm Shift with Agentic AI for Dynamic, Snippet-Based Research Analysis

增强型文献计量框架：基于代理AI的范式转变用于动态、片段式研究分析

Adela Bara, Simona-Vasilica Oprea

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出一个生成式多代理AI框架，通过自然语言指令实现动态代码基文献计量分析，无需专业编程技能，支持多模态全文检索、代理探索和动态指标创建，突破传统工具的限制。

IoDResearch: Deep Research on Private Heterogeneous Data via the Internet of Data

IoDResearch：通过互联网的数据进行私有异构数据的深度研究

Zhuofan Shi, Zijie Guo, Xinjian Ma, Gang Huang, Yun Ma, Xiang Jing

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出IoDResearch框架，通过将异构资源转化为FAIR合规的数字对象，提升私有数据的检索效率和可重用性，实验表明其在检索、问答和报告生成任务中优于现有基线方法。

Comments Accepted to ICASSP 2026