多模态大模型

Document-as-Image Representations Fall Short for Scientific Retrieval

基于文档的图像表示在科学检索中表现不佳

Ghazal Khalighinejad, Raghuveer Thirukovalluru, Alexander H. Oh, Bhuwan Dhingra

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ArXivDoc新基准，通过LaTeX源代码构建，对比文本、图像和多模态检索方法，发现基于图像的文档表示效果差，文本表示更有效，多模态方法表现最佳。

Rethinking Jailbreak Detection of Large Vision Language Models with Representational Contrastive Scoring

重新思考大型视觉语言模型的 Jailbreak 检测：基于表示对比评分

Peichun Hua, Hao Li, Shanghao Shi, Zhiyuan Yu, Ning Zhang

机构 * Washington University in St. Louis（圣路易斯华盛顿大学） ； Texas A&M University（德克萨斯农工大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于内部表示对比评分的框架，通过学习轻量投影分离良性与恶意输入，实现有效 Jailbreak 检测，改进现有方法的泛化能力和效率。

Comments To appear at ACL 2026 main

Sculpting the Vector Space: Towards Efficient Multi-Vector Visual Document Retrieval via Prune-then-Merge Framework

塑造向量空间：通过剪枝-然后-融合框架实现高效的多向量视觉文档检索

Yibo Yan, Mingdong Ou, Yi Cao, Xin Zou, Jiahao Huo, Shuliang Liu, James Kwok, Xuming Hu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Alibaba Cloud Computing（阿里云计算） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出剪枝-然后-融合框架，通过两阶段方法提升多向量视觉文档检索效率，实验表明其在压缩率与特征保真度间取得平衡，显著扩展近无损压缩范围。

Comments Accepted by The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026, Findings)

Attention-space Contrastive Guidance for Efficient Hallucination Mitigation in LVLMs

注意力空间对比引导用于高效缓解大视觉-语言模型中的幻觉

Yujin Jo, Sangyoon Bae, Taesup Kim

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Attention-space Contrastive Guidance方法，通过对比引导生成更视觉一致且语义忠实的文本，实验表明在CHAIR和POPE数据集上提升了忠实度并降低了延迟。

Comments Accepted at CVPR 2026 Findings

Representation geometry shapes task performance in vision-language modeling for CT enterography

表征几何形状任务性能在CT结肠镜视觉-语言建模中的作用

Cristian Minoccheri, Emily Wittrup, Kayvan Najarian, Ryan Stidham

机构 * Gilbert S. Omenn Department of Computational Medicine and Bioinformatics（Gilbert S. Omenn 计算医学与生物信息学部门） ； Department of Gastroenterology（消化内科部门） ； Department of Emergency Medicine（急诊医学部门） ； Department of Electrical Engineering and Computer Science（电气工程与计算机科学部门） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了CT结肠镜视觉-语言迁移学习，发现均值池化在疾病分类中表现更优，而注意力池化在跨模态检索中更有效，同时指出单片组织对比度比空间覆盖范围更重要，为构建体积医学影像视觉-语言系统提供了基础。

Benchmarking Foundation Models with Retrieval-Augmented Generation in Olympic-Level Physics Problem Solving

基于检索增强生成在奥林匹克级物理问题求解中的基础模型评估

Shunfeng Zheng, Yudi Zhang, Meng Fang, Zihan Zhang, Zhitan Wu, Mykola Pechenizkiy, Ling Chen

机构 * AAII, University of Technology Sydney, New South Wales, Australia（AAII，悉尼大学，新南威尔士州，澳大利亚） ； Eindhoven University of Technology, Eindhoven, The Netherlands（埃因霍温理工大学，埃因霍温，荷兰） ； University of Liverpool, Liverpool, United Kingdom（利物浦大学，利物浦，英国） ； University of New South Wales, New South Wales, Australia（新南威尔士大学，新南威尔士州，澳大利亚） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过PhoPile多模态数据集评估检索增强生成在奥林匹克级物理问题求解中的表现，探讨了基础模型结合检索与物理语料对性能提升的影响及存在的挑战。

Comments Accepted to EMNLP 2025 (Findings)

FashionMV: Product-Level Composed Image Retrieval with Multi-View Fashion Data

FashionMV：基于多视角时尚数据的产品级复合图像检索

Peng Yuan, Bingyin Mei, Hui Zhang

机构 * Tsinghua University（清华大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FashionMV，首个大规模多视角时尚数据集，用于产品级复合图像检索。通过构建包含127K产品、472K多视角图像和220K三元组的数据集，结合ProCIR框架，采用多阶段对话、标题对齐和思维链引导等机制，提升了检索性能。

Visual Late Chunking: An Empirical Study of Contextual Chunking for Efficient Visual Document Retrieval

视觉后期分块：一种上下文分块用于高效视觉文档检索的实证研究

Yibo Yan, Mingdong Ou, Yi Cao, Jiahao Huo, Xin Zou, Shuliang Liu, James Kwok, Xuming Hu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Alibaba Cloud Computing（阿里云） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出ColChunk框架，通过多模态后期分块构建高效上下文化多向量，减少存储需求并提升检索性能。

Comments Preprint

3D-VCD: Hallucination Mitigation in 3D-LLM Embodied Agents through Visual Contrastive Decoding

3D-VCD：通过视觉对比解码缓解3D-LLM具身代理中的幻觉

Makanjuola Ogunleye, Eman Abdelrahman, Ismini Lourentzou

机构 * Virginia Tech（弗吉尼亚理工大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出3D-VCD，一种用于缓解3D具身代理幻觉的视觉对比解码框架，通过构造扭曲的3D场景图来提升 grounded 推理能力，实验表明其在3D-POPE和HEAL基准上有效。

Comments 8 pages, 6 figures, Accepted at IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

SearchAD: Large-Scale Rare Image Retrieval Dataset for Autonomous Driving

SearchAD：大规模稀有图像检索数据集用于自动驾驶

Felix Embacher, Jonas Uhrig, Marius Cordts, Markus Enzweiler

机构 * Mercedes-Benz AG（梅赛德斯-奔驰集团） ； Institute for Intelligent Systems, Esslingen University of Applied Sciences（埃斯林根应用技术大学智能系统研究所） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 SearchAD为自动驾驶提供大规模稀有图像检索数据集，包含423k帧和513k个标注框，针对稀有类别检索问题，支持文本到图像和图像到图像检索及少样本学习。

Comments To be published in CVPR 2026

Beyond Semantic Search: Towards Referential Anchoring in Composed Image Retrieval

超越语义检索：面向组合图像检索的指代锚定

Yuxin Yang, Yinan Zhou, Yuxin Chen, Ziqi Zhang, Zongyang Ma, Chunfeng Yuan, Bing Li, Jun Gao, Weiming Hu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tencent Inc.（腾讯公司） ； PeopleAI Inc.（人民人工智能公司） ； HelloGroup Inc.（哈啰集团） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出OACIR任务，通过引入对象锚定机制提升组合图像检索的实例一致性，构建了包含16万多个四元组的OACIRR基准，采用AdaFocal框架实现动态关注平衡，实验表明其在保持实例一致性方面表现优异。

Comments Accepted to CVPR 2026. Project page, dataset, and code are available at: https://hahajun1101.github.io/OACIR/

Compact Hypercube Embeddings for Fast Text-based Wildlife Observation Retrieval

紧凑超立方体嵌入用于快速基于文本的野生动物观察检索

Ilyass Moummad, Marius Miron, David Robinson, Kawtar Zaher, Hervé Goëau, Olivier Pietquin, Pierre Bonnet, Emmanuel Chemla, Matthieu Geist, Alexis Joly

机构 * Inria, LIRMM, UM（法国国家信息与自动化研究所，蒙彼利埃计算机科学实验室，蒙彼利埃大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出紧凑超立方体嵌入框架，通过二进制表示实现高效文本检索，提升大规模野生动物图像和音频数据库的检索效率与鲁棒性。

Zero-shot Concept Bottleneck Models

零样本概念瓶颈模型

Shin'ya Yamaguchi, Kosuke Nishida, Daiki Chijiwa, Yasutoshi Ida

机构 * Kyoto University（京都大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出零样本概念瓶颈模型，通过大规模概念库实现无需训练的跨领域概念与标签预测，提供可解释的干预概念。

Comments Accepted to IEEE ICME 2026

One Pic is All it Takes: Poisoning Visual Document Retrieval Augmented Generation with a Single Image

一张图片足矣：通过单张图片对视觉文档检索增强生成进行污染攻击

Ezzeldin Shereen, Dan Ristea, Shae McFadden, Burak Hasircioglu, Vasilios Mavroudis, Chris Hicks

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； University College London（伦敦大学学院） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文研究了视觉文档检索增强生成（VD-RAG）对污染攻击的脆弱性，通过单张恶意图片实现针对性和通用性攻击，展示了VD-RAG在目标和通用设置下的漏洞，但在黑盒攻击下表现出一定的鲁棒性。

Comments Published in Transactions on Machine Learning Research (03/2026)

Journal ref Transactions on Machine Learning Research (TMLR), 2026

MELT: Improve Composed Image Retrieval via the Modification Frequentation-Rarity Balance Network

MELT：通过修改频繁性-稀有性平衡网络改进组合图像检索

Guozhi Qiu, Zhiwei Chen, Zixu Li, Qinlei Huang, Zhiheng Fu, Xuemeng Song, Yupeng Hu

机构 * School of Software, Shandong University（山东大学软件学院） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 MELT通过解决罕见语义定位不对称和硬负样本下的鲁棒相似性估计问题，改进组合图像检索的性能。

Comments Accepted by ICASSP 2026

Avoiding Over-smoothing in Social Media Rumor Detection with Pre-trained Propagation Tree Transformer

通过预训练传播树Transformer避免社交媒体谣言检测中的过平滑问题

Chaoqun Cui, Caiyan Jia

机构 * Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence（北京交通大数据挖掘与具身智能重点实验室） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于Transformer的P2T3方法，通过提取传播树中的对话链并引入诱导偏置，解决谣言传播结构中的过平滑问题，实验表明其在多个基准数据集上优于现有方法。

Comments 14 pages, 6 figures

ASK: Adaptive Self-improving Knowledge Framework for Audio Text Retrieval

ASK：适应性自改进知识框架用于音频文本检索

Siyuan Fu, Xuchen Guo, Mingjun Liu, Hongxiang Li, Boyin Tan, Gongxi Zhu, Xianwei Zhuang, Jinghan Ru, Yuxin Xie, Yuguo Yin

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Mohamed Bin Zayed University of Artificial Intelligence（莫扎德人工智能大学） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.MM、eess.AS

AI总结 ASK框架通过多粒度知识注入和动态精修策略解决音频文本检索中的梯度局部瓶颈和表示漂移不匹配问题，提升稀有长尾概念学习能力。

One Pool Is Not Enough: Multi-Cluster Memory for Practical Test-Time Adaptation

一个池子不够：多簇内存用于实用测试时适应

Yu-Wen Tseng, Xingyi Zheng, Ya-Chen Wu, I-Bin Liao, Yung-Hui Li, Hong-Han Shuai, Wen-Huang Cheng

机构 * National Taiwan University（国立台湾大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学） ； Hon Hai Research Institute（宏海研究院） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出多簇内存（MCM）以解决实用测试时适应中单池存储的不足，通过多簇组织提升适应稳定性，实验证明在多个数据集上均取得显著提升。

Comments 14 pages, 6 figures

PlanaReLoc: Camera Relocalization in 3D Planar Primitives via Region-Based Structure Matching

PlanaReLoc：通过基于区域的结构匹配实现3D平面原语的相机重定位

Hanqiao Ye, Yuzhou Liu, Yangdong Liu, Shuhan Shen

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PlanaReLoc，利用3D平面原语和地图进行轻量级6自由度相机重定位，通过深度匹配和统一嵌入空间实现可靠的跨模态结构对应。

Comments Accepted by CVPR 2026. 20 pages, 15 figures. Code at https://github.com/3dv-casia/PlanaReLoc

VirPro: Visual-referred Probabilistic Prompt Learning for Weakly-Supervised Monocular 3D Detection

VirPro: 基于视觉引用的概率提示学习用于弱监督单目3D检测

Chupeng Liu, Jiyong Rao, Shangquan Sun, Runkai Zhao, Weidong Cai

机构 * The University of Sydney（悉尼大学） ； Tongji University（同济大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VirPro，通过生成场景条件化提示并结合多高斯提示建模，提升单目3D检测的弱监督性能，实验表明在KITTI基准上平均精度提升4.8%。

Comments Accepted by CVPR 2026 Findings

Guiding Diffusion-based Reconstruction with Contrastive Signals for Balanced Visual Representation

通过对比信号引导扩散重建以实现平衡的视觉表示

Boyu Han, Qianqian Xu, Shilong Bao, Zhiyong Yang, Ruochen Cui, Xilin Zhao, Qingming Huang

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； School of Computer Science and Tech., University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute of Information Engineering, CAS（信息工程研究所，中国科学院） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过对比信号优化扩散重建，以提升CLIP中判别能力和细节感知能力，解决传统方法在平衡视觉表示上的不足。

SEM: Sparse Embedding Modulation for Post-Hoc Debiasing of Vision-Language Models

SEM：用于视觉-语言模型后验去偏的稀疏嵌入调制

Quentin Guimard, Federico Bartsch, Simone Caldarella, Rahaf Aljundi, Elisa Ricci, Massimiliano Mancini

机构 * University of Trento（特伦托大学） ； Toyota Motor Europe（丰田欧洲公司） ； Fondazione Bruno Kessler（布鲁诺·凯瑟尔基金会） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SEM框架，通过稀疏自编码器空间调制嵌入，实现视觉-语言模型的后验去偏，提升检索和零样本分类的公平性。

Comments CVPR Findings 2026. Project website: https://sparse-embedding-modulation.github.io/

Homogeneous and Heterogeneous Consistency progressive Re-ranking for Visible-Infrared Person Re-identification

同质与异质一致性渐进重排序用于可见-红外人重识别

Yiming Wang

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HHCR方法，通过同质和异质一致性重排序解决跨模态人重识别中的模态差异问题，实验表明其方法具有泛化能力并达到最优性能。

FALCON: False-Negative Aware Learning of Contrastive Negatives in Vision-Language Alignment

FALCON：视觉-语言对齐中对比负样本的假阴性感知学习

Myunsoo Kim, Seongwoong Shim, Byung-Jun Lee

机构 * Korea University（韩国大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 FALCON通过动态选择合适难度的负样本平衡硬负样本与假阴性，提升视觉-语言对齐性能，验证其在多种框架和任务中的有效性。

Comments Accepted at CVPR 2026

Directional Embedding Smoothing for Robust Vision Language Models

方向嵌入平滑用于鲁棒视觉语言模型

Ye Wang, Jing Liu, Toshiaki Koike-Akino

机构 * Mitsubishi Electric Research Laboratories（三菱电机研究实验室） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出通过方向嵌入平滑技术提升视觉语言模型的鲁棒性，针对多模态劫持攻击，验证了方向嵌入噪声在降低攻击成功率中的有效性。

Comments Accepted at ICLR 2026 Workshop on Agents in the Wild

Citation-Enforced RAG for Fiscal Document Intelligence: Cited, Explainable Knowledge Retrieval in Tax Compliance

引用强化的财政文档智能：在税务合规中的引用、可解释知识检索

Akhil Chandra Shanivendra

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种引用强化的RAG框架，用于财政文档智能，强调可解释性和可审计性，通过源优先的摄入策略和引用强制机制提升税务合规中的引用准确性与解释性。

Comments 22 pages, 3 figures. Applied AI systems paper focused on citation-enforced RAG and abstention for fiscal document intelligence

BotaCLIP: Contrastive Learning for Botany-Aware Representation of Earth Observation Data

BotaCLIP：基于对比学习的植物学感知地球观测数据表示

Selene Cerna, Sara Si-Moussi, Wilfried Thuiller, Hadrien Hendrikx, Vincent Miele

机构 * univ-grenoble-alpes（格勒诺布尔阿尔卑斯大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 BotaCLIP通过对比学习将植物学知识注入地球观测数据表示，提升生物多样性建模任务的性能。

Improving the Efficiency of Visually Augmented Language Models

提升视觉增强语言模型的效率

Paula Ontalvilla, Aitor Ormazabal, Gorka Azkune

机构 * HiTZ Center - Ixa, University of the Basque Country (UPV/EHU)（巴斯克大学HiTZ中心 - Ixa，巴斯克大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出BLIND-VALM模型，通过使用CLIP获取的视觉 grounding 文本表示，提升视觉增强语言模型的效率和性能。

Comments COLING 2025

Adaptive Data Augmentation with Multi-armed Bandit: Sample-Efficient Embedding Calibration for Implicit Pattern Recognition

自适应数据增强与多臂老虎机：用于隐式模式识别的样本高效嵌入校准

Minxue Tang, Yangyang Yu, Aolin Ding, Maziyar Baran Pouyan, Taha Belkhouja, Yujia Bao

机构 * Duke University（杜克大学） ； Center for Advanced AI, Accenture（Accenture高级人工智能中心） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出ADAMAB框架，通过多臂老虎机机制实现样本高效的隐式模式识别，实验表明其在少样本情况下准确率提升达40%。

AgenticOCR: Parsing Only What You Need for Efficient Retrieval-Augmented Generation

AgenticOCR: 为高效检索增强生成解析所需内容

Zhengren Wang, Dongsheng Ma, Huaping Zhong, Jiayu Li, Wentao Zhang, Bin Wang, Conghui He

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Peking University（北京大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 AgenticOCR通过动态解析范式提升视觉文档检索增强生成系统的效率和准确性，实现按需提取和解耦检索粒度。