多模态大模型

PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning

PUMA: 基于层剪枝的语言模型，用于具有模态自适应学习的高效统一多模态检索

Yibo Lyu, Rui Shao, Gongwei Chen, Yijie Zhu, Weili Guan, Liqiang Nie

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(summary_cn,abstract_cn)；分类 cs.CV、cs.MM

AI总结 提出PUMA，通过层剪枝自蒸馏减少MLLM参数，并设计模态自适应对比学习损失（MAC-Loss）提升检索效率，在降低资源消耗的同时保持性能。

MM-Matryoshka: Towards Budget-Elastic Visual Document Retrieval via a 2D Multimodal Matryoshka Training Framework

MM-Matryoshka：通过二维多模态套娃训练框架实现预算弹性视觉文档检索

Haowen Xiang, Yibo Yan, Jiahao Huo, Yu Huang, Yi Cao, Mingdong Ou, Xuming Hu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Alibaba Cloud Computing（阿里云计算） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出MM-Matryoshka，一种二维套娃训练框架，使视觉文档检索器在向量维度和编码器深度上实现弹性预算选择，无需为不同预算训练独立模型。

CR-JEPA: Cross-Modal Joint-Embedding Predictive Learning for Remote Sensing Image Retrieval

CR-JEPA：用于遥感图像检索的跨模态联合嵌入预测学习

Md Aminur Hossain, Ayush V. Patel, Nitant Dube, Biplab Banerjee

机构 * Space Applications Centre, Indian Space Research Organisation（印度空间研究组织空间应用中心） ； Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay（印度理工学院孟买资源工程研究中心） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出CR-JEPA架构，通过模态特定主干、共享Transformer和JEPA预测目标实现跨模态语义对齐与同模态邻域保持，在BEN-14K等数据集上显著提升跨模态检索性能。

Comments 24 pages

EviProp: Seeded Relevance Diffusion on Chunk-Page Graphs for Long Multimodal Document Retrieval

EviProp: 基于种子相关性扩散的块-页图用于长多模态文档检索

Hongwei Zhang, Xiaoman Wang, Zehui Ling, Ruicheng Zhu, Yue Zhang, Pinlong Cai, Fuke Shen, Botian Shi, Tongquan Wei, Guohang Yan

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 提出EviProp方法，通过构建多模态块-页图并利用个性化PageRank扩散相关性，解决长文档中证据页检索的独立匹配局限，提升检索准确率。

Constrained Dominant Sets for Multimodal Document Question Answering

约束主导集用于多模态文档问答

Ambuj Mehrish, Sebastiano Vascon

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 提出基于查询增强亲和图的约束主导集检索方法，通过谱边界自动平衡相关性与冗余性，利用复制动态实现全局均衡，无需训练，在多模态文档问答中取得新最优结果。

FLOWREADER: Min-Cost Flow Optimization for Multi-Modal Long Document Q&A

FLOWREADER: 多模态长文档问答的最小成本流优化

Ambuj Mehrish, Sebastiano Vascon

机构 * Ca’ Foscari University of Venice（威尼斯卡布里亚大学） 纠错

专题命中 跨模态检索 ：multi-modal(title)；multimodal(abstract)

AI总结 提出FLOWREADER，将多模态长文档中的证据组装建模为最小成本流问题，通过统一评分向量控制源选择、汇选择和边成本，在碎片化证据场景下优于top-k检索方法。

IMAGINE: Adaptive Schema-Imagery Enhanced Composition for Composed Video Retrieval

IMAGINE：自适应模式-意象增强组合用于组合视频检索

Jiale Huang, Zixu Li, Zhiwei Chen, Zhiheng Fu, Chunxiao Wang, Yupeng Hu

机构 * Shandong University（山东大学） ； Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院）） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对组合视频检索中修改文本隐含语义与显式视觉内容不匹配的问题，提出自适应模式-意象增强组合网络（IMAGINE），通过动态多模态原型捕获隐含概念并调制视觉特征，在三个基准上达到最优性能。

Comments Accepted by ICMR 2026

A Mixed Diet Makes DINO An Omnivorous Vision Encoder

混合饮食使DINO成为杂食视觉编码器

Rishabh Kabra, Maks Ovsjanikov, Drew A. Hudson, Ye Xia, Skanda Koppula, Andre Araujo, Joao Carreira, Niloy J. Mitra

机构 * Google DeepMind（谷歌DeepMind） ； University College London（伦敦大学学院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对DINOv2等预训练视觉编码器在不同视觉模态间特征对齐差的问题，提出杂食视觉编码器，通过后训练框架学习模态无关特征空间，实现跨模态鲁棒理解。

Comments CVPR 2026 Highlight

TQA-Bench: Evaluating LLMs for Multi-Table Question Answering

TQA-Bench：评估大语言模型在多表问答中的表现

Zipeng Qiu, Chenyue Li, You Peng, Guangxin He, Binhang Yuan, Chen Wang

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 提出TQA-Bench基准，通过长上下文多表问答任务评估LLM，揭示其在复杂数据驱动环境中的挑战与机遇。

Comments Accepted by IEEE Transactions on Big Data

Pharmacogenomic Knowledge Graph Augmentation for Graph Neural Network-Based Drug-Drug Interaction Prediction

基于图神经网络的药物相互作用预测的药理基因组学知识图谱增强

Juergen Dietrich

机构 * AI Solutions Berlin 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究通过整合PharmGKB的药理基因组学先验知识（CYP酶注释）作为特征向量，增强图神经网络在药物相互作用预测中的性能，在配对数据划分下显著提升DDI类型分类，但未能突破信息天花板。

Comments 13 pages

Securing Retrieval-Augmented Generation: A Taxonomy of Attacks, Defenses, and Future Directions

保障检索增强生成：攻击、防御与未来方向的分类法

Yuming Xu, Mingtao Zhang, Zhuohan Ge, Haoyang Li, Nicole Hu, Yongqi Zhang, Zhiyuan Wen, Jason Chen Zhang, Qing Li, Lei Chen

机构 * The Hong Kong Polytechnic University（香港理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出SLOT分类法，从攻击面、防御层、目标（遵循CIA属性）和攻击目标四个维度系统化梳理检索增强生成（RAG）的安全风险与防御，并指出知识访问管道中的结构性错配，最后展望未来方向。

Comments We have curated a paper list on RAG security in https://github.com/TreeAI-Lab/Awesome-RAG-Security, and we warmly welcome authors who wish to have their new work included to contact us via email

LongRTL: Graph-Similarity-Guided LLM-driven Long Context RTL Optimization

LongRTL：基于图相似性的LLM驱动的长上下文RTL优化

Yuyang Ye, Che-Kuan Shen, Xiangfei Hu, Yuchen Liu, Shuo Yin, Xufeng Yao, Bei Yu, Tsung-Yi Ho

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 提出一种基于图相似性的LLM驱动RTL优化框架，通过分区、优化和重构三个智能体解决长上下文RTL代码的优化问题。

Comments 7 pages, 6 figures, 5 tables, conference

Conditional Normalizing Flows for Forward and Backward Joint State and Parameter Estimation

条件归一化流用于前向和后向联合状态与参数估计

Luke S. Lagunowich, Guoxiang Grayson Tong, Daniele E. Schiavazzi

机构 * Department of Computer Science and Engineering University of Notre Dame（计算机科学与工程系诺特达姆大学） ； Department of Pediatrics Stanford University（儿科系斯坦福大学） ； Department of Applied and Computational Mathematics and Statistics University of Notre Dame（应用与计算数学与统计系诺特达姆大学） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 针对非线性非高斯系统，提出基于条件归一化流的状态滤波方法，结合MLP、Transformer或Mamba-SSM生成条件嵌入，并引入最优传输动力学损失缓解过参数化，在自动驾驶和COVID-19联合估计中验证有效性。