RAG / 检索增强生成

HotelMatch-LLM: Joint Multi-Task Training of Small and Large Language Models for Efficient Multimodal Hotel Retrieval

Arian Askari, Emmanouil Stergiadis, Ilya Gusev, Moran Beladev

机构 * Leiden University（莱顿大学） 纠错

专题命中 多模态RAG ：dense retrieval(abstract)；分类 cs.IR、cs.AI

Comments Accepted at ACL 2025, Main track. 13 Pages, 1 figure

CLaMR: Contextualized Late-Interaction for Multimodal Content Retrieval

David Wan, Han Wang, Elias Stengel-Eskin, Jaemin Cho, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 多模态RAG ：retriever(abstract)；分类 cs.IR、cs.CL

Comments 18 pages. Code and data: https://github.com/meetdavidwan/clamr

PairBench: Are Vision-Language Models Reliable at Comparing What They See?

Aarash Feizi, Sai Rajeswar, Adriana Romero-Soriano, Reihaneh Rabbany, Valentina Zantedeschi, Spandana Gella, João Monteiro

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

MRAG-Bench: Vision-Centric Evaluation for Retrieval-Augmented Multimodal Models

Wenbo Hu, Jia-Chen Gu, Zi-Yi Dou, Mohsen Fayyaz, Pan Lu, Kai-Wei Chang, Nanyun Peng

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

Comments ICLR 2025

Hyperbolic Safety-Aware Vision-Language Models

Tobia Poppi, Tejaswi Kasarla, Pascal Mettes, Lorenzo Baraldi, Rita Cucchiara

专题命中 多模态RAG ：retriever(abstract)；分类 cs.CL、cs.AI

Comments CVPR 2025

OpenOmni: A Collaborative Open Source Tool for Building Future-Ready Multimodal Conversational Agents

Qiang Sun, Yuanyi Luo, Sirui Li, Wenxiao Zhang, Wei Liu

专题命中 多模态RAG ：retrieval augmented generation(abstract)；分类 cs.CL、cs.AI

Comments Published in Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (EMNLP 2024) Best Demo Paper Award at EMNLP 2024

Journal ref EMNLP 2024 (System Demonstrations), pp. 46-52

AiSciVision: A Framework for Specializing Large Multimodal Models in Scientific Image Classification

Brendan Hogan, Anmol Kabra, Felipe Siqueira Pacheco, Laura Greenstreet, Joshua Fan, Aaron Ferber, Marta Ummus, Alecsander Brito, Olivia Graham, Lillian Aoki, Drew Harvell, Alex Flecker, Carla Gomes

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

Vision Search Assistant: Empower Vision-Language Models as Multimodal Search Engines

Zhixin Zhang, Yiyuan Zhang, Xiaohan Ding, Xiangyu Yue

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

Comments Code is available at https://github.com/cnzzx/VSA

Large Language Models for Medical OSCE Assessment: A Novel Approach to Transcript Analysis

Ameer Hamza Shakur, Michael J. Holcomb, David Hein, Shinyoung Kang, Thomas O. Dalton, Krystle K. Campbell, Daniel J. Scott, Andrew R. Jamieson

专题命中 多模态RAG ：retrieval augmented generation(abstract)；分类 cs.CL、cs.AI

CMDBench: A Benchmark for Coarse-to-fine Multimodal Data Discovery in Compound AI Systems

Yanlin Feng, Sajjadur Rahman, Aaron Feng, Vincent Chen, Eser Kandogan

专题命中 多模态RAG ：retriever(abstract)；分类 cs.AI、cs.DB

Comments Governance, Understanding and Integration of Data for Effective and Responsible AI (GUIDE-AI '24), June 14, 2024, Santiago, AA, Chile

MUST: An Effective and Scalable Framework for Multimodal Search of Target Modality

Mengzhao Wang, Xiangyu Ke, Xiaoliang Xu, Lu Chen, Yunjun Gao, Pinpin Huang, Runkai Zhu

专题命中 多模态RAG ：vector search(abstract)；分类 cs.IR、cs.DB

Comments This paper has been accepted by ICDE 2024

Cross-Domain Image Captioning with Discriminative Finetuning

Roberto Dessì, Michele Bevilacqua, Eleonora Gualdoni, Nathanael Carraz Rakotonirina, Francesca Franzon, Marco Baroni

专题命中 多模态RAG ：retriever(abstract)；分类 cs.CL、cs.AI

Comments CVPR 2023

MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text

Wenhu Chen, Hexiang Hu, Xi Chen, Pat Verga, William W. Cohen

专题命中 多模态RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Comments Accepted to EMNLP 2022 main conference

Maria: A Visual Experience Powered Conversational Agent

Zujie Liang, Huang Hu, Can Xu, Chongyang Tao, Xiubo Geng, Yining Chen, Fan Liang, Daxin Jiang

专题命中 多模态RAG ：retriever(abstract)；分类 cs.CL、cs.AI

Comments Accepted by ACL 2021 main conference

Failing to See or Failing to Know? Attributing Errors in Vision-Language Models

是看不见还是不知道？归因视觉语言模型中的错误

Khang Nhat Hoang Vo, Artem Vazhentsev, Artem Shelmanov, Timothy Baldwin, Yova Kementchedjhieva

机构 * MBZUAI The University of Melbourne（MBZUAI墨尔本大学） 纠错

专题命中 多模态RAG ：knowledge retrieval(abstract)；分类 cs.CL

AI总结 研究视觉语言模型在回答需额外知识问题时的错误，提出统一框架分离失败模式，探讨预生成信号能否预测错误源，发现可在解码前预测，能据此进行针对性干预。

Mitigating Visual Hallucinations in Multimodal Systems through Retrieval-Augmented Reliability-Aware Inference

通过检索增强的可靠性感知推理缓解多模态系统中的视觉幻觉

Pratheswaran Hariharan, Haiping Xu, Donghui Yan

机构 * University of Massachusetts, Dartmouth（马萨诸塞大学达特茅斯分校） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 提出一种检索增强的可靠性感知推理框架，利用外部视觉证据库和多个可靠性指标进行决策门控，在不重训练模型的情况下减少视觉幻觉，将接受预测准确率从85.84%提升至88.88%。

Comments 29 pages, 9 figures

Salient Knowledge Pathways: Sparse Cross-Modal Routing for Efficient Knowledge-Intensive Multimodal Question Answering

显著知识路径：用于高效知识密集型多模态问答的稀疏跨模态路由

Noor Islam S. Mohammad, Uluğ Bayazıt

专题命中 多模态RAG ：dense retrieval(abstract)；分类 cs.AI

AI总结 研究知识密集型多模态问答，提出SKIP架构，通过问题引导视觉令牌修剪等方法，沿稀疏路径计算路由，结合自适应预算控制器，在五个基准测试中，以更少计算量和更低延迟达到或超越密集基线准确性。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026) Workshop on Efficient Multimodal Question Answering (EMM-QA), Seoul, South Korea. Copyright 2026 by the author(s). (Archival)

ViMax: Agentic Video Generation

ViMax: 智能体视频生成

Lingxuan Huang, Sizhe He, Hengji Zhou, Liqiang Nie, Lianghao Xia, Chao Huang

机构 * The University of Hong Kong（香港大学） ； South China University of Technology（华南理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 提出ViMax框架，通过多智能体协作实现长视频生成，利用分层叙事引擎和视觉一致性机制，保证叙事连贯性和视觉一致性。

Comments 20 pages, 13 figures

MM-IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Repository-Level Issue Localization

MM-IssueLoc：用于评估多模态仓库级问题定位中视觉证据的可控基准

Shaoxiong Zhan, Shi Hu, Boyu Feng, Hai Lin, Andrew Gong, Zhengda Zhou, Jiaying Zhou, Yunyun Hou, Hao Su, Hai-Tao Zheng

机构 * Tsinghua University（清华大学） 纠错

专题命中 多模态RAG ：retriever(abstract)；分类 cs.AI

AI总结 研究针对仓库级问题定位多为文本任务，视觉证据作用不明的情况，引入MM-IssueLoc基准和评估协议，含多语言实例与标注等。评估LLM和检索系统，发现现有系统距可靠多模态定位有差距，该基准让视觉证据成评估变量，助于后续研究。

ManimAgent: Self-Evolving Multimodal Agents for Visual Education

ManimAgent: 用于视觉教育的自进化多模态智能体

Wenjia Jiang, Zongyuan Cai, Yuanhang Shao, Chenru Wang, Boyan Han, Zhixue Song, Keyu Chen, Shengwei An, Xu Yang, Zhou Yang

机构 * University of Alberta（阿尔伯塔大学） ； Southeast University（东南大学） ； Virginia Tech（弗吉尼亚理工学院） ； Xidian University（西安电子科技大学） ； Vivavia Inc（Vivavia公司） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 提出ManimAgent，通过双通道情节记忆库跨任务传递反思经验，无需权重更新或人工种子，在代码生成任务中提升通过率并减少反思轮次。

Comments Project page: https://manimagent.github.io/. Code: https://github.com/jwj1342/Paper2Manim

Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs

阅读，而非思考：理解并弥合多模态大语言模型中文本变为像素时的模态差距

Kaiser Sun, Xiaochuang Yuan, Hongjun Liu, Chen Zhao, Cheng Zhang, Mark Dredze, Fan Bai

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Amazon（亚马逊） ； New York University（纽约大学） ； Texas A&M University（德克萨斯大学） 纠错

专题命中 多模态RAG ：knowledge retrieval(abstract)；分类 cs.CL

AI总结 本文系统诊断多模态大语言模型在处理图像文本时的模态差距，发现其源于模型推理意愿不足而非感知失败，并提出一种轻量级自蒸馏方法有效弥合该差距。

WISE: A Multimodal Search Engine for Visual Scenes, Audio, Objects, Faces, Speech, and Metadata

WISE：一种用于视觉场景、音频、物体、人脸、语音和元数据的多模态搜索引擎

Prasanna Sridhar, Horace Lee, David M. S. Pinto, Andrew Zisserman, Abhishek Dutta

机构 * Engineering Science University of Oxford（工程科学大学牛津） 纠错

专题命中 多模态RAG ：vector search(abstract)；分类 cs.IR

AI总结 提出WISE开源多模态搜索引擎，整合场景级和物体级的自然语言与反向图像查询、人脸搜索、音频事件检索、语音转录搜索及元数据过滤，支持跨模态组合查询，采用向量搜索实现高效扩展，可本地部署。

Comments Software: https://www.robots.ox.ac.uk/~vgg/software/wise/ , Online demos: https://www.robots.ox.ac.uk/~vgg/software/wise/demo/ , Example Queries: https://www.robots.ox.ac.uk/~vgg/software/wise/examples/

Journal ref International ACM SIGIR Conference on Research and Development in Information Retrieval (2026)

A Knowledge-Driven LLM-Based Decision-Support System for Explainable Defect Analysis and Mitigation Guidance in Laser Powder Bed Fusion

基于知识的LLM决策支持系统：用于激光粉末床融合的可解释缺陷分析与缓解指导

Basit Mahmud Shahriar, Md Habibor Rahman

机构 * Department of Mechanical Engineering, University of Massachusetts Dartmouth（达特茅斯大学机械工程系） 纠错

专题命中 多模态RAG ：knowledge retrieval(abstract)；分类 cs.AI

AI总结 本文提出一种整合结构化缺陷知识与LLM推理的知识驱动决策支持系统，用于制造业中激光粉末床融合的可解释缺陷诊断与缓解指导。系统基于包含27种已知缺陷类型的知识库，支持模糊自然语言查询、文献支持的缺陷解释及基于编码工艺知识的缺陷原因和缓解策略指导。

Comments 28 pages, 15 figures

AnalogRetriever: Learning Cross-Modal Representations for Analog Circuit Retrieval

AnalogRetriever: 为模拟电路检索学习跨模态表示

Yihan Wang, Lei Li, Yao Lai, Jing Wang, Yan Lu

机构 * Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） ； University of Cambridge（剑桥大学） ； Nanjing University of Posts and Telecommunications（南京邮电大学） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 本文提出AnalogRetriever，通过构建高质量数据集和三模态检索框架，实现跨模态的模拟电路检索，实验表明其在六个方向上的Recall@1达到75.2%，显著优于现有方法。

Comments 10 pages, 7 figures. Yihan Wang and Lei Li contributed equally to this paper

Re:Verse -- Can Your VLM Read a Manga?

Re:Verse -- 能读懂漫画吗？

Aaditya Baranwal, Madhav Kataria, Naitik Agrawal, Yogesh S Rawat, Shruti Vyas

机构 * University of Central Florida（中央佛罗里达大学） ； Indian Institute of Technology, Jodhpur（印度理工学院，朱达浦尔） ； Indian Institute of Technology, Varanasi（印度理工学院，瓦拉纳西） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 本文通过分析漫画叙事理解，揭示现有VLM在时间因果和跨面板连贯性上的不足，提出新的评估框架，系统研究长篇叙事理解能力。

Comments Accepted (oral) at ICCV (AISTORY Workshop) 2025

Journal ref 2025 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), pp. 3820-3830

A Survey on MLLM-based Visually Rich Document Understanding: Methods, Challenges, and Emerging Trends

基于MLLM的视觉丰富文档理解综述：方法、挑战与新兴趋势

Yihao Ding, Siwen Luo, Yue Dai, Yanbei Jiang, Zechuan Li, Qiang Sun, Geoffrey Martin, Wei Liu, Yifan Peng

机构 * The University of Western Australia（西澳大学） ； The University of Melbourne（墨尔本大学） ； Weill Cornell Medicine（韦尔·柯尔医学中心） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 本文综述了基于MLLM的视觉丰富文档理解最新进展，探讨了文本、视觉和布局特征的表示与整合技术，以及预训练、指令微调等训练方法，分析了数据稀缺、多页文档处理等挑战及新兴趋势。

Comments Accepted at ACL 2026 Findings

IMACT-CXR: An Interactive Multi-Agent Conversational Tutoring System for Chest X-Ray Interpretation

IMACT-CXR：一种用于胸部X光解读的交互式多智能体对话教学系统

Tuan-Anh Le, Anh Mai Vu, David Yang, Akash Awasthi, Hien Van Nguyen

机构 * University of Houston（德克萨斯大学休斯敦分校） ； Emory University（埃默里大学） 纠错

专题命中 多模态RAG ：knowledge retrieval(abstract)；分类 cs.AI

AI总结 IMACT-CXR通过整合空间标注、注视分析、知识检索和图像基础推理，构建了一个基于AutoGen的工作流，帮助学员提升胸部X光解读能力，实现了精准的教学反馈与知识强化。

Comments Accepted at IEEE ISBI 2026. This version corresponds to the accepted manuscript

Lang2Act: Fine-Grained Visual Reasoning through Self-Emergent Linguistic Toolchains

Lang2Act: 通过自涌现语言工具链实现细粒度视觉推理

Yuqi Xiong, Chunyi Peng, Zhipeng Xu, Zhenghao Liu, Zulong Chen, Yukun Yan, Shuo Wang, Yu Gu, Ge Yu

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系） ； Alibaba Group, Hangzhou, China（阿里巴巴集团） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 Lang2Act通过自涌现语言工具链提升视觉感知与推理能力，采用强化学习框架优化VLMs的视觉感知和下游任务性能，实验显示其在视觉感知能力上有显著提升。

Specializing Large Models for Oracle Bone Script Interpretation via Component-Grounded Multimodal Knowledge Augmentation

通过组件导向的多模态知识增强专门化大型模型进行甲骨文解读

Jianing Zhang, Runan Li, Honglin Pang, Ding Xia, Zhou Zhu, Qian Zhang, Chuntao Li, Xi Yang

机构 * College of Software, Jilin University（吉林大学软件学院） ； School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院） ； School of Archaeology, Jilin University（吉林大学考古学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MoE, China（教育部知识驱动人机智能工程研究中心） 纠错

专题命中 多模态RAG ：knowledge retrieval(abstract)；分类 cs.CL

AI总结 本文提出一种基于组件的多模态知识增强框架，利用视觉语言模型和语言模型代理进行组件识别与语义推理，通过专家标注的OB-Radix数据集提升甲骨文解读的精度与细节。

BRIDGE: Multimodal-to-Text Retrieval via Reinforcement-Learned Query Alignment

BRIDGE：通过强化学习查询对齐实现多模态到文本检索

Mohamed Darwish Mounis, Mohamed Mahmoud, Shaimaa Sedek, Mahmoud Abdalla, Mahmoud SalahEldin Kasem, Abdelrahman Abdallah, Hyun-Soo Kang

机构 * High institute for computer & information systems（高等计算机与信息系统学院） ； Chungbuk National University（忠北大学） ； Assiut University（艾斯尤特大学） ； University of Innsbruck（因斯布鲁克大学） 纠错

专题命中 多模态RAG ：retriever(abstract)；分类 cs.IR

AI总结 BRIDGE通过强化学习查询对齐模型和增强神经搜索检索器，解决多模态查询在文本库中的检索问题，实现优于多模态编码器的nDCG@10性能。

Comments Accepted at CVPR 2026 Workshop GRAIL-V