RAG / 检索增强生成

Image Captioning via Compact Bidirectional Architecture

通过紧凑双向架构实现图像描述

Zijie Song, Yuanen Zhou, Zhenzhen Hu, Daqing Liu, Huixia Ben, Richang Hong, Meng Wang

机构 * School of Big Data and Statistics, Anhui University（安徽大学大数据与统计学院） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Intelligent Interconnected Systems Laboratory of Anhui Province (Hefei University of Technology)（安徽省智能互联系统实验室（合肥工业大学）） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息学院） ； JD Explore Academy, JD.com Inc（京东探索研究院） ； State Key Laboratory of Digital Intelligent Technology for Unmanned Coal Mining, Anhui University of Science and Technology（安徽理工大学深部煤矿采动响应与灾害防控国家重点实验室） 纠错

专题命中 多模态RAG ：retriever(abstract)；分类 cs.CL

AI总结 本文提出紧凑双向Transformer模型，通过并行解码器隐式和显式利用双向上下文，经消融研究发现其比显式交互机制更重要，结合词级融合进一步提升效果，并扩展至LSTM基座实现新SOTA结果。

CiQi-Agent: Aligning Vision, Tools and Aesthetics in Multimodal Agent for Cultural Reasoning on Chinese Porcelains

CiQi-Agent：在多模态代理中对视觉、工具和美学的对齐用于中国瓷器的文化推理

Wenhan Wang, Zhixiang Zhou, Zhongtian Ma, Yanzhu Chen, Ziyu Lin, Hao Sheng, Pengfei Liu, Honglin Ma, Wenqi Shao, Qiaosheng Zhang, Yu Qiao

机构 * Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shaanxi Academy of Cultural Relics Conservation（陕西省文物保护研究院） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 本文提出CiQi-Agent，通过多图像输入、视觉工具调用和多模态检索增强生成，实现对瓷器六个属性的精细分析，同时构建了专家标注的CiQi-VQA数据集和对齐的CiQi-Bench基准，实验表明其在六个属性上的准确率比GPT-5高12.2%。

OmniRAG-Agent: Agentic Omnimodal Reasoning for Low-Resource Long Audio-Video Question Answering

OmniRAG-Agent：面向低资源长音频视频的代理多模态推理

Yifan Zhu, Xinyu Mu, Tao Feng, Zhonghong Ou, Yuning Gong, Haoran Luo

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 本文提出OmniRAG-Agent，通过构建图像音频检索增强生成模块和代理循环，解决低资源长音频视频问答中的高成本编码、弱细粒度检索等问题，实验表明其在低资源环境下表现优异。

ExpressMind: A Multimodal Pretrained Large Language Model for Expressway Operation

ExpressMind：一种用于高速公路运营的多模态预训练大语言模型

Zihe Wang, Yihuan Wang, Haiyang Yu. Zhiyong Cui, Xiaojian Liao, Chengcheng Wang, Yonglin Tian, Yongxin Tong

机构 * Beihang University（北航） ； Shandong Hi-speed Group Co., Ltd（山东高速集团有限公司） ； Institute of automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 多模态RAG ：RAG(abstract)；分类 cs.AI

AI总结 本文提出ExpressMind，一种针对高速公路运营的多模态预训练大语言模型，通过构建全栈数据集和双层预训练方法，提升事件检测、安全响应生成和复杂交通分析能力。

AutothinkRAG: Complexity-Aware Control of Retrieval-Augmented Reasoning for Image-Text Interaction

AutothinkRAG: 多模态文档问答中检索增强推理的复杂度感知控制

Jiashu Yang, Chi Zhang, Abudukelimu Wuerkaixi, Xuxin Cheng, Cao Liu, Ke Zeng, Xu Jia, Xunliang Cai

机构 * Dalian University of Technology（大连理工大学） ； Tsinghua University（清华大学） ； Meituan LongCat Interaction Team（美团LongCat交互团队） 纠错

专题命中 多模态RAG ：RAG(abstract)；分类 cs.IR

AI总结 本文提出AutoThinkRAG，通过查询复杂度路由器和感知-推理解耦架构，提升多模态文档问答的效率与鲁棒性，实验表明在DocBench和MMLongBench上准确率提升，且降低计算与成本消耗。

Retrieval Augmented Enhanced Dual Co-Attention Framework for Target Aware Multimodal Bengali Hateful Meme Detection

基于检索增强的增强双注意力框架的目标感知多模态孟加拉语仇恨表情识别

Raihan Tanvir, Md. Golam Rabiul Alam

机构 * Department of Computer Science and Engineering, BRAC University（计算机科学与工程系，BRAC大学） ； Department of Computer Science and Engineering, Ahsanullah University of Science and Technology（计算机科学与工程系，Ahsanullah科技大学） 纠错

专题命中 多模态RAG ：RAG(abstract)；分类 cs.CL

AI总结 本文提出基于检索增强的增强双注意力框架，用于目标感知多模态孟加拉语仇恨表情识别，通过语义对齐提升类别平衡和多样性，实验表明xDORA和RAG-Fused DORA在识别和检测任务中表现优异。

BLUEPRINT Rebuilding a Legacy: Multimodal Retrieval for Complex Engineering Drawings and Documents

BLUEPRINT 重筑遗产：面向复杂工程图纸和文档的多模态检索

Ethan Seefried, Ran Eldegaway, Sanjay Das, Nathaniel Blanchard, Tirthankar Ghosal

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） ； Colorado State University（科罗拉多州立大学） 纠错

专题命中 多模态RAG ：dense retrieval(abstract)；分类 cs.IR

AI总结 Blueprint通过布局感知的多模态检索系统，提升对复杂工程图纸和文档的自动化检索能力，实现结构化元数据生成与跨设施搜索效率提升。

Comments 20 pages 8 main + 12 appendix + references

Failure is Feedback: History-Aware Backtracking for Agentic Traversal in Multimodal Graphs

失败是反馈：面向多模态图中代理遍历的历史感知回溯

Joohyung Yun, Doyup Lee, Wook-Shin Han

专题命中 多模态RAG ：retriever(abstract)；分类 cs.IR

AI总结 FiF通过历史感知回溯和经济理性的代理工作流程，提升多模态图中检索的适应性和效率。

Comments Project page: https://failureisfeedback.github.io/

Multimodal UNcommonsense: From Odd to Ordinary and Ordinary to Odd

多模态UNcommonsense：从奇特到普通和从普通到奇特

Yejin Son, Saejin Kim, Dongjun Min, Younjae Yu

机构 * Yonsei University（延世大学） ； Seoul National University（首尔国立大学） 纠错

专题命中 多模态RAG ：retriever(abstract)；分类 cs.AI

AI总结 多模态UNcommonsense通过R-ICL框架提升模型在非典型场景下的推理能力，实现从奇特到普通和从普通到奇特的转换。

Comments 24 pages

Semantic Leakage from Image Embeddings

图像嵌入中的语义泄露

Yiyi Chen, Qiongkai Xu, Desmond Elliott, Qiongxiu Li, Johannes Bjerva

机构 * Department of Computer Science, Aalborg University, Copenhagen, Denmark（计算机科学系，奥尔堡大学，哥本哈根，丹麦） ； School of Computing, Macquarie University, Sydney, Australia（计算学院，麦考瑞大学，悉尼，澳大利亚） ； Department of Computer Science, University of Copenhagen, Copenhagen, Denmark（计算机科学系，哥本哈根大学，哥本哈根，丹麦） ； Department of Electronic Systems, Aalborg University, Copenhagen, Denmark（电子系统系，奥尔堡大学，哥本哈根，丹麦） 纠错

专题命中 多模态RAG ：retriever(abstract)；分类 cs.CL

AI总结 SLImE通过保留局部语义邻域实现从压缩图像嵌入中恢复语义信息，揭示了图像嵌入的隐私风险。

Comments 20 pages, 19 figures

$G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA

$G^2$-Reader: 双重演化图式用于多模态文档问答

Yaxin Du, Junru Song, Yifan Zhou, Cheng Wang, Jiahao Gu, Zimeng Chen, Menglan Chen, Wen Yao, Yang Yang, Ying Wen, Siheng Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Intelligent Game and Decision Laboratory（智能游戏与决策实验室） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 $G^2$-Reader通过双重图式解决多模态文档问答中的结构破坏和检索失效问题，实现66.21%的高准确率。

MemCtrl: Using MLLMs as Active Memory Controllers on Embodied Agents

MemCtrl: 使用 MLLMs 作为具身智能体的主动内存控制器

Vishnu Sashank Dorbala, Dinesh Manocha

机构 * University of Maryland, College Park（马里兰大学 College Park分校） 纠错

专题命中 多模态RAG ：RAG(abstract)；分类 cs.AI

AI总结 MemCtrl 通过使用 MLLMs 的可训练内存头 μ 实现在线内存修剪，提升具身智能体在复杂指令下的任务完成能力。

Efficient Multimodal Planning Agent for Visual Question-Answering

高效的多模态规划代理用于视觉问答

Zhuo Chen, Xinyu Geng, Xinyu Wang, Yong Jiang, Zhen Zhang, Pengjun Xie, Kewei Tu

机构 * ShanghaiTech University（上海科技大学） ； Alibaba Tongyi Lab（阿里云通义实验室） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 本文提出了一种高效的多模态规划代理，通过动态分解mRAG流程，提升视觉问答任务的效率和性能。

DMAP: Human-Aligned Structural Document Map for Multimodal Document Understanding

DMAP: 人类对齐的多模态文档结构地图用于多模态文档理解

ShunLiang Fu, Yanxin Zhang, Yixin Xiang, Xiaoyu Du, Jinhui Tang

专题命中 多模态RAG ：RAG(abstract)；分类 cs.IR

AI总结 DMAP通过构建人类对齐的多模态文档结构地图，提升文档理解的结构化表示和多模态推理能力。

Comments WebConf 2026

Enhancing Multimodal Retrieval via Complementary Information Extraction and Alignment

通过互补信息提取与对齐增强多模态检索

Delong Zeng, Yuexiang Xie, Yaliang Li, Ying Shen

机构 * School of Intelligent Systems Engineering, Sun Yat-sen University（1 智能系统工程学院，中山大学） ； Alibaba Group（2 阿里巴巴集团） ； Guangdong Provincial Key Laboratory of Fire Science and Intelligent Emergency Technology（3 广东省火灾科学与智能应急技术重点实验室） 纠错

专题命中 多模态RAG ：dense retrieval(abstract)；分类 cs.AI

AI总结 CIEA通过互补信息提取与对齐提升多模态检索效果，实现对图像和文本统一潜在空间的建模，并在多个基准上取得显著优势。

Comments Accepted by ACL'2025

Rationale-Grounded In-Context Learning for Time Series Reasoning with Multimodal Large Language Models

基于理由的上下文学习用于多模态大语言模型的时间序列推理

Qingxiang Liu, Zhiqing Cui, Xiaoliang Luo, Yuqian Wu, Zhuoyang Jiang, Huaiyu Wan, Sheng Sun, Lvchun Wang, Wei Yu, Yuxuan Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； China Mobile (Jiangxi) Virtual Reality Technology Co., Ltd.（中国移动（江西）虚拟现实技术有限公司） ； School of Computer and Information Technology, Beijing Jiaotong University（北京交通大学计算机与信息学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 多模态RAG ：hybrid retrieval(abstract)；分类 cs.AI

AI总结 本研究提出RationaleTS方法，通过基于理由的上下文学习提升多模态大语言模型在时间序列推理中的性能。

MMSRARec: Summarization and Retrieval Augumented Sequential Recommendation Based on Multimodal Large Language Model

MMSRARec: 基于多模态大语言模型的摘要与检索增强的序列推荐

Haoyu Wang, Yitong Wang, Jining Wang

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.IR

AI总结 本文提出MMSRARec，基于多模态大语言模型，通过摘要与检索增强序列推荐，提升推荐性能、可解释性与计算效率。

Comments Under Review

Evaluating the Capability of Video Question Generation for Expert Knowledge Elicitation

评估视频问题生成在专家知识获取中的能力

Huaying Zhang, Atsushi Hashimoto, Tosho Hirasawa

机构 * OMRON SINIC X Corp.（OMRON SINIC X公司） ； Hokkaido University（北海道大学） 纠错

专题命中 多模态RAG ：retriever(abstract)；分类 cs.AI

AI总结 本文提出了一种评估视频问题生成能力的新协议，通过模拟专家问答交流来评估问题质量，利用新构建的EgoExoAsk数据集验证了模型在获取未见知识方面的有效性。

Comments WACV 2026 accepted

Structure-Aware Feature Rectification with Region Adjacency Graphs for Training-Free Open-Vocabulary Semantic Segmentation

基于区域邻接图的结构感知特征校正用于无训练开放词汇语义分割

Qiming Huang, Hao Ai, Jianbo Jiao

机构 * The MIx Group, School of Computer Science University of Birmingham（米克集团，计算机科学学院，伯明翰大学） 纠错

专题命中 多模态RAG ：RAG(abstract)；分类 cs.AI

AI总结 本文提出基于区域邻接图的结构感知特征校正方法，通过增强局部辨别能力来提升开放词汇语义分割的性能。

Comments Accepted to WACV2026

SurvAgent: Hierarchical CoT-Enhanced Case Banking and Dichotomy-Based Multi-Agent System for Multimodal Survival Prediction

SurvAgent: 基于层次化CoT增强的案例库与二元多智能体系统用于多模态生存预测

Guolin Huang, Wenting Chen, Jiaqi Yang, Xinheng Lyu, Xiaoling Luo, Sen Yang, Xiaohan Xing, Linlin Shen

机构 * Shenzhen University（深圳大学） ； Stanford University（斯坦福大学） ； University of Nottingham Ningbo China（诺丁汉大学宁波分校） ； Ant Group（蚂蚁集团） 纠错

专题命中 多模态RAG ：RAG(abstract)；分类 cs.CL

AI总结 SurvAgent通过层次化CoT增强的多智能体系统，整合多模态数据，提升生存预测的可解释性与准确性。

Comments 20 pages

MonkeyOCR v1.5 Technical Report: Unlocking Robust Document Parsing for Complex Patterns

Jiarui Zhang, Yuliang Liu, Zijun Wu, Guosheng Pang, Zhili Ye, Yupei Zhong, Junteng Ma, Tao Wei, Haiyang Xu, Weikai Chen, Zeen Wang, Qiangjun Ji, Fanxi Zhou, Qi Zhang, Yuanrui Hu, Jiahao Liu, Zhang Li, Ziyang Zhang, Qiang Liu, Xiang Bai

机构 * KingSoft Office Zhuiguang AI Lab（金山办公紫光人工智能实验室） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.AI

Dual-Mode Deep Anomaly Detection for Medical Manufacturing: Structural Similarity and Feature Distance

Julio Zanon Diaz, Georgios Siogkas, Peter Corcoran

专题命中 多模态RAG ：RAG(abstract)；分类 cs.AI

Comments 12 pages, 3 figures, 3 tables

MOTOR: Multimodal Optimal Transport via Grounded Retrieval in Medical Visual Question Answering

Mai A. Shaaban, Tausifa Jan Saleem, Vijay Ram Papineni, Mohammad Yaqub

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Department of Mathematics and Computer Science, Faculty of Science, Alexandria University（亚历山大大学数学与计算机科学系） ； Sheikh Shakhbout Medical City（谢赫·沙赫布OUT医疗城） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(abstract)；分类 cs.CL

Vote-in-Context: Turning VLMs into Zero-Shot Rank Fusers

Mohamed Eltahir, Ali Habibullah, Lama Ayash, Tanveer Hussain, Naeemullah Khan

机构 * King Abdullah University of Science and Technology (KAUST)（卡布斯大学） ； King Khalid University (KKU)（国王 Khalid 大学） ； Edge Hill University（埃德希尔大学） 纠错

专题命中 多模态RAG ：retriever(abstract)；分类 cs.IR

Multimodal Item Scoring for Natural Language Recommendation via Gaussian Process Regression with LLM Relevance Judgments

Yifan Liu, Qianfeng Wen, Jiazhou Liang, Mark Zhao, Justin Cui, Anton Korikov, Armin Toroghi, Junyoung Kim, Scott Sanner

专题命中 多模态RAG ：dense retrieval(abstract)；分类 cs.IR

Comments 16 pages,20 figures

Highlighting What Matters: Promptable Embeddings for Attribute-Focused Image Retrieval

Siting Li, Xiang Gao, Simon Shaolei Du

专题命中 多模态RAG ：retriever(abstract)；分类 cs.CL

Comments NeurIPS 2025; 27 pages, 6 figures

MMLongBench: Benchmarking Long-Context Vision-Language Models Effectively and Thoroughly

Zhaowei Wang, Wenhao Yu, Xiyu Ren, Jipeng Zhang, Yu Zhao, Rohit Saxena, Liang Cheng, Ginny Wong, Simon See, Pasquale Minervini, Yangqiu Song, Mark Steedman

机构 * CSE Department, HKUST（香港科技大学计算机科学与工程系） ； Tencent AI Seattle Lab（腾讯AI西雅图实验室） ； University of Edinburgh（爱丁堡大学） ； NVIDIA AI Technology Center (NVAITC), NVIDIA, Santa Clara, USA（英伟达圣克拉拉人工智能技术中心） 纠错

专题命中 多模态RAG ：RAG(abstract)；分类 cs.CL

Comments Accepted as a spotlight at NeurIPS 2025

Judging by Appearances? Auditing and Intervening Vision-Language Models for Bail Prediction

Sagnik Basu, Shubham Prakash, Ashish Maruti Barge, Siddharth D Jaiswal, Abhisek Dash, Saptarshi Ghosh, Animesh Mukherjee

机构 * Indian Institute of Technology Kharagpur（印度理工学院Khargapur分校） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 多模态RAG ：RAG(abstract)；分类 cs.AI

Dynamic Orchestration of Multi-Agent System for Real-World Multi-Image Agricultural VQA

Yan Ke, Xin Yu, Heming Du, Scott Chapman, Helen Huang

机构 * The University of Queensland（昆士兰大学） 纠错

专题命中 多模态RAG ：retriever(abstract)；分类 cs.AI

Comments 13 pages, 2 figures, 2 tables

WebWatcher: Breaking New Frontier of Vision-Language Deep Research Agent

Xinyu Geng, Peng Xia, Zhen Zhang, Xinyu Wang, Qiuchen Wang, Ruixue Ding, Chenxi Wang, Jialong Wu, Yida Zhao, Kuan Li, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

专题命中 多模态RAG ：RAG(abstract)；分类 cs.IR