多模态大模型

SPARC: Concept-Aligned Sparse Autoencoders for Cross-Model and Cross-Modal Interpretability

SPARC：概念对齐的稀疏自编码器用于跨模型和跨模态可解释性

Ali Nasiri-Sarvi, Hassan Rivaz, Mahdi S. Hosseini

机构 * Department of Computer Science and Software Engineering (CSSE) Concordia University, Canada（计算机科学与软件工程系（CSSE）康科迪亚大学，加拿大） ； Department of Electrical and Computer Engineering (ECE) Concordia University, Canada（电气与计算机工程系（ECE）康科迪亚大学，加拿大） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 SPARC通过稀疏自编码器实现跨模型和跨模态的概念对齐，提升概念表示的一致性与可解释性

Comments Accepted at TMLR 2026

MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents

MultiHaystack：用于40,000张图像、视频和文档的多模态检索和推理的基准测试

Dannong Xu, Zhongyu Yang, Jun Chen, Yingfang Yuan, Ming Hu, Lei Sun, Luc Van Gool, Danda Pani Paudel, Chun-Mei Feng

机构 * INSAIT ； Lanzhou University（兰州大学） ； King Abdullah University of Science and Technology（国王阿卜杜勒-阿齐兹科学与技术大学） ； Heriot-Watt University（赫瑞-沃德大学） ； Monash University（莫纳什大学） ； University College Dublin（都柏林大学学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 MultiHaystack是首个评估大规模异构多模态检索与推理的基准测试，揭示了MLLMs在异构语料库中检索证据时的性能瓶颈。

RAG-Driver: Generalisable Driving Explanations with Retrieval-Augmented In-Context Learning in Multi-Modal Large Language Model

RAG-Driver: 多模态大语言模型中基于检索的可泛化驾驶解释

Jianhao Yuan, Shuyang Sun, Daniel Omeiza, Bo Zhao, Paul Newman, Lars Kunze, Matthew Gadd

机构 * University of Oxford（牛津大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 RAG-Driver通过检索增强的上下文学习，实现高性能、可解释和可泛化的自动驾驶系统。

Comments 14 pages, 6 figures

Journal ref Robotics: Science and Systems (RSS) 2024

Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing

超越行到推理：面向多模态电子表格理解与编辑的智能检索

Anmol Gulati, Sahil Sen, Waqar Sarguroh, Kevin Paul

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

AI总结 BRTR通过迭代工具调用框架实现多模态电子表格的端到端理解与编辑，取得领先性能。

Multimodal Mixture-of-Experts with Retrieval Augmentation for Protein Active Site Identification

多模态专家混合模型与检索增强用于蛋白质活性位点识别

Jiayang Wu, Jiale Zhou, Rubo Wang, Xingyi Zhang, Xun Lin, Tianxu Lv, Leong Hou U, Yefeng Zheng

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 MERA通过检索增强和可靠性引导的多专家模型，实现了蛋白质活性位点识别的高精度预测和性能提升。

RFM-HRI : A Multimodal Dataset of Medical Robot Failure, User Reaction and Recovery Preferences for Item Retrieval Tasks

RFM-HRI : 一项医疗机器人故障、用户反应和恢复偏好的多模态数据集用于物品检索任务

Yashika Batra, Giuliano Pioldi, Promise Ekpo, Arman Sayatqyzy, Purnjay Maruur, Shalom Otieno, Kevin Ching, Angelique Taylor

机构 * Cornell University, Cornell Tech（康奈尔大学，康奈尔科技） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 RFM-HRI数据集通过多模态数据研究医疗机器人故障下的用户反应与恢复偏好，揭示故障对情感和控制的影响，并为安全关键场景的故障恢复提供基础。

CMRAG: Co-modality-based visual document retrieval and question answering

CMRAG：基于共模的视觉文档检索与问答

Wang Chen, Wenhan Yu, Guanqiang Qi, Weikang Li, Yang Li, Lei Sha, Deguo Xia, Jizhou Huang

机构 * Baidu Inc（百度公司） ； The University of Hong Kong（香港大学） ； Beihang University（北京航空航天大学） ； Peking University（北京大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract,comments)；cross-modal(abstract)；分类 cs.CL

AI总结 CMRAG通过统一编码模型和共模信息检索方法，提升多模态视觉文档问答系统的性能。

Comments Published at ICLR 2026 Workshop on Multimodal Intelligence