多模态大模型

MultiDocFusion: Hierarchical and Multimodal Chunking Pipeline for Enhanced RAG on Long Industrial Documents

多文档融合：一种用于长工业文档增强RAG的分块流程

Joongmin Shin, Chanjun Park, Jeongbae Park, Jaehyung Seo, Heuiseok Lim

机构 * Human-inspired AI Research（人机协同人工智能研究所） ； Department of Computer Science and Engineering（计算机科学与工程系） ； School of Software（软件学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对长工业文档结构复杂的问题，提出MultiDocFusion分块流程，结合视觉解析、OCR提取、层次结构重建和DFS分组，提升RAG检索精度和问答质量。

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing

Cross-Modal Knowledge Distillation for PET-Free Amyloid-Beta Detection from MRI

跨模态知识蒸馏用于无PET的MRI淀粉样蛋白β检测

Francesco Chiumento, Julia Dietlmeier, Ronan P. Killeen, Kathleen M. Curran, Noel E. O'Connor, Mingming Liu

机构 * Dublin City University（都柏林城市大学） ； Insight Research Ireland Centre for Data Analytics（爱尔兰Insight研究数据分析师中心） ； St. Vincent’s University Hospital（圣文森医院） ； University College Dublin（都柏林大学） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出一种基于BiomedCLIP的跨模态知识蒸馏框架，利用MRI单独预测淀粉样蛋白β，无需PET或临床变量，实现了可解释的无PET检测方法。

Comments Accepted to CVPR Workshops 2026 (PHAROS-AIF-MIH)

Human-Inspired Context-Selective Multimodal Memory for Social Robots

以人为本的上下文选择性多模态记忆用于社交机器人

Hangyeol Kang, Slava Voloshynovskiy, Nadia Magnenat Thalmann

机构 * Department of Computer Science, University of Geneva（日内瓦大学计算机科学系） ； MIRALab, University of Geneva（日内瓦大学MIRALab） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出一种以人为本的多模态记忆架构，用于社交机器人，通过捕捉和检索文本和视觉事件痕迹，提升个性化和上下文感知的交互能力。

Comments Proc. of the 25th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2026)

Representation geometry shapes task performance in vision-language modeling for CT enterography

表征几何形状任务性能在CT结肠镜视觉-语言建模中的作用

Cristian Minoccheri, Emily Wittrup, Kayvan Najarian, Ryan Stidham

机构 * Gilbert S. Omenn Department of Computational Medicine and Bioinformatics（Gilbert S. Omenn 计算医学与生物信息学部门） ； Department of Gastroenterology（消化内科部门） ； Department of Emergency Medicine（急诊医学部门） ； Department of Electrical Engineering and Computer Science（电气工程与计算机科学部门） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了CT结肠镜视觉-语言迁移学习，发现均值池化在疾病分类中表现更优，而注意力池化在跨模态检索中更有效，同时指出单片组织对比度比空间覆盖范围更重要，为构建体积医学影像视觉-语言系统提供了基础。

Benchmarking Foundation Models with Retrieval-Augmented Generation in Olympic-Level Physics Problem Solving

基于检索增强生成在奥林匹克级物理问题求解中的基础模型评估

Shunfeng Zheng, Yudi Zhang, Meng Fang, Zihan Zhang, Zhitan Wu, Mykola Pechenizkiy, Ling Chen

机构 * AAII, University of Technology Sydney, New South Wales, Australia（AAII，悉尼大学，新南威尔士州，澳大利亚） ； Eindhoven University of Technology, Eindhoven, The Netherlands（埃因霍温理工大学，埃因霍温，荷兰） ； University of Liverpool, Liverpool, United Kingdom（利物浦大学，利物浦，英国） ； University of New South Wales, New South Wales, Australia（新南威尔士大学，新南威尔士州，澳大利亚） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过PhoPile多模态数据集评估检索增强生成在奥林匹克级物理问题求解中的表现，探讨了基础模型结合检索与物理语料对性能提升的影响及存在的挑战。

Comments Accepted to EMNLP 2025 (Findings)

Retrievals Can Be Detrimental: Unveiling the Backdoor Vulnerability of Retrieval-Augmented Diffusion Models

检索可能有害：揭示检索增强扩散模型的后门漏洞

Hao Fang, Xiaohang Sui, Hongyao Yu, Kuofeng Gao, Jiawei Kong, Sijin Yu, Bin Chen, Shu-Tao Xia

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 本文揭示了检索增强扩散模型（RDM）的后门漏洞，通过多模态对比攻击方法BadRDM，展示了如何利用检索数据库中的毒害代理进行攻击，同时保持模型的正常功能。

Comments Accepted by ACL-2026

Template-Fitting Meets Deep Learning: Redshift Estimation Using Physics-Guided Neural Networks

模板拟合与深度学习的结合：利用物理引导的神经网络进行红移估计

Jonas Chris Ferrao, Dickson Dias, Pranav Naik, Glory D'Cruz, Anish Naik, Siya Khandeparkar, Manisha Gokuldas Fal Dessai

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出一种结合模板拟合与深度学习的红移估计方法，通过物理引导的神经网络融合光谱数据与图像数据，实现高精度红移估计。