多模态大模型

Contrastive Multi-Modal Hypergraph Reasoning for 3D Crowd Mesh Recovery

对比多模态超图推理用于3D人群网格重建

Minghao Sun, Chongyang Xu, Yitao Xie, Buzhen Huang, Kun Li

机构 * Tianjin University（天津大学） ； Nanyang Technological University（南洋理工大学） ； Sichuan University（四川大学） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出对比多模态超图推理方法，结合语义、几何和姿态线索，解决人群重建中的遮挡和深度模糊问题，通过超图建模高阶人群动态，提升特征融合与跨模态正交性。

Comments ICME 2026

From Scenes to Elements: Multi-Granularity Evidence Retrieval for Verifiable Multimodal RAG

从场景到元素：面向可验证多模态RAG的多粒度证据检索

Guanhua Chen, Chuyue Huang, Yutong Yao, Shudong Liu, Xueqing Song, Lidia S. Chao, Derek F. Wong

机构 * NLP 2 CT Lab, Department of Computer and Information Science, University of Macau（NLP2CT实验室，计算机与信息科学系，澳门大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 本文提出GranuRAG框架，通过多粒度跨模态对齐和元素级检索，解决多模态RAG中粗粒度证据与细粒度查询不匹配的问题，提升可验证性。

Text Knows What, Tables Know When: Clinical Timeline Reconstruction via Retrieval-Augmented Multimodal Alignment

文本知晓什么，表格知晓何时：通过检索增强的多模态对齐进行临床时间线重建

Sayantan Kumar, Shahriar Noroozizadeh, Juyong Kim, Jeremy C. Weiss

机构 * National Library of Medicine National Institutes of Health（国家医学图书馆国立卫生研究院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种检索增强的多模态对齐框架，通过结合文本和结构化EHR数据，提高临床时间线的精确度，提升时间一致性，同时保持事件匹配率。

Comments Sayantan Kumar, Shahriar Noroozizadeh, Juyong Kim (authors contributed equally)

Think When Needed: Adaptive Reasoning-Driven Multimodal Embeddings with a Dual-LoRA Architecture

需要时思考：基于双LoRA架构的自适应推理驱动多模态嵌入

Longxiang Zhang, Weilong Dai, Guanghao Zhang, Hao Jiang, Pipei Huang

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出TWN框架，通过双LoRA架构和自适应推理机制，提升多模态嵌入效率与质量，在78个任务中达到SOTA水平，参数更少，推理成本更低。

Comments 30 pages, preprint

Adversarial Hubness in Multi-Modal Retrieval

多模态检索中的对抗性Hub现象

Tingwei Zhang, Fnu Suya, Rishi Jha, Collin Zhang, Vitaly Shmatikov

专题命中 跨模态检索 ：multi-modal(title,abstract)

AI总结 本文研究了攻击者如何利用Hub现象在多模态检索系统中生成对抗性Hub，通过实验展示对抗性Hub在大量查询中的高召回率，并发现传统缓解自然Hub的方法对对抗性Hub无效。

Comments in IEEE S&P 2026

Uncovering Trajectory and Topological Signatures in Multimodal Pediatric Sleep Embeddings

揭示多模态儿童睡眠嵌入中的轨迹和拓扑特征

Scott Ye, Harlin Lee

机构 * Department of Radiology（放射科） ； University of California San Francisco（加州大学旧金山分校） ； UNC–Chapel Hill（北卡罗来纳大学教堂山分校） ； UNC School of Data Science and Society（北卡罗来纳大学教堂山分校数据科学与社会学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文研究多模态掩码自编码器生成的儿童睡眠嵌入中包含的会话级诊断信息，通过结合PHATE坐标、持久同调和EHR数据，发现几何、拓扑和临床特征互补提升预测性能，尤其在极端不平衡情况下提升校准和鲁棒性。

Comments Accepted to ML4H 2025, 20 pages, 6 figures

Journal ref Proceedings of the Fifth Machine Learning for Health Symposium, PMLR 297:1392-1411, 2025

Chain-of-Procedure: Hierarchical Visual-Language Reasoning for Procedural QA

过程链：用于过程问答的层次视觉语言推理

Guanhua Chen, Yutong Yao, Shenghe Sun, Ci-Jun Gao, Shudong Liu, Lidia S. Chao, Feng Wan, Derek F. Wong

机构 * NLP ； CT Lab, Department of Computer and Information Science, University of Macau（计算机与信息科学系，澳门大学CT实验室） ； Department of Electrical and Computer Engineering, University of Macau（电气与计算机工程系，澳门大学） ； Centre for Cognitive and Brain Sciences, University of Macau（认知与脑科学中心，澳门大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CL

AI总结 本文提出ProcedureVQA基准，针对视觉过程问答任务，通过过程链框架解决现有VLMs在跨模态检索和步骤分解上的不足，实验显示其在六个VLMs上提升达13%。

MetaGEM: Bottom-Up Reconstruction of Genome-Scale Metabolic Networks via Deep Enzyme-Metabolite Anchoring

MetaGEM：通过深度酶-代谢物锚定进行底-up式基因组尺度代谢网络重建

Weiyu Xiao, Jiangbin Zheng, Stan Z. Li

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 MetaGEM通过酶作为物理锚点，将系统级网络推断转化为酶-代谢物相互作用预测，实现了基因组尺度代谢网络的高效重建，并在多个菌种中生成了功能代谢模型。

Comments 21 pages, 5 figures, 3 tables

Finite-size scaling of hetero-associative retrieval in continuous-signal-driven Ising spin systems

异关联记忆在连续信号驱动的伊辛自旋系统中的有限尺寸缩放

Andrea Ladiana

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本文提出多层伊辛框架，结合几何保持的连续到伊辛编码器与Kanter-Sompolinsky伪逆记忆耦合，实现跨模态回忆，并验证有限尺寸修正对存储容量的影响。