多模态大模型

Kepler-Encoder-v0.1: Towards a Multimodal Embedding Model for Robots

开普勒编码器v0.1：迈向机器人的多模态嵌入模型

Ishneet Sukhvinder Singh, Dhanoosh Pooranakumaran, Alex Nguyen, Jia Qi Yip

机构 * Menlo Research（门洛研究公司） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 研究针对机器人理解自身状态问题，提出开普勒编码器v0.1，通过学习查询交叉注意力层融合多模态信息，经自监督训练。实验表明其仅视觉潜空间能恢复末端执行器状态，优于其他方法，单个编码器涵盖多个机器人，冻结潜空间有多种用途。

Comments 33 pages

LaME: Learning to Think in Latent Space for Multimodal Embedding via Information Bottleneck

LaME: 通过信息瓶颈在潜在空间中进行多模态嵌入的推理学习

Peixi Wu, Biao Yang, Feipeng Ma, Bosong Chai, Bo Lin, Wei Yuan, Fan Yang, Tingting Gao, Hebei Li, Xiaoyan Sun

机构 * University of Science and Technology of China（中国科学技术大学） ； Kuaishou Technology（快手科技） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出LaME方法，将面向嵌入的潜在推理建模为弱监督信息瓶颈，使用可学习推理令牌在单次前向传播中完成推理，避免显式CoT的高计算成本和标注依赖，实现60倍加速。

Global and Local Contrastive Learning for Joint Representations from Cardiac MRI and ECG

用于心脏MRI和ECG联合表示的全局和局部对比学习

Alexander Selivanov, Philip Müller, Özgün Turgut, Nil Stolt-Ansó, Daniel Rückert

机构 * Chair for AI in Healthcare and Medicine, Technical University of Munich (TUM) and TUM University Hospital, Munich, Germany（人工智能在医疗与医学中的研究中心，技术大学慕尼黑（TUM）及慕尼黑技术大学医院） ； School of Medicine, Klinikum rechts der Isar, TUM, Germany（医学院，右岸克里克医院，TUM，德国） ； Department of Computing, Imperial College London, UK（计算学院，伦敦帝国学院，英国） ； Munich Center for Machine Learning (MCML), Munich, Germany（慕尼黑机器学习中心（MCML），慕尼黑，德国） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 PTACL通过结合心脏MRI的时空信息提升ECG表示，实现患者级和时间级对比学习，提高心脏表型检索和功能参数预测的性能。

Comments accepted to MICCAI 2025 (Springer LNCS)

Journal ref Medical Image Computing and Computer Assisted Intervention - MICCAI 2025, Lecture Notes in Computer Science, vol. 15960, pp. 217-227, Springer, Cham (2026)