多模态大模型

DREAM: Extending Vision-Language Models with Dual-Objective Encoding for Cross-Modal Retrieval

DREAM: 通过双目标编码扩展视觉-语言模型用于跨模态检索

Kaleem Ullah, Altaf Hussain, Muhammad Munsif, Sung Wook Baik

机构 * Sejong University（世宗大学） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Ulsan National Institute of Science and Technology（乌山国立科学研究院） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出DREAM模型，通过双路径表示增强与对齐，结合层级视觉编码器和混合语言建模，在视频检索任务中实现新SOTA。

TactSpace: Learning a Physics-enriched Shared Latent Space for Tactile Sim-to-Real Transfer

TactSpace: 学习富含物理信息的共享潜在空间以实现触觉模拟到现实的迁移

Arunim Joarder, Arjun Bhardwaj, René Zurbrügg, Mayank Mittal, Florin Püntener, Sira Bielefeldt, Cosmin Roman, Vaishakh Patil, Marco Hutter

机构 * Robotic Systems Lab, ETH Zürich（瑞士苏黎世联邦理工学院机器人系统实验室） ； Micro- and Nanosystems Lab, ETH Zürich（瑞士苏黎世联邦理工学院微纳系统实验室） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） ； NVIDIA（NVIDIA公司） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 提出多模态表示学习框架TactSpace，通过共享潜在空间对齐异构触觉模态，实现零样本模拟到现实迁移，在力预测和形状重建任务中分别降低误差16.7%和45.8%。

Comments 9 pages, 6 figures, 4 tables, accepted into IROS 2026

Contextualizing Biological Language Models across Modalities via Logit-Space Contrastive Alignment

跨模态生物学语言模型的逻辑空间对比对齐

Yanjun Shao, Yundi Chen, Yashvi Patel, Aurelien Pelissier, María Rodríguez Martínez

机构 * Biomedical Informatics and Data Science, Yale School of Medicine（耶鲁医学院生物医学信息学与数据科学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 提出LOGICA框架，在输出逻辑空间进行对比学习，通过门控跨模态适配器保留预训练似然接口，实现跨不同词汇表模型的上下文条件预测，在蛋白质-配体结合、TCR-肽活性和药物耐药性预测任务上超越现有方法。