多模态大模型

The 2nd EReL@MIR Workshop on Efficient Representation Learning for Multimodal Information Retrieval

第二届EReL@MIR研讨会：面向多模态信息检索的高效表示学习

Junchen Fu, Xuri Ge, Xin Xin, Alexandros Karatzoglou, Ioannis Arapakis, Xi Wang, Qijiong Liu, Qian Li, Joemon M. Jose

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.MM

AI总结 本研讨会旨在探讨多模态基础模型在信息检索中的效率瓶颈，并提出通过组织学术与工业界交流，推动高效表示学习的新方法、度量标准和基准。

Comments Accepted as a workshop proposal at ACM Multimedia 2026

Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini

Gemini Embedding 2：来自Gemini的原生多模态嵌入模型

Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Samari, Kevin Poulet, Daniel Cer, Kaifeng Chen, Paul Suganathan, Hui Hui, Jovan Andonov, Philippe Schlattner, Jay Han, Iftekhar Naim, Wing Lowe, Vladimir Pchelin, Albert Yang, Yi-Ting Chen, Zhongli Ding, Grace Zhang, Georg Heigold, Yichang Chen, Antoine Reveillon, Brendan Mccloskey, Wenlei Zhou, Dahun Kim, Rui Meng, Emma Wang, Jack Zheng, Halley Fede, Zhen Yang, Keegan Mosley, Brian Potetz, Sahil Dua, Henrique Schechter Vera, Shen Gao, Hesen Zhang, Andreas Hess, Hengxuan Ying, Alberto Montes, Karan Gill, Min Choi, Sebastian Russo, Anja Hauth, Jinhyuk Lee, Michael Boratko, Megan Barnes, Vikram Rao, Claudiu Musat, Cyril Allauzen, Ehsan Variani, Shankar Kumar, Tom Bagby, Junyi Jiao, Yang Gu, Tengxin Li, Ayush Agrawal, Roberto Santana, Dev Nath, Stephen Karukas, Shuoxuan Han, Lucia Loher, Alice Twu, Nidhi Vyas, Siddharth Bhai, Frank Palma Gomez, Wangyuan Zhang, Chaoren Liu, Jizheng Yang, Steve Qiu, Shijie Zhang, Sujay Kulkarni, Sascha Rothe, Sean Nakamoto, Raphael Hoffmann, Zach Gleicher, Yunhsuan Sung, Qin Yin, Tom Duerig, Mojtaba Seyedhosseini

机构 * Gemini Report（Gemini 报告） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出原生多模态嵌入模型Gemini Embedding 2，通过多任务多阶段对比学习统一视频、音频、图像和文本的表示空间，在单模态、跨模态和多模态检索任务上达到最先进性能。

OmniRetriever: Any-to-Any Audio-Video-Text Retrieval via Fusion-as-Teacher Distillation

OmniRetriever: 通过融合作为教师蒸馏实现任意到任意的音频-视频-文本检索

Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen

机构 * Memories.ai Research（Memories.ai研究院） 纠错

专题命中 跨模态检索 ：any-to-any(title)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出融合作为教师蒸馏方法，利用三元组嵌入的融合信号训练单模态嵌入，并构建OmniRetriever-7B模型，在零样本检索基准上超越现有方法，同时发布OmniRetriever-Bench基准。

Comments https://yunzeliu.github.io/OmniRetriever/

Touch-R1: Reinforcing Touch Reasoning in MLLMs

Touch-R1：在多模态大语言模型中强化触觉推理

Yingxin Lai, Yafei Zhou, Fucai Zhu, Siyu Zhu, Weihao Yuan

机构 * Xiamen University（厦门大学） ； Great Bay University（大湾大学） ； Fudan University（复旦大学） ； Nanjing University（南京大学） ； Daimon Robotics（达摩机器人） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 针对触觉推理中物理属性序数性和跨传感器分布偏移的挑战，提出基于触觉接地GRPO目标训练的Touch-R1模型，在TouchReason-Bench上平均性能超过Octopi-13B和GPT-4o。

Comments Our code and data will be made public on the https://laiyingxin2.github.io/Projects

SCENT: Aligning Mass Spectra with Molecular Structure for Olfactory Perception

SCENT: 将质谱与分子结构对齐用于嗅觉感知

Ziqi Zhang, Eunyeong Jin, Miguel Vasco, Farzaneh Taleb, Nona Rajabi, Alexandra Gutmann, Jonathan Williams, Antônio H. Ribeiro, Danica Kragic

机构 * Dept. of Intelligent Systems, KTH Royal Institute of Technology（智能系统系，皇家理工学院） ； Atmospheric Chemistry Dept., Max Planck Institute for Chemistry（大气化学部，马克斯·普朗克研究所） ； Dept. of Information Technology, Uppsala University（信息科技系，乌普萨拉大学） ； Science for Life Laboratory (SciLifeLab), Uppsala（生命科学实验室（SciLifeLab），乌普萨拉） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；cross-modal(abstract)

AI总结 提出SCENT多模态对比学习框架，通过将电子电离质谱表示与预训练化学结构嵌入对齐，在无需分子结构的情况下实现与结构模型相当的嗅觉预测性能。

RadJEPA: Radiology Encoder for Chest X-Rays via Joint Embedding Predictive Architecture

RadJEPA：基于联合嵌入预测架构的胸部X光放射学编码器

Anas Anwarul Haq Khan, Mariam Husain, Pratik Jalan, Kshitij Jadhav

机构 * Department of Computer Science and Engineering, Indian Institute of Technology Bombay（印度理工学院孟买分校计算机科学与工程系） ； Department of Biomedical Engineering, Johns Hopkins University（约翰霍普金斯大学生物医学工程系） ； Koita Centre for Digital Health, Indian Institute of Technology Bombay（印度理工学院孟买分校Koita数字健康中心） 纠错

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CV

AI总结 提出RadJEPA，一种无需语言监督的自监督框架，通过联合嵌入预测架构在约84万张无标签胸部X光图像上预训练，学习预测掩码区域的潜在表示，在放射学报告生成等任务中达到或超越现有基线。