多模态大模型

From Head to Tail: Asymmetric Knowledge Transfer in Long-tail Recommendation with Generative Semantic IDs

从头到尾：利用生成式语义ID进行长尾推荐中的非对称知识迁移

Chenyi Yan, Ruocong Tang, Xing Fang, Yang Huang, He Guo, Jing Wang

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 针对长尾推荐中的数据不平衡问题，提出AKT-Rec框架，利用多模态大模型生成语义ID，通过聚类引导的自适应嵌入和层次化特征聚合实现从头到尾的非对称知识迁移，在工业数据集和在线A/B测试中显著提升性能。

Comments 5 pages, 1 figure

Hierarchical Contrastive Learning for Multi-Domain Protein-Ligand Binding

多领域蛋白质-配体结合的分层对比学习

Shuo Zhang, Rongqi Hong, Huifeng Zhang, Jian K. Liu

机构 * University of Birmingham, UK（英国伯明翰大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本研究提出HCLBind框架，通过分层对比学习方法，解决多领域蛋白质-配体结合亲和力预测问题，核心方法是分离几何表示学习与亲和力回归，并采用新颖的分层诱饵策略，结合领域门控图注意力网络和跨模态注意力，提升领域界面优先级，实验表明HCLBind能有效学习判别界面特征并提供鲁棒的不确定性估计。

Comments Accepted by ISBRA2026

MSAlign: Aligning Molecule and Mass Spectra Foundation Models for Metabolite Identification

MSAlign: 用于代谢物鉴定的分子和质谱基础模型对齐方法

Paul Krzakala, Gabriel Melo, Camille Lançon, Charlotte Laclau, Rémi Flamary, Etienne Thévenot, Florence d'Alché-Buc

机构 * LTCI, Télécom Paris & CMAP, Ecole Polytechnique, Institut Polytechnique de Paris（LTCI，巴黎电信学院及巴黎高等技术学院的联合机构，CMAP，巴黎高等理工学院，巴黎高等技术学院） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎高等技术学院） ； CEA, INRAE, MetaboHUB, Université Paris-Saclay（CEA，国家核能研究中心，法国农业研究机构，代谢组学枢纽，巴黎萨克雷大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本研究提出MSAlign方法，通过多模态对齐技术对齐分子和质谱基础模型，以提高代谢物鉴定的准确性，并解决了数据分割策略中的分布偏移问题。

A Readiness-Driven Runtime for Pipeline-Parallel Training under Runtime Variability

一种面向运行时变异的流水线并行训练的准备驱动运行时

Ruitao Liu, Xinyang Tian, Shuo Chen, Tingrui Zhang, Guang Yang, Alan Zhao, Wei Xu

机构 * Tsinghua University（清华大学） ； Scitix AI 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出了一种准备驱动的流水线运行时，以解决流水线并行训练中由于运行时变异导致的阶段对齐问题和空闲泡现象，通过非绑定提示顺序来优化当前就绪工作的排序，从而提高资源利用率。

Comments 29 pages, including appendices

LSM-VEC: A Large-Scale Disk-Based System for Dynamic Vector Search

LSM-VEC：一种大规模磁盘基系统用于动态向量搜索

Shurui Zhong, Dingheng Mo, Siqiang Luo

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 LSM-VEC结合分层图索引与LSM树存储，实现高效的动态向量搜索，支持出地更新，降低I/O开销，实验显示其在大规模数据集上优于现有磁盘基ANN系统。

Comments 12 pages, 8 figures

MetaGEM: Bottom-Up Reconstruction of Genome-Scale Metabolic Networks via Deep Enzyme-Metabolite Anchoring

MetaGEM：通过深度酶-代谢物锚定进行底-up式基因组尺度代谢网络重建

Weiyu Xiao, Jiangbin Zheng, Stan Z. Li

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 MetaGEM通过酶作为物理锚点，将系统级网络推断转化为酶-代谢物相互作用预测，实现了基因组尺度代谢网络的高效重建，并在多个菌种中生成了功能代谢模型。

Comments 21 pages, 5 figures, 3 tables

Finite-size scaling of hetero-associative retrieval in continuous-signal-driven Ising spin systems

异关联记忆在连续信号驱动的伊辛自旋系统中的有限尺寸缩放

Andrea Ladiana

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本文提出多层伊辛框架，结合几何保持的连续到伊辛编码器与Kanter-Sompolinsky伪逆记忆耦合，实现跨模态回忆，并验证有限尺寸修正对存储容量的影响。

JEDI: Joint Embedding Diffusion World Model for Online Model-Based Reinforcement Learning

JEDI: 联合嵌入扩散世界模型用于在线基于模型的强化学习

Jing Yu Lim, Rushi Shah, Zarif Ikram, Samson Yu, Haozhe Ma, Tze-Yun Leong, Dianbo Liu

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 JEDI通过联合嵌入扩散方法，构建了首个端到端的潜在扩散世界模型，提升了在线基于模型的强化学习效率与性能，减少了显存占用并加快了训练速度。

Physics-informed neural particle flow for the Bayesian update step

具有物理信息的神经粒子流用于贝叶斯更新步骤

Domonkos Csuzdi, Tamás Bécsi, Olivér Törő

机构 * Department of Control for Transportation and Vehicle Systems, Faculty of Transportation Engineering and Vehicle Engineering, Budapest University of Technology and Economics（交通运输与车辆系统控制系，交通运输工程与车辆工程学院，布达佩斯技术与经济大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出一种物理信息神经粒子流框架，通过将先验到后验密度函数的log-homotopy轨迹与密度演变的连续性方程结合，推导出主PDE，用于无监督训练，提高高维非线性估计的计算效率和鲁棒性。

Agents Should Replace Narrow Predictive AI as the Orchestrator in 6G AI-RAN

智能体应取代窄预测AI作为6G AI-RAN的协调者

Pranshav Gajjar, Vijay K Shah

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文主张为实现Level 5自主6G网络，AI-RAN应从碎片化的窄预测模型转向多模态大语言模型作为核心推理智能体，通过提升LLM作为认知操作系统，动态翻译人类意图并自主诊断网络异常。

Contrastive Image-Metadata Pre-Training for Materials Transmission Electron Microscopy

对比图像-元数据预训练用于材料透射电子显微镜

Georgia Channing, Debora Keller, Marta D. Rossell, Philip Torr, Stig Helveg, Henrik Eliasson

机构 * Hugging Face ； University of Oxford（牛津大学） ； Empa Dübendorf（Empa杜宾根） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本文提出CIMP模型，通过对比图像与元数据实现对低剂量图像的去噪，实验表明其在去噪效果上优于现有方法。

JARVIS: An Evidence-Grounded Retrieval System for Interpretable Deceptive Reviews Adjudication

JARVIS：一种基于证据的可解释欺骗性评论裁决检索系统

Nan Lu, Leyang Li, Yurong Hu, Rui Lin, Shaoyi Xu

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出JARVIS框架，通过混合密集-稀疏多模态检索和证据图结构，提升可解释性欺骗性评论裁决的精度和召回率，实验显示其在精度和召回率上均有显著提升。

Unified Data Discovery across Query Modalities and User Intents

跨查询模态和用户意图的统一数据发现

Tingting Wang, Shixun Huang, Zhifeng Bao, J. Shane Culpepper, Shazia Sadiq, Volkan Dedeoglu, Reza Arablouei

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本文提出UniDisc框架，支持自然语言和表格查询，统一处理多样用户意图，通过上下文信号学习鲁棒表征，实现在不同数据发现场景中的统一相关性评估。

Personalized Multi-Interest Modeling for Cross-Domain Recommendation to Cold-Start Users

面向冷启动用户的跨域推荐的个性化多兴趣建模

Xiaodong Li, Jiawei Sheng, Jiangxia Cao, Xinghua Zhang, Wenyuan Zhang, Yong Sun, Shirui Pan, Zhihong Tian, Tingwen Liu

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出NF-NPCDR框架，通过个性化偏好编码器和共同偏好编码器捕捉用户多兴趣偏好，结合随机自适应解码器提升冷启动用户推荐性能。

Adaptable phase retrieval for coherent transition radiation spectroscopy based on differentiable physics information

基于可微物理信息的适应性相位恢复用于相干跃迁辐射光谱学

Ritz Ann Aguilar, Maxwell LaBerge, Andreas Doepp, Alexander Debus, Zewu Bi, Michael Bussmann, Arie Irman, Ulrich Schramm, Jeffrey Kelling

机构 * Institute of Radiation Physics, Helmholtz-Zentrum Dresden-Rossendorf（辐射物理研究所，德累斯顿-罗斯托克研究中心） ； Centre for Advanced Laser Applications, Ludwig-Maximilians-Universität München（先进激光应用中心，慕尼黑路德维希-马克西米利安大学） ； Center for Advanced Systems Understanding, Görlitz（先进系统理解中心，戈尔茨） ； Technische Universität Dresden（德累斯顿技术大学） ； Technische Universität Chemnitz（切恩茨技术大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出了一种基于可微物理信息的相位恢复方法，用于解决相干跃迁辐射光谱学中束流剖面恢复问题，通过梯度下降优化傅里叶相位并结合物理先验约束，提升重建精度和鲁棒性。

Comments 17 pages, 8 figures

AI-Augmented Bibliometric Framework: A Paradigm Shift with Agentic AI for Dynamic, Snippet-Based Research Analysis

增强型文献计量框架：基于代理AI的范式转变用于动态、片段式研究分析

Adela Bara, Simona-Vasilica Oprea

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出一个生成式多代理AI框架，通过自然语言指令实现动态代码基文献计量分析，无需专业编程技能，支持多模态全文检索、代理探索和动态指标创建，突破传统工具的限制。

IoDResearch: Deep Research on Private Heterogeneous Data via the Internet of Data

IoDResearch：通过互联网的数据进行私有异构数据的深度研究

Zhuofan Shi, Zijie Guo, Xinjian Ma, Gang Huang, Yun Ma, Xiang Jing

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出IoDResearch框架，通过将异构资源转化为FAIR合规的数字对象，提升私有数据的检索效率和可重用性，实验表明其在检索、问答和报告生成任务中优于现有基线方法。

Comments Accepted to ICASSP 2026

Structure-guided molecular design with contrastive 3D protein-ligand learning

基于结构的分子设计与对比学习3D蛋白质-配体学习

Carles Navarro, Philipp Tholke, Gianni de Fabritiis

机构 * Acellera Labs（Acellera实验室） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出结合对比学习3D结构编码与自回归分子生成的统一框架，用于解决结构导向分子设计中的挑战，生成具有优良结合性质的候选分子。

ATRIE: Adaptive Tuning for Robust Inference and Emotion in Persona-Driven Speech Synthesis

ATRIE：面向基于人物驱动语音合成的鲁棒推理与情感自适应调优

Aoduo Li, Haoran Lv, Shengmin Li, Sihao Qin, Hongjian Xu

机构 * Guangdong University of Technology（广东工业大学） ； South China University of Technology（华南理工大学） ； Shenzhen Polytechnic University（深圳职业技术大学） ； University of Macau（澳门大学） ； Huizhou University（惠州市大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本文提出ATRIE框架，通过分离静音音色和动态语调生成，实现人物特征的稳定保留与情感表达，实验表明其在生成和跨模态检索上达到SOTA水平。

Comments 10 pages, 6 figures. Accepted to ACM ICMR 2026

UniCon: Unified Framework for Efficient Contrastive Alignment via Kernels

UniCon：通过核方法实现高效的对比对齐统一框架

Hangke Sui, Yuqing Wang, Minh N Do

机构 * Department of Electrical & Computer Engineering, The Grainger College of Engineering, UIUC（电气与计算机工程系，格拉inger工程学院，伊利诺伊大学香槟分校） ； Siebel School of Computing and Data Science, The Grainger College of Engineering, UIUC（计算与数据科学学院，格拉inger工程学院，伊利诺伊大学香槟分校） ； Coordinated Science Laboratory, University of Illinois Urbana-Champaign (UIUC)（协调科学实验室，伊利诺伊大学香槟分校） ； VinUni-Illinois Smart Health Center（VinUni-伊利诺伊智能健康中心） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 UniCon通过引入对比相似度权重矩阵S(γ)，提供了一种统一的对比对齐框架，实现了闭式全局解，替代了 minibatch反向传播，提升了效率并保持了通用性和性能。

Comments 33 pages, 8 figures, 8 tables. Accepted by The Fourteenth International Conference on Learning Representations (ICLR) 2026

A Sketch+Text Composed Image Retrieval Dataset for Thangka

用于唐卡的草图+文本组合图像检索数据集

Jinyu Xu, Yi Sun, Jiangling Zhang, Qing Xie, Daomin Ji, Zhifeng Bao, Jiachen Li, Yanchun Ma, Yongjian Liu

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出CIRThan数据集，包含2287张高质量唐卡图像，每张图像配有人工绘制的草图和三级语义描述，支持联合表达结构意图和多级语义的组合查询，用于推动文化遗址和知识特定视觉领域的草图+文本组合图像检索研究。

Comments 9 pages

Robust parameter inference for Taiji via time-frequency contrastive learning and normalizing flows

为Taiji探测器开发鲁棒参数推断方法：通过时频对比学习和归一化流

Tian-Yang Sun, Bo Liang, Ji-Yu Song, Song-Tao Liu, Shang-Jie Jin, He Wang, Ming-Hui Du, Jing-Fei Zhang, Xin Zhang

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出一种结合时频多模态融合编码器和对比学习的鲁棒参数推断框架，用于Taiji探测器中的大质量黑洞双星参数推断，通过生成高保真合成瞬态数据提升训练效率，验证了深度学习在空间引力波观测中的有效性。

Comments 15 pages, 8 figures

Concrete Jungle: Towards Concreteness Paved Contrastive Negative Mining for Compositional Understanding

具体丛林：迈向由具体性铺就的对比负样本挖掘以实现组合理解

Eun Woo Im, Dhruv Madhwal, Vivek Gupta

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本文提出ConcretePlant，通过增强具体性术语的修改来提升对比学习信号，解决负样本生成中的梯度失衡问题，提出Cement损失函数以动态校准惩罚，实现更有效的组合理解。

Comments 10 pages

Template-Fitting Meets Deep Learning: Redshift Estimation Using Physics-Guided Neural Networks

模板拟合与深度学习的结合：利用物理引导的神经网络进行红移估计

Jonas Chris Ferrao, Dickson Dias, Pranav Naik, Glory D'Cruz, Anish Naik, Siya Khandeparkar, Manisha Gokuldas Fal Dessai

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出一种结合模板拟合与深度学习的红移估计方法，通过物理引导的神经网络融合光谱数据与图像数据，实现高精度红移估计。

Tencent Advertising Algorithm Challenge 2025: All-Modality Generative Recommendation

腾讯广告算法挑战2025：全模态生成推荐

Junwei Pan, Wei Xue, Chao Zhou, Xing Zhou, Lunan Fan, Yanbo Wang, Haoran Xin, Zhiyu Hu, Yaozheng Wang, Fengye Xu, Yurong Yang, Xiaotian Li, Junbang Huo, Wentao Ning, Yuliang Sun, Chengguo Yin, Jun Zhang, Shudong Huang, Lei Xiao, Huan Yu, Irwin King, Haijie Gu, Jie Jiang

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 本文介绍了腾讯广告算法挑战2025，通过两个全模态数据集TencentGR-1M和TencentGR-10M，推动生成推荐研究，提供大规模真实数据和评估方法，旨在促进工业级全模态生成推荐技术的发展。

Uncertainty-Aware Foundation Models for Clinical Data

具有不确定性的临床数据基础模型

Qian Zhou, Yuanyun Zhang, Shi Li

机构 * University of the Chinese Academy of Sciences（中国科学院大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出一种考虑不确定性的临床数据基础模型框架，通过学习集合值表示并强制一致性，提升预测性能和数据缺失下的鲁棒性。

Audio-to-Image Bird Species Retrieval without Audio-Image Pairs via Text Distillation

无需音频图像对的音频到图像鸟类物种检索：通过文本蒸馏

Ilyass Moummad, Marius Miron, Lukas Rauch, David Robinson, Alexis Joly, Olivier Pietquin, Emmanuel Chemla, Matthieu Geist

机构 * Inria, LIRMM, Université de Montpellier（法国国家信息与自动化研究所，蒙彼利埃计算机科学、机器人学与微电子学实验室，蒙彼利埃大学） ； University of Kassel（卡塞尔大学） 纠错

专题命中 跨模态检索 ：image-text(abstract)

AI总结 本文提出无需音频图像配对的音频到图像检索方法，通过文本作为语义中介，利用预训练图像文本模型蒸馏出音频文本模型，实现音频与图像表示的对齐，从而在数据稀缺的生物声学场景中有效进行物种识别。

Contrastive Learning Boosts Deterministic and Generative Models for Weather Data

对比学习提升确定性和生成性模型用于天气数据

Nathan Bailey

机构 * Imperial College London（帝国理工学院伦敦分校） ； The Grantham Institute for Climate Change（格兰塔姆气候变化研究所） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文研究对比学习在天气数据压缩中的应用，提出SPARTA模型，通过对比损失和图神经网络融合提升稀疏数据的嵌入质量，提升下游任务性能。

Neural Pushforward Samplers for the Fokker-Planck Equation on Embedded Riemannian Manifolds

神经推前采样器用于嵌入黎曼流形上的福克-计划克方程

Andrew Qing He, Wei Cai

机构 * Department of Mathematics, Southern Methodist University（数学系，南方 Methodist 大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文扩展了弱对抗神经推前方法，用于嵌入黎曼流形上的福克-计划克方程，通过神经推前映射和重traction层约束流形，实现概率守恒，采用弱对抗目标训练，无需网格或坐标图，验证了方法在曲面多模态不变分布中的能力。

Comments 13 pages, 2 figures, 1 table, 1 algorithm

A Survey of Model Architectures in Information Retrieval

信息检索中模型架构的综述

Zhichao Xu, Fengran Mo, Zhiqi Huang, Crystina Zhang, Puxuan Yu, Bei Wang, Jimmy Lin, Vivek Srikumar

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文综述了信息检索中模型架构的发展，重点探讨了特征提取的骨干模型和端到端的相关性估计系统，分析了传统术语检索模型向神经网络方法的转变，以及Transformer架构和大语言模型的影响。

Comments TMLR camera ready