多模态大模型

An iterative energy-based multimodal transformer for joint retrieval of wheat soil moisture, leaf area index, and plant height from Sentinel-1 and Sentinel-2 time series

基于迭代能量多模态Transformer的Sentinel-1与Sentinel-2时序联合反演小麦土壤水分、叶面积指数和株高

Shubham Kumar Singh, Peilei Fan, Suraj A. Yadav, Rajendra Prasad, Prashant K Srivastava

机构 * Department of Urban and Environmental Policy and Program, Tufts University（Tufts大学城市与环境政策与项目系） ； Electrical and Computer Engineering Department, Mississippi State University（密苏里州立大学电气与计算机工程系） ； Department of Physics, Indian Institute of Technology (BHU)（印度理工学院（BHU）物理系） ； Institute of Environment and Sustainable Development, Banaras Hindu University（巴纳尔斯赫尔大学环境与可持续发展研究所） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 提出迭代能量Transformer（iEBT），通过嵌入多模态预测器并迭代更新目标向量，从Sentinel-1和Sentinel-2时序数据中联合反演土壤水分、叶面积指数和株高，在印度瓦拉纳西实测数据上取得高精度，并利用终端能量作为质量诊断指标。

Backbone-Conditional Behavior of Modality Gating in Multi-Modal Prostate MRI Segmentation: A 5-Fold Cross-Validation and Gate Mechanism Analysis

模态隔离门控融合：用于稳健多模态前列腺MRI分割的架构无关方法

Yongbo Shu, Wenzhao Xie, Shanhu Yao, Zirui Xin, Luo Lei, Kewen Chen, Aijing Luo

机构 * The Second Xiangya Hospital of Central South University（中南大学湘雅医学院第二医院） ； The Third Xiangya Hospital of Central South University（中南大学湘雅医学院第三医院） ； School of Life Sciences, Central South University（中南大学生命科学学院） ； Hunan Provincial Key Laboratory of Medical Information Research (Central South University)（湖南省医学信息研究重点实验室（中南大学）） ； Hunan Provincial Clinical Medical Research Center for Cardiovascular Intelligent Medicine（湖南省心血管智能医学临床医学研究中心） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出模态隔离门控融合（MIGF）方法，通过独立编码流和门控阶段提升多模态前列腺MRI分割的鲁棒性，实验表明其在不同模态缺失和伪影情况下均有效。

Comments Major revision. Single-fold analysis replaced by 5-fold cross-validation (180 trained models) plus a direct gate-mechanism analysis; conclusions updated to show that modality gating is backbone-conditional. Supersedes v1

GeoRanker: Distance-Aware Ranking for Worldwide Image Geolocalization

GeoRanker：面向全球图像地理定位的距离感知排序

Pengyue Jia, Seongheon Park, Song Gao, Xiangyu Zhao, Sharon Li

机构 * Department of Data Science, City University of Hong Kong（城市大学数据科学系） ； Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系） ； Department of Geography, University of Wisconsin-Madison（威斯康星大学麦迪逊分校地理系） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 提出GeoRanker框架，利用大视觉语言模型联合编码查询-候选交互并预测地理邻近性，引入多阶距离损失以建模结构化空间关系，在IM2GPS3K和YFCC4K基准上达到最优。

Comments NeurIPS 2025