多模态大模型

A Multimodal Foundation Model of Spatial Transcriptomics and Histology for Biological Discovery and Clinical Prediction

一种结合空间转录组学和组织学的多模态基础模型用于生物发现和临床预测

Jinxi Xiang, Siyu Hou, Yuchen Li, Ryan Quinton, Xiaoming Zhang, Feyisope Eweje, Xiangde Luo, Yijiang Chen, Zhe Li, Colin Bergstrom, Ted Kim, Sierra Willens, Francesca Maria Olguin, Matthew Abikenari, Andrew Heider, Sanjeeth Rajaram, Joel Neal, Maximilian Diehn, Xiang Zhou, Ruijiang Li

机构 * Department of Radiation Oncology, Stanford University School of Medicine（斯坦福大学医学院放射肿瘤学系） ； Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系） ； Department of Medicine (Oncology), Stanford University School of Medicine（斯坦福大学医学院医学系（肿瘤学）） ； Department of Pathology, Stanford University School of Medicine（斯坦福大学医学院病理学系） ； Department of Neurosurgery, Stanford University School of Medicine（斯坦福大学医学院神经外科学系） ； Stanford Institute for Human-Centered Artificial Intelligence（斯坦福大学以人为本人工智能研究所） ； Perelman School of Medicine at the University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院） 纠错

专题命中 其他多模态 ：multimodal(title)；multimodal foundation model(title)；分类 cs.AI

AI总结 本文提出STORM模型，整合形态学特征、基因表达和空间上下文，提升空间领域发现并预测肿瘤类型基因表达，提高免疫治疗响应预测和预后诊断。

Comments 29 pages, 5 figures. This manuscript is a work in progress; further updates and revisions will be posted as they become available

Rapid convergence of tempering chains to multimodal Gibbs measures

温控链快速收敛于多模Gibbs测度

Seungjae Son

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究平行与模拟退火链的谱间隙，证明其在低目标温度下具有多项式下界，适用于广泛势能函数类。

Copilot-Assisted Second-Thought Framework for Brain-to-Robot Hand Motion Decoding

辅助第二思考框架用于脑机臂运动解码

Yizhe Li, Shixiao Wang, Jian K. Liu

机构 * University of Birmingham（伯明翰大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出混合CNN-注意力模型解码EEG手部运动轨迹，在单受试者实验中取得高PCC值，进一步扩展至EEG-EMG多模态解码，并引入copilot框架提升轨迹精度。

Bridging the Dimensionality Gap: A Taxonomy and Survey of 2D Vision Model Adaptation for 3D Analysis

弥合维度差距：2D视觉模型适应3D分析的分类与综述

Akshat Pandya, Bhavuk Jain

机构 * Independent Researcher（独立研究员） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文综述了将2D视觉模型适应3D分析的策略，分类为数据导向、架构导向和混合方法，探讨了计算复杂度、预训练依赖性和几何归纳偏置的权衡。

Comments VISAPP 2026

Journal ref Proceedings of the 21st International Conference on Computer Vision Theory and Applications - Volume 3: VISAPP 2026; ISBN 978-989-758-804-4; ISSN 2184-4321, SciTePress, pages 353-364

WIMLE: Uncertainty-Aware World Models with IMLE for Sample-Efficient Continuous Control

WIMLE：具有IMLE的不确定性感知世界模型用于高效连续控制

Mehran Aghabozorgi, Alireza Moazeni, Yanshu Zhang, Ke Li

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 WIMLE通过扩展IMLE至模型基于强化学习框架，学习随机多模世界模型并估计预测不确定性，提升了连续控制任务的样本效率和稳定性。

Comments Accepted at ICLR 2026. Website: https://mehranagh20.github.io/wimle/ Code: https://github.com/mehranagh20/wimle

Journal ref In Proceedings of the Fourteenth International Conference on Learning Representations (ICLR 2026), 2026

ArchMap: Arch-Flattening and Knowledge-Guided Vision Language Model for Tooth Counting and Structured Dental Understanding

ArchMap：用于牙齿计数和结构牙科理解的拱形扁平化和知识引导的视觉语言模型

Bohan Zhang, Yiyi Miao, Taoyu Wu, Tong Chen, Ji Jiang, Zhuoxiao Li, Zhe Tang, Limin Yu, Jionglong Su

机构 * Xi'an Jiaotong-Liverpool University（西交利物浦大学） ； University of Liverpool（利物浦大学） ； Zhejiang University of Technology（浙江工业大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出ArchMap，一种无需训练的知识引导框架，通过几何归一化和本体引导的多模态推理，提升3D口腔扫描的结构化分析能力，实现牙齿计数、解剖分区、牙列阶段分类及临床状况识别。

Journal ref In Proceedings of the 2025 IEEE International Conference on Big Data (BigData), pp. 7529-7538, 2025