多模态大模型

Efficient Controller Learning from Human Preferences and Numerical Data Via Multi-Modal Surrogate Models

通过多模态代理模型高效学习人类偏好和数值数据的控制器

Lukas Theiner, Maik Pfefferkorn, Yongpeng Zhao, Sebastian Hirt, Rolf Findeisen

机构 * Control and Cyber-Physical Systems Laboratory, Technical University of Darmstadt（控制与网络物理系统实验室，德累斯顿技术大学） ； Volkswagen AG（大众汽车集团） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出一种多保真度、多模态贝叶斯优化框架，结合低保真度数值数据与高保真度人类偏好，提升控制器学习效率。

Comments 8 pages, 4 figures, accepted for ECC 2026

ByteHouse: ByteDance's Cloud-Native Data Warehouse for Real-Time Multimodal Data Analytics

字节跳动的云原生数据仓库：用于实时多模态数据分析

Yuxing Han, Yu Lin, Yifeng Dong, Xuanhe Zhou, Xindong Peng, Xinhui Tian, Zhiyuan You, Yingzhong Guo, Xi Chen, Weiping Qu, Tao Meng, Dayue Gao, Haoyu Wang, Liuxi Wei, Huanchen Zhang, Fan Wu

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出ByteHouse，一种云原生数据仓库，解决多模态数据存储效率低、查询优化不足和资源分散导致性能下降的问题，通过统一存储引擎、共享缓存和优化计算层实现高效实时分析。

Normalization for multimodal type theory

多模态类型论的规范化

Daniel Gratzer

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文证明了多模态依赖类型论MTT的规范化，通过将类型检查和转换简化为底层模态情况的模态相等性判断，提出了一种类型检查算法。

Journal ref Logical Methods in Computer Science, Volume 22, Issue 1 (March 17, 2026) lmcs:10871

Cross-Modal Reinforcement Learning for Navigation with Degraded Depth Measurements

跨模态强化学习用于退化深度测量的导航

Omkar Sawant, Luca Zanatta, Grzegorz Malczyk, Kostas Alexis

机构 * Department of Engineering Cybernetics, Norwegian University of Science and Technology (NTNU)（工程 cybernetics 部，挪威科学技术大学（NTNU）） 纠错

专题命中 其他多模态 ：cross-modal(title,abstract)

AI总结 本文提出利用深度和灰度图像互补信息的跨模态学习框架，通过跨模态一致性学习共享潜在表示，实现深度退化下的鲁棒导航。

Comments Accepted to the 24th European Control Conference (ECC) 2026

MEVIUS2: Practical Open-Source Quadruped Robot with Sheet Metal Welding and Multimodal Perception

MEVIUS2：实用开源四足机器人，具备金属焊接与多模态感知

Kento Kawaharazuka, Keita Yoneda, Shintaro Inoue, Temma Suzuki, Jun Oda, Kei Okada

机构 * Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo（机械信息学系，信息科学与技术研究生院，东京大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 MEVIUS2是首个基于电子商务服务可订购的开源四足机器人，采用金属焊接与加工技术实现坚固结构，集成LiDAR和高动态范围相机实现多模态感知，能有效应对复杂地形。

Comments Accepted to IEEE Robotics and Automation Practice, Website - https://haraduka.github.io/mevius2-hardware/

Integrative Predictor-Dependent Learning of Network Data and Spatially Correlated Nodal Attributes for Multimodal Brain Imaging in Aging

整合预测依赖学习网络数据与空间相关节点属性以研究衰老的多模态脑成像

Jose Rodriguez-Acosta, Sharmistha Guha, Jessica Bernard, Thamires Magalhaes, Kaitlin McOwen

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出一个预测依赖的联合建模框架，用于多受试者共享节点的网络数据，结合空间坐标和空间相关节点属性，通过整合结构性和功能性信息，研究脑连接模式与衰老相关预测变量的关系。

Comments 38 pages

Convergence Bounds for Sequential Monte Carlo on Multimodal Distributions using Soft Decomposition

基于软分解的多模分布序贯蒙特卡洛算法收敛性界

Holden Lee, Matheau Santana-Gijzen

机构 * Department of Applied Mathematics \& Statistics, Johns Hopkins University e1,e2 纠错

专题命中 其他多模态 ：multimodal(title)；multi-modal(abstract)

AI总结 本文研究了序贯蒙特卡洛算法在多模分布上的收敛性界，通过软分解方法，利用局部马尔可夫链混合动态而非全局混合动态，提出新的收敛性界分析方法。

Risk Aware Safe Control with Multi-Modal Sensing for Dynamic Obstacle Avoidance

具有多模感知的动态障碍物避让风险感知安全控制

Pei Yu Chang, Qizhe Xu, Vishnu Renganathan, Qadeer Ahmed

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出一种融合概率状态估计与条件风险值控制障碍函数的安全框架，通过 Wasserstein barycenter 结合多模感知数据，提升自动驾驶在动态环境中的安全性和鲁棒性。

Extending Sequence Length is Not All You Need: Effective Integration of Multimodal Signals for Gene Expression Prediction

扩展序列长度并不足够：有效整合多模态信号用于基因表达预测

Zhao Yang, Yi Duan, Jiwei Zhu, Ying Ba, Chuan Cao, Bing Su

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） ； Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室） ； Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程技术研究中心，教育部） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出Prism框架，通过有效整合多模态表观基因组信号，克服长序列建模对基因表达预测性能的负面影响，实现仅使用短序列的最先进性能。

Comments Accepted at ICLR 2026

Underactuated multimodal jumping robot for extraterrestrial exploration

欠驱动多模态跳跃机器人用于外星探索

Neil R. Wagner, Justin K. Yim

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 该研究提出了一种欠驱动单足机器人，通过两个控制器实现滚动、跳跃和着陆，适用于低重力环境下的多模态探索。

Comments 8 pages, 14 figures, Accepted for ICRA 2026

Study of nuclear magnetic resonance spectra with the multi-modal multi-level quantum complex exponential least squares algorithm

多模多级量子复指数最小二乘算法在核磁共振谱研究中的应用

Antonio Marquez Romero, Josh J. M. Kirsopp, Giuseppe Buonaiuto, Michal Krompiec

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出利用多模多级量子复指数最小二乘算法提升核磁共振谱的相位分辨率与信号处理精度。

Multimodal Sensing for Robot-Assisted Sub-Tissue Feature Detection in Physiotherapy Palpation

机器人辅助物理治疗触诊中亚组织特征的多模态感知

Tian-Ao Ren, Jorge Garcia, Seongheon Hong, Jared Grinberg, Hojung Choi, Julia Di, Hao Li, Dmitry Grinberg, Mark R. Cutkosky

机构 * Stanford University（斯坦福大学） ； Symbiokinetics Inc（Symbiokinetics公司） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究提出多模态传感器用于机器人辅助物理治疗中亚组织特征的检测，结合触觉成像与力矩传感器以提高检测精度和触诊控制。

Comments Accepted by AMSE Design of Medical Device 2026

Orchestrating Multimodal DNN Workloads in Wireless Neural Processing

在无线神经处理中协调多模态DNN工作负载

Sai Xu, Kai-Kit Wong, Yanan Du, Hyundong Shin

机构 * Department of Electronic and Electrical Engineering, University College London（电子与电气工程系，伦敦大学学院） ； Department of Electronic Engineering, Kyung Hee University（电子工程系，庆熙大学） ； School of Electrical and Electronic Engineering, the University of Sheffield（电气与电子工程学院，谢菲尔德大学） ； Department of Electronics and Information Convergence Engineering, Kyung Hee University（电子与信息融合工程系，庆熙大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出O-WiN框架和PACS算法，通过通信-计算流水线优化无线神经处理中多模态DNN工作负载，提升执行效率。

ULW-SleepNet: An Ultra-Lightweight Network for Multimodal Sleep Stage Scoring

ULW-SleepNet: 一种超轻量级的多模态睡眠阶段评分网络

Zhaowen Wang, Dongdong Zhou, Qi Xu, Fengyu Cong, Mohammad Al-Sa'd, Jenni Raitoharju

机构 * School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院） ； Faculty of Information Technology, University of Jyväskylä（于韦斯屈莱大学信息科技学院） ； Key Laboratory of Social Computing and Cognitive Intelligence, Ministry of Education（教育部社会计算与认知智能重点实验室） ； School of Biomedical Engineering, Faculty of Medicine, Dalian University of Technology（大连理工大学生物医学工程学院） ； Department of Computing Sciences, Tampere University（塔尔库大学计算机科学系） ； Faculty of Medicine, University of Helsinki（赫尔辛基大学医学学院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 ULW-SleepNet通过轻量级多模态网络实现高效睡眠阶段评分，参数减少达98.6%且保持高准确率，适用于实时睡眠监测。

Comments Accepted to ICASSP 2026

DreamWaQ++: Obstacle-Aware Quadrupedal Locomotion With Resilient Multi-Modal Reinforcement Learning

DreamWaQ++: 基于障碍物感知的四足机器人运动控制与鲁棒多模强化学习

I Made Aswin Nahrendra, Byeongho Yu, Minho Oh, Dongkyu Lee, Seunghyun Lee, Hyeonwoo Lee, Hyungtae Lim, Hyun Myung

机构 * Urban Robotics Lab., School of Electrical Engineering, KAIST（韩国科学技术院电子工程系城市机器人实验室） ； KRAFTON（KRAFTON公司） ； URobotics（URobotics公司） ； Laboratory for Information and Decision Systems (LIDS), MIT（麻省理工学院信息与决策系统实验室） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 DreamWaQ++通过鲁棒多模强化学习融合本体和外源感觉，实现四足机器人在复杂环境中的鲁棒运动控制与敏捷性能。

Comments IEEE Transactions on Robotics 2026. Project site is available at https://dreamwaqpp.github.io

Multimodal Survival Modeling and Fairness-Aware Clinical Machine Learning for 5-Year Breast Cancer Risk Prediction

多模态生存建模与公平性感知的临床机器学习用于5年乳腺癌风险预测

Toktam Khatibi

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究提出了一种多模态生存建模框架，结合临床数据和高维生物标志物，通过CoxNet和XGBoost模型预测乳腺癌5年生存率，并强调模型的校准、公平性和可重复性。

Skin-Machine Interface with Multimodal Contact Motion Classifier

皮肤-机器接口与多模态接触运动分类器

Alberto Confente, Takanori Jin, Taisuke Kobayashi, Julio Rogelio Guadarrama-Olvera, Gordon Cheng

机构 * Department of Informatics, Technical University of Munich（技术大学慕尼黑信息学院） ； National Institute of Informatics（国家信息研究所） ； The Graduate University for Advanced Studies (SOKENDAI)（高级研究大学（SOKENDAI）） ； Institute for Cognitive Systems (ICS), Technical University of Munich（认知系统研究所（ICS），技术大学慕尼黑） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种利用皮肤传感器作为机器人新操作接口的框架，通过多模态接触运动分类器提升机器人任务执行能力。

Comments 8 pages, 8 figures (accepted in Humanoids2025)

Journal ref Humanoids2025

Feasibility-aware Imitation Learning from Observation with Multimodal Feedback

基于可行性意识的观察模仿学习与多模态反馈

Kei Takahashi, Hikaru Sasaki, Takamitsu Matsubara

机构 * Division of Information Science, Graduate School of Science and Technology, Nara Institute of Science and Technology (NAIST)（信息科学系，科学技术研究生院，科学与技术国立研究所（NAIST）） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 FABCO通过整合基于观察的行为克隆与可行性估计，提升模仿学习性能，使机器人能稳定执行策略。

Joint Optimization of Multimodal Transit Frequency and Shared Autonomous Vehicle Fleet Size with Hybrid Metaheuristic and Nonlinear Programming

多模式公共交通频次与混合自动驾驶车队规模的联合优化：混合元启发式与非线性规划

Max T. M. Ng, Hani S. Mahmassani, Draco Tong, Omer Verbas, Taner Cokyasar

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出一种混合优化方法，通过联合优化多模式公共交通频次与SAV车队规模，提升公共交通乘客量33.3%。

Comments 26 pages, 5 figures, accepted for publication in Transportation Research Part C: Emerging Technologies. An earlier version was presented at the Conference on Advanced Systems in Public Transport and TransitData 2025 in Kyoto, Japan on 1 - 4 July 2025

Journal ref Transportation Research Part C: Emerging Technologies, 2026

General-purpose post-sampling reweighting method for multimodal target measures

通用多模态目标度量后采样重加权方法

Pierre Monmarché

专题命中 其他多模态 ：multimodal(title)；multi-modal(abstract)

AI总结 本文提出了一种通用方法，通过最小化加权经验分布与目标度量之间的Kullback-Leibler散度来改进多模态分布采样中的重加权估计。

An ILUES-based adaptive Gaussian process method for multimodal Bayesian inverse problems

基于ILUES的自适应高斯过程方法用于多模态贝叶斯反问题

Zhihang Xu, Xiaoyu Zhu, Daoji Li, Qifeng Liao

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出基于ILUES的自适应高斯过程方法，用于解决多模态贝叶斯反问题中的高效采样问题。

A Multimodal Conditional Mixture Model with Distribution-Level Physics Priors

具有分布级物理先验的多模态条件混合模型

Jinkyo Han, Bahador Bahmani

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种基于混合密度表示的物理信息多模态条件建模框架，通过组件特定的正则化项嵌入物理知识，以更简单和可解释的方式处理多模态性问题。

Multi-modal Gaussian Process Variational Autoencoders for Neural and Behavioral Data

多模态高斯过程变分自编码器用于神经和行为数据

Rabia Gondur, Usama Bin Sikandar, Evan Schaffer, Mikio Christian Aoi, Stephen L Keeley

机构 * Fordham University（福特汉姆大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Icahn School of Medicine at Mount Sinai（Mount Sinai医学院） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出多模态高斯过程变分自编码器，用于分析神经和行为数据的共享与独立潜在结构，提升数据重建和解释性。

Comments Updated version published in ICLR 2024

Journal ref In The Twelfth International Conference on Learning Representations. (2024)

Annealed Leap-Point Sampler for Multimodal Target Distributions

退火跳跃点采样器用于多模态目标分布

Nicholas G. Tawn, Matthew T. Moores, Hugo Queniat, Gareth O. Roberts

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 ALPS通过退火技术解决高维多模态分布采样问题，利用拉普拉斯近似和模式跳跃独立采样器实现高效收敛。

Rethinking Multi-Modal Learning from Gradient Uncertainty

重新思考从梯度不确定性出发的多模态学习

Peizheng Guo, Jingyao Wang, Wenwen Qiang, Jiahuan Zhou, Changwen Zheng, Gang Hua

机构 * Institute of Software Chinese Academy of Sciences, Beijing, China（中国科学院软件研究所） ； University of the Chinese Academy of Sciences, Beijing, China（中国科学院大学） ； Wangxuan Institute of Computer Technology, Peking University, Beijing, China（北京大学王轩计算机技术研究所） ； Amazon.com, Inc., Bellevue, WA, 98004, USA（亚马逊公司） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出BOGC-MML方法，通过建模梯度不确定性提升多模态学习的优化效果。

Analyzing heterogeneity in Alzheimer Disease using multimodal normative modeling on imaging-based ATN biomarkers

利用多模态规范建模分析阿尔茨海默病的异质性：基于影像学ATN生物标志物

Sayantan Kumar, Tom Earnest, Braden Yang, Deydeep Kothapalli, Andrew J. Aschenbrenner, Jason Hassenstab, Chengie Xiong, Beau Ances, John Morris, Tammie L. S. Benzinger, Brian A. Gordon, Philip Payne, Aristeidis Sotiras

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究利用多模态规范建模分析阿尔茨海默病影像学ATN生物标志物的异质性，揭示了疾病严重程度与认知功能的关系。

Comments Under review in Alzheimer's & Dementia

Journal ref Alzheimer's Dement. 2025; 21:e70143

Improving Normative Modeling for Multi-modal Neuroimaging Data using mixture-of-product-of-experts variational autoencoders

利用混合专家积变分自编码器改进多模态神经影像数据的规范建模

Sayantan Kumar, Philip Payne, Aristeidis Sotiras

机构 * Department of Computer Science and Engineering, Washington University in St. Louis, USA（计算机科学与工程系，华盛顿大学圣路易斯分校） ； Institute for Informatics, Data Science and Biostatistics, Washington University in St.Louis, USA（信息学、数据科学与生物统计研究所，华盛顿大学圣路易斯分校） ； Department of Radiology, Washington University in St.Louis, USA（放射学系，华盛顿大学圣路易斯分校） 纠错

专题命中 其他多模态 ：multi-modal(title)；multimodal(abstract)

AI总结 本文提出利用混合专家积变分自编码器改进多模态神经影像数据的规范建模，以更准确地识别异常个体及异常脑区。

Comments IEEE Internattional Symposium in Biomedical Imaging 2024

Journal ref 2024 IEEE International Symposium on Biomedical Imaging (ISBI)

AdapDISCOM: An Adaptive Sparse Regression Method for High-Dimensional Multimodal Data With Block-Wise Missingness and Measurement Errors

AdapDISCOM：一种用于高维多模态数据的自适应稀疏回归方法，具有块状缺失和测量误差

Maimouna Baldé, Abdoul O. Diakité, Claudia Moreau, Gleb Bezgin, Nikhil Bhagwat, Pedro Rosa-Neto, Jean-Baptiste Poline, Simon Girard, Amadou Barry

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 AdapDISCOM通过自适应稀疏回归方法，有效应对高维多模态数据中的块状缺失和测量误差问题，提升预测性能和生物标志物选择的可靠性。

Comments 49 pages, 4 figures

Unified Multimodal Vessel Trajectory Prediction with Explainable Navigation Intention

具有可解释导航意图的统一多模态船舶轨迹预测

Rui Zhang, Chao Li, Kezhong Liu, Chen Wang, Bolong Zheng, Hongbo Jiang

机构 * School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院） ； School of Navigation, Wuhan University of Technology（武汉理工大学航海学院） ； Hubei Key Laboratory of Internet of Intelligence, School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院智能互联网关键实验室） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种整合可解释导航意图的统一多模态船舶轨迹预测框架，通过构建持续性意图树和动态瞬时意图模型，提升预测的准确性和可解释性。

Journal ref IEEE Transactions on Intelligent Transportation Systems, vol. 27, no. 1, pp. 258-269, Jan. 2026

Leveraging Textual-Cues for Enhancing Multimodal Sentiment Analysis by Object Recognition

利用文本提示增强多模态情感分析的物体识别

Sumana Biswas, Karen Young, Josephine Griffith

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出TEMSA方法，通过结合物体识别和文本信息提升多模态情感分析的准确性。