多模态大模型

ShapKO: Shapley-Adaptive Modality Knockout for Robust Multimodal Learning

ShapKO：用于稳健多模态学习的Shapley自适应模态剔除

Nusrat Binta Nizam, Fengbei Liu, Sunwoo Kwak, Minh Nguyen, Ruining Deng, Mert R. Sabuncu

机构 * Cornell University（康奈尔大学） ； Cornell Tech（康奈尔科技学院） ； Weill Cornell Medicine（威尔康乃尔医学院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对多模态医学模型在输入缺失或模态主导时性能不佳的问题，提出ShapKO动态训练策略，基于验证效用学习特定模态剔除概率，通过评估性能、估计重要性和更新概率促进互补表示，在多数据集上提升了模型性能。

Large Multimodal Model-Based Environment-Aware Mobility Management

基于大型多模态模型的环境感知移动性管理

Seokhyun Jeong, Sangmok Shin, Seungnyun Kim, Jiao Wu, Byonghyo Shim

机构 * Department of Electrical and Computer Engineering and the Institute of New Media and Communications, Seoul National University（电气电子工程系和新媒体与通讯研究所，首尔国立大学） ； Information Systems Technology and Design (ISTD) pillar, Singapore University of Technology and Design（信息与系统技术与设计（ISTD）部门，新加坡科技设计大学） ； Computer, Electrical and Mathematical Sciences and Engineering Division, King Abdullah University of Science and Technology（计算机、电子与数学科学与工程系，卡塔尔科学与技术大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对LLMs在移动性管理应用少的问题，提出基于大型多模态模型的环境感知移动性管理方案，利用LMMs提取环境信息，学习信道容量图预测未来信道容量，据此确定主动切换决策，相比传统DL方法显著提升了信道容量。

SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation

SearchEyes：通过搜索世界模拟迈向前沿多模态深度搜索智能

Zhengbo Jiao, Yiming Cheng, Yilei Jiang, Kaituo Feng, Rui Huang, Tianyi Jiang, Juanxi Tian, Jiapeng li, Qunzhong Wang, Tailai Chen, Qianshan Wei, Chuan Xiao, Shanyu Rong, Yangfu Li, Yanhan Zhou, Yunpu Ma, Yifan Zhang, Xiangyu Yue

机构 * MMLab, CUHK（香港中文大学多媒体实验室） ； THU（清华大学） ； HKU（香港大学） ； PKU（北京大学） ； NTU（南洋理工大学） ； CASIA（中国科学院自动化研究所） ； ECNU（华东师范大学） ； HIT（哈尔滨工业大学） ； LMU（慕尼黑大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态搜索智能体多跳推理的挑战，提出SearchEyes，用类型化知识图谱构建模拟搜索世界，通过感知-知识链采样路径并保留元数据，采用跳锚策略优化，在六个基准测试中取得最优性能。

Comments Project page: https://github.com/Frostlinx/SearchEyes

MER-R1: Multimodal Emotion Reasoning via Slow-Fast Thinking Synergy

MER-R1：通过慢-快思维协同的多模态情感推理

Zhiyuan Han, Beier Zhu, Wenwen Tong, Chengwei Qin, Xinyi Wang, Jiayu Zhang, Jiangnan Chen, Hewei Guo, Dongchuan Ran, Lewei Lu, Xun Yang

机构 * University of Science and Technology of China（中国科学技术大学） ； SenseTime Research（商汤科技研究院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出MER-R1强化学习框架，利用慢-快思维互补性优化多模态情感识别，通过双目标解耦和置信度校准联合优化召回率与精确度，实现SOTA性能。

Comments Under review

Resolving Multi-Target Association in OFDM-based ISAC via Vision-aided Multi-Modal Learning

基于OFDM的ISAC中通过视觉辅助多模态学习解决多目标关联

Meng Hua, Chenghong Bian, Deniz Gunduz

机构 * Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院电气与电子工程系） ； Department of Electrical and Computer Engineering, Hong Kong University of Science and Technology（香港科技大学电气与计算机工程系） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出视觉辅助OFDM-ISAC框架，融合无线与视觉模态，通过深度联合源信道编码传输图像、YOLOv5检测目标特征，并利用多模态网络与延迟-多普勒图关联，解决多目标模糊和分辨率限制，实现16cm定位RMSE。

DLWM: Diverse Latent World Models for Efficient Multimodal Reasoning

DLWM: 多样化潜在世界模型用于高效多模态推理

David Huang, Lianlei Shan

机构 * University of Toronto（多伦多大学） ； Tsinghua University（清华大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出DLWM框架，结合潜在空间推理与强化学习，通过多样化潜在假设和资源感知策略提升多模态推理效率，准确率提升2-5%，内存减少24%。

Comments Preprint. 9 pages main text, 15 pages total including appendix, 2 figures

ParseFixer: An Agentic Framework for Document Parsing via Selective Multimodal Correction

ParseFixer: 一种通过选择性多模态校正的文档解析智能体框架

LeKai Yu, Hao Liu, Kun Wang, Zhiran Li, Ruping Cao, Fan Liu, Yupeng Hu

机构 * Shandong University（山东大学） ； Southeast University（东南大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出ParseFixer框架，结合全页骨干解析和智能体选择性校正，通过验证-回滚机制修复高价值解析错误，在DataMFM挑战赛文档解析任务中获得第三名。

Multimodal Ordinal Modeling of Alzheimer's Disease Severity Using Structural MRI and Clinical Data

使用结构MRI和临床数据的阿尔茨海默病严重程度的多模态序数建模

Boris-Stephan Rauchmann, Jonathan Laib, Buse Ercik, Robert Perneczky, Sergio Altares-López

机构 * Department of Neuroradiology, LMU University Hospital, Ludwig Maximilian University of Munich（神经放射科，慕尼黑路德维希-马克西米利安大学医院，慕尼黑路德维希-马克西米利安大学） ； Department of Psychiatry and Psychotherapy, LMU University Hospital, Ludwig Maximilian University of Munich（精神病学与心理治疗系，慕尼黑路德维希-马克西米利安大学医院，慕尼黑路德维希-马克西米利安大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出一种注意力增强的多模态序数回归框架，整合MRI、人口统计学和遗传数据，用于自动且可解释的AD严重程度分期，在ADNI等数据集上验证，序数模型在相邻阶段准确率（0.970）和与临床分期一致性（QWK 0.549）上表现最佳。

Comments 18 pages. Submitted to journal for review

Improving Multimodal Reasoning via Worst Dimension Optimization

通过最差维度优化改进多模态推理

Haocheng Lv, Huaping Zhang, Qiuchi Li, Lei Li, Chunxiao Gao

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出最差维度优化方法，通过识别并优先优化推理路径中最差的约束维度，提升多模态推理的整体有效性。

Multimodal Logic Programming with Full Formulas

带完整公式的多模态逻辑程序设计

Kenji Tokuo

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出一阶多模态逻辑程序设计系统MMLP，其支持任意公式作为程序与查询，基于带模态原理的希尔伯特系统给出声明语义，采用嵌套证明演算，合一算法控制特征参数作用域，性能优于相关系统。

Conformal Calibration for Multi-Modal Regression with Missing Modalities

针对模态缺失的多模态回归的共形校准

Ilia Azizi

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 针对多模态回归中模态缺失或分歧导致预测区间难校准的问题，提出感知模态的共形校准层，在多组实验中提升了区间性能，尤其在模态缺失时恢复了覆盖率。

Comments Published at the Symposium on Conformal and Probabilistic Prediction with Applications (COPA 2026)

Multimodal deep learning framework to predict strain localization of Mg/LPSO two-phase alloys

预测Mg/LPSO两相合金应变局域化的多模态深度学习框架

Daiki Kuriki, Fabien Briffod, Takayuki Shiraiwa, Manabu Enoki

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究采用多模态深度学习框架，结合三种微观结构描述符，从三维图像预测Mg/LPSO两相合金的压缩局域应变分布，验证了方法的有效性。

Comments Published in Acta Materialia, Volume 281, 120398 (2024)

Journal ref Acta Materialia 281 (2024) 120398

Hoverflie: An empirical investigation of rotor shrouds to transform micro air vehicles into multi-modal hovercraft

Hoverflie：对转子导流罩将微型飞行器转变为多模式气垫船的实验研究

Mrinmoy Modak, Daniel S. Drew

机构 * University of Hawaii at Manoa（夏威夷大学马诺阿分校） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本研究通过设计定制转子导流罩系统，将Crazyflie 2.1微型飞行器转变为多模式机器人，开发经验模型优化导流罩配置，提升了地面效应性能并延长了续航时间，为相关后续研究提供了基础。

Asteroid Disruption and Deflection Simulations for Multi-Modal Planetary Defense

用于多模态行星防御的小行星破坏与偏转模拟

Alexander N. Cohen, Philip Lubin, Darrel Robertson, Mark Boslough, Sasha Egan, Brin Bailey, Angela M. Stickle, Elizabeth A. Silber, Peter Meinhold, Dharv Patel

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 该研究针对小行星行星防御的终端场景问题，采用PI方法结合ALE3D模拟，证实20-100米级碎石堆小行星可通过特定参数的超高速钨侵彻体撞击有效减缓，为多模态行星防御提供可行方案。

Comments 9 pages, 8 figures

Journal ref Acta Astronautica, Volume 225, December 2024, Pages 960-967

AutoCue: Multimodal LLM-Assisted Externalization of Implicit Inputs as Instructional Visual Cues in Screencast Tutorials

AutoCue：多模态大语言模型辅助将隐式输入外部化为录屏教程中的教学视觉提示

Shengyang Luo, Shengyao Luo, Xiaolei Guo, Fengze Zhang, James Liang, Yingjie Victor Chen

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 AutoCue是多模态大语言模型辅助的教程增强流水线，可将录屏教程中隐式输入外部化为视觉提示，在Autodesk Maya上的评估显示其能缩短任务时间、减少交互中断并提升学习者体验

Comments Accepted to Graphics Interface 2026 (GI 2026)

Understanding Organizational Strategies Across Multimodal Artifacts in Immersive Computational Notebooks

沉浸式计算笔记本中跨多模态制品的组织策略理解

Sungwon In, Minju Baeck, Yalong Yang, Sang Ho Yoon, Woontack Woo, Mallesham Dasari

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究针对沉浸式计算笔记本（ICoN）中多模态制品的组织策略开展用户研究，发现参与者主要采用基于深度的布局，空间组织围绕基于单元的制品构建，弥补了该领域多模态组织策略研究的不足。

FedOGL: Combating Catastrophic Forgetting in Federated Open-World Multimodal Graph Learning

FedOGL：联邦开放世界多模态图学习中灾难性遗忘的应对

Zekai Chen, Haodong Lu, Shihao Li, Weiwei Ji, Xunkai Li, Xun Wu, Yinlin Zhu, Rong-Hua Li

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 针对联邦开放世界多模态图学习的灾难性遗忘问题，本文提出FedOGL框架，通过客户端记忆保留与服务器原型共享，使性能下降降低42.67%，同时维持或提升下游任务性能。

Comments 8 pages, 7 figures

Matching Trace Element Distribution to Mineralogical Phases in Ancient Biotechnology-Derived Metallic Salts: a Multimodal Analysis

古代生物技术衍生金属盐中痕量元素分布与矿物相的匹配：多模态分析

Sumera Rehman, Spyridon Panagiotopoulos, Georgios E Christidis, Athena Athanassiadou, Alessandro Olivo, Effie Photos-Jones, Silvia Cipiccia

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文针对古代金属盐痕量元素空间分布研究的不足，提出整合空间分辨XRF、XRD和纳米级X射线成像的多模态方法，实现了痕量元素与矿物相的可靠匹配，可用于追踪文物化学组成变化。

Multimodal Data Comprehension: Understanding How Visual-Textual Chains of Information Influence Data Interpretation

多模态数据理解：理解视觉-文本信息链如何影响数据解释

Arran Zeyu Wang, Fuling Sun, Danielle Albers Szafir

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究多模态数据理解中视觉与文本信息链对数据解释的影响，提出用可视化优先链和文本优先链呈现信息的实验范式，通过比较发现不同链的理解特点，为多模态信息整合及有效数据通信设计提供见解。

Amortized Posteriors for Estimation of Material Constitutive Parameters from Multimodal Measurements on Small Punch Tests

基于小冲孔试验多模态测量估计材料本构参数的摊销后验

Mohammad Ali Seyed Mahmoud, Aditya Venkatraman, Raj Mahat, Samantha Mitra, Surya R. Kalidindi

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究从小冲孔试验多模态测量估计材料本构参数问题，提出将高斯过程代理与条件流匹配相结合的摊销无似然框架，避免手工似然和重复采样，通过实验证明该方法能有效收缩后验，建立了强大的无似然推断框架。

Foundry CMOS platform for multimodal quantum materials characterization

用于多模态量子材料表征的代工CMOS平台

Sharad Kumar Yadav, Luca Nessi, Ondrej Dyck, Jinchen Wang, Bogdan Dryzhakov, Alex Melendez, Huan Zhao, Qian Song, Doha Amer, Cole Brabec, Saleh Alqazlan, Ruonan Han, Riccardo Comin, Stephen Jesse, Dirk Englund, Jawaher Almutlaq

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究利用65纳米CMOS工艺，通过功能划分金属堆栈构建多模态量子材料表征平台，可进行低温磁化率测量、NV中心光探测磁共振，降低功率需求且兼容原位电子束成像，建立了可扩展、可代工制造的平台。

Assessing Learning Processes with Multimodal Data in Virtual Reality Learning Environments

在虚拟现实学习环境中使用多模态数据评估学习过程

Eileen McGivney, Oluwatomilade Olarinde, Erica Kleinman, Kaylah Facey, Rana Jahani, Shripad Agashe, Manav Varma, Seth Cooper, Casper Harteveld

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究如何在VR学习环境中用多模态数据评估学习过程，通过探索VR密室逃脱游戏的多模态数据源，利用VR特性促进多模态交互，以了解数据对参与者推理技能与猜测行为的揭示情况。

Journal ref Proceedings of the 20th International Conference of the Learning Sciences. ICLS 2026. Irvine, CA, USA. 1807-1811

S-CARD-CMSA: A Score-Aware Candidate Archive with Density-Filtered Reporting for Multimodal Optimization

S-CARD-CMSA：一种用于多模态优化的具有密度过滤报告的分数感知候选存档

Dikshit Chauhan

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 针对多模态优化，S-CARD-CMSA基于RS-CMSA-ESII构建，保留其核心机制并引入两个扩展。通过分数感知密度过滤报告规则平衡指标构建解集，开发实验显示其能减少冗余报告并提升相关指标，优化时不依赖真实全局最小位置信息。

Comments 11 pages, 2 figures with 7 subfigures

When Context Dominates: Multimodal Signatures of Takeover Readiness Under Varying Hazard and Cognitive Load Conditions

当情境占主导时：不同危险和认知负荷条件下接管准备的多模态特征

Shiva Azimi, Yasaman Hakiminejad, Luis Gomero, Elizabeth Pantesco, Irene P. Kan, Meltem Izzetoglu, Arash Tavakoli

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究在驾驶模拟器实验中探究危险类型、次要任务等因素对驾驶员接管行为的影响，采用多模态传感框架评估，发现危险情境是主要决定因素，为半自动车辆人机协作策略奠定基础。

Validating Virtual Reality for Studying Multimodal Human-Robot Interaction in Socially Aware Robot Navigation

验证虚拟现实技术在社交感知机器人导航中研究多模态人机交互的有效性

Hariharan Arunachalam, Phani Teja Singamaneni, Rachid Alami

机构 * LAAS-CNRS, Universite de Toulouse（法国国家科学研究中心图卢兹分部，图卢兹大学） ； Inria Nancy（法国国家信息与自动化研究所南锡分部） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究VR在社交感知机器人导航中研究多模态人机交互的适用性，通过受试者内研究，让参与者在现实与VR环境中与机器人交互，结果显示VR能捕捉交互行为，可成为研究多模态行为的可靠灵活平台。

Entropy-Guided Tensor Compression for Multimodal Federated Learning on Edge Devices

用于边缘设备上多模态联邦学习的熵引导张量压缩

Quoc Bao Phan, Tuy Tan Nguyen

机构 * FAMU-FSU College of Engineering, Florida State University（佛罗里达农工大学-佛罗里达州立大学工程学院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 针对边缘设备上多模态联邦学习中客户端能力差异问题，提出熵引导的MESH-FL框架，通过截断奇异值分解估计频谱熵，自适应分配MPS压缩秩，实验表明该框架能高效压缩并提升准确率，减少传输数据。

Link-Based Multimodal Traffic Dynamics Model in Continuous-Time Framework

连续时间框架下基于链路的多模式交通动力学模型

Ning Xie, Lei Wei, Nikola Bešinović, Meng Wang

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究提出连续时间框架下基于链路的多模式交通动力学模型M-LTM，通过移动瓶颈理论捕捉多模式交互，开发节点模型描述流量转移等，经案例研究验证其在网络交通分析管理中的预测能力与适用性，误差小。

Multimodal Nonblocking Supervisory Control Synthesis

多模态非阻塞监督控制综合

Marijn Minkenberg, Michel Reniers, Martijn Goorden, Asia van de Mortel-Fronczak, Wan Fokkink

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究针对含故障行为等复杂系统模型，引入模态和多模态非阻塞特性，给出合成算法构建监督器，并通过实例说明新特性，与已有特性比较并给出蕴含条件。

Comments Submitted to CDC 2026

Efficient Analytic Uncertainty Quantification for Multi-Modal Regression

多模态回归的高效解析不确定性量化

Kun Jin, James Harrison, Jiawei Li, Sihan Liu, Jiayi Liu, Randolph Linderman, Yuening Li, Arnab Bhadury, Sourabh Prakash Bansod, Liang Liu, Jasper Snoek

机构 * Google（谷歌） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 针对多模态回归中现有不确定性量化方法效率低或假设过强的问题，提出基于变分贝叶斯推断的统一框架，将分位数回归和分类恢复模型转化为解析ELBO和闭式预测密度，实现高效准确的不确定性量化，在三个大规模基准上超越现有方法。

SpaCE: Rethinking Spatial Capacity and Generalization in Multi-Frame Multimodal Large Language Models

SpaCE: 重新思考多帧多模态大语言模型中的空间容量与泛化能力

Mariana Costa, Camila Ferreira, Alberlucia Rafael Soarez, Alejandro Torres

专题命中 其他多模态 ：multimodal(title)；multi-modal(abstract)

AI总结 提出SpaCE理论框架，证明多帧空间推理的信息论上界、样本复杂度界、PAC-Bayes泛化界，并刻画显式3D表示与隐式推理的偏差-方差权衡，在多个基准上验证了理论紧致性。