多模态大模型

Offline-Online Curriculum RL for Multimodal Reasoning

用于多模态推理的离线-在线课程强化学习

Wendi Deng, Hang Du, Guoshun Nan, Haokun Tian, Jiaqi Yu, Xinlei Cao, Jaile Li, Jingfeng Chen, Ling Deng, Ting Li, Hao Yang, Jun Liu, Xudong Jiang, Sicong Leng

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； BUPT Shenzhen Institute（北京邮电大学深圳研究院） ； Carnegie Mellon University（卡内基梅隆大学） ； Lancaster University（兰卡斯特大学） ； Nanyang Technological University（南洋理工大学） ； China Telecom Corporation Limited Sichuan Branch（中国电信股份有限公司四川分公司） ； Changsha University of Science & Technology（长沙理工大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究多模态推理中模型中间步骤有缺陷的问题，提出$O^2$-CritiCuRL框架，通过离线多步展开分析和在线渐进式强化学习策略，区分关键与冗余步骤，提升模型性能及训练和推理效率。

Geo3R: Mitigating Spatial Reasoning Hallucination in Multimodal Large Language Models

Geo3R：减轻多模态大语言模型中的空间推理幻觉

Mingyu Wang, Weilin Jin, Wenbo Li, Haoyang Huang, Tong Jia, Ying Li

机构 * Peking University（北京大学） ； Joy Future Academy（京东探索研究院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 多模态大语言模型推理空间关系易产生幻觉，现有方法效果有限。本文定义空间推理幻觉及常见场景，提出无训练的Geo3R框架，结合几何证据和结构化3D推理减轻幻觉，实验证明该框架显著减少幻觉，优于现有模型和方法。

Comments Accepted by ACM MM 2026. This is the arXiv preprint version, not the camera-ready

Robust Multimodal Dynamic Object Segmentation

鲁棒多模态动态目标分割

Zhe Xin, Hanzhi Chang, Penghui Huang, Yinian Mao, Guoquan Huang

机构 * Meituan UAV（美团无人机） ； University of Delaware（特拉华大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对动态目标分割难题，提出整合多模态线索的框架，设计结合Transformer与特征聚类模块的网络进行分类，引入新后处理方法，在动态目标分割和静态场景重建任务中取得最优性能。

Comments Accepted by IEEE International Conference on Robotics & Automation ICRA 2026

Should Missing Modalities Always Be Necessary to Repair for Multi-modal Sentiment Analysis?

多模态情感分析中缺失模态总是需要修复吗？

Yubo Gao, Haotian Wu, Xiaoyu Xu, Yibo Yan, Hong Chen, Ruoshui Peng, Fei Pan, Puay Siew Tan, Zhuoran Gao, Yonghua Hei, Jie Zhang, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； Nanyang Technological University（南洋理工大学） ； Singapore Institute of Manufacturing Technology, A*STAR（新加坡制造技术研究所，新加坡科技研究局） ； Lingnan University（岭南大学） 纠错

专题命中 其他多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CL

AI总结 研究多模态情感分析中缺失模态是否总需修复，提出SIEVE方法，通过比较直接预测与修复分支，从样本损失差距得经验充分性信号，经证据门路由输入，与修复无关，实验证明其能改进修复主干并接近最优值。

ShapKO: Shapley-Adaptive Modality Knockout for Robust Multimodal Learning

ShapKO：用于稳健多模态学习的Shapley自适应模态剔除

Nusrat Binta Nizam, Fengbei Liu, Sunwoo Kwak, Minh Nguyen, Ruining Deng, Mert R. Sabuncu

机构 * Cornell University（康奈尔大学） ； Cornell Tech（康奈尔科技学院） ； Weill Cornell Medicine（威尔康乃尔医学院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对多模态医学模型在输入缺失或模态主导时性能不佳的问题，提出ShapKO动态训练策略，基于验证效用学习特定模态剔除概率，通过评估性能、估计重要性和更新概率促进互补表示，在多数据集上提升了模型性能。

Large Multimodal Model-Based Environment-Aware Mobility Management

基于大型多模态模型的环境感知移动性管理

Seokhyun Jeong, Sangmok Shin, Seungnyun Kim, Jiao Wu, Byonghyo Shim

机构 * Department of Electrical and Computer Engineering and the Institute of New Media and Communications, Seoul National University（电气电子工程系和新媒体与通讯研究所，首尔国立大学） ； Information Systems Technology and Design (ISTD) pillar, Singapore University of Technology and Design（信息与系统技术与设计（ISTD）部门，新加坡科技设计大学） ； Computer, Electrical and Mathematical Sciences and Engineering Division, King Abdullah University of Science and Technology（计算机、电子与数学科学与工程系，卡塔尔科学与技术大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对LLMs在移动性管理应用少的问题，提出基于大型多模态模型的环境感知移动性管理方案，利用LMMs提取环境信息，学习信道容量图预测未来信道容量，据此确定主动切换决策，相比传统DL方法显著提升了信道容量。

SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation

SearchEyes：通过搜索世界模拟迈向前沿多模态深度搜索智能

Zhengbo Jiao, Yiming Cheng, Yilei Jiang, Kaituo Feng, Rui Huang, Tianyi Jiang, Juanxi Tian, Jiapeng li, Qunzhong Wang, Tailai Chen, Qianshan Wei, Chuan Xiao, Shanyu Rong, Yangfu Li, Yanhan Zhou, Yunpu Ma, Yifan Zhang, Xiangyu Yue

机构 * MMLab, CUHK（香港中文大学多媒体实验室） ； THU（清华大学） ； HKU（香港大学） ； PKU（北京大学） ； NTU（南洋理工大学） ； CASIA（中国科学院自动化研究所） ； ECNU（华东师范大学） ； HIT（哈尔滨工业大学） ； LMU（慕尼黑大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态搜索智能体多跳推理的挑战，提出SearchEyes，用类型化知识图谱构建模拟搜索世界，通过感知-知识链采样路径并保留元数据，采用跳锚策略优化，在六个基准测试中取得最优性能。

Comments Project page: https://github.com/Frostlinx/SearchEyes

MER-R1: Multimodal Emotion Reasoning via Slow-Fast Thinking Synergy

MER-R1：通过慢-快思维协同的多模态情感推理

Zhiyuan Han, Beier Zhu, Wenwen Tong, Chengwei Qin, Xinyi Wang, Jiayu Zhang, Jiangnan Chen, Hewei Guo, Dongchuan Ran, Lewei Lu, Xun Yang

机构 * University of Science and Technology of China（中国科学技术大学） ； SenseTime Research（商汤科技研究院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出MER-R1强化学习框架，利用慢-快思维互补性优化多模态情感识别，通过双目标解耦和置信度校准联合优化召回率与精确度，实现SOTA性能。

Comments Under review

Resolving Multi-Target Association in OFDM-based ISAC via Vision-aided Multi-Modal Learning

基于OFDM的ISAC中通过视觉辅助多模态学习解决多目标关联

Meng Hua, Chenghong Bian, Deniz Gunduz

机构 * Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院电气与电子工程系） ； Department of Electrical and Computer Engineering, Hong Kong University of Science and Technology（香港科技大学电气与计算机工程系） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出视觉辅助OFDM-ISAC框架，融合无线与视觉模态，通过深度联合源信道编码传输图像、YOLOv5检测目标特征，并利用多模态网络与延迟-多普勒图关联，解决多目标模糊和分辨率限制，实现16cm定位RMSE。

DLWM: Diverse Latent World Models for Efficient Multimodal Reasoning

DLWM: 多样化潜在世界模型用于高效多模态推理

David Huang, Lianlei Shan

机构 * University of Toronto（多伦多大学） ； Tsinghua University（清华大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出DLWM框架，结合潜在空间推理与强化学习，通过多样化潜在假设和资源感知策略提升多模态推理效率，准确率提升2-5%，内存减少24%。

Comments Preprint. 9 pages main text, 15 pages total including appendix, 2 figures

ParseFixer: An Agentic Framework for Document Parsing via Selective Multimodal Correction

ParseFixer: 一种通过选择性多模态校正的文档解析智能体框架

LeKai Yu, Hao Liu, Kun Wang, Zhiran Li, Ruping Cao, Fan Liu, Yupeng Hu

机构 * Shandong University（山东大学） ； Southeast University（东南大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出ParseFixer框架，结合全页骨干解析和智能体选择性校正，通过验证-回滚机制修复高价值解析错误，在DataMFM挑战赛文档解析任务中获得第三名。

Multimodal Ordinal Modeling of Alzheimer's Disease Severity Using Structural MRI and Clinical Data

使用结构MRI和临床数据的阿尔茨海默病严重程度的多模态序数建模

Boris-Stephan Rauchmann, Jonathan Laib, Buse Ercik, Robert Perneczky, Sergio Altares-López

机构 * Department of Neuroradiology, LMU University Hospital, Ludwig Maximilian University of Munich（神经放射科，慕尼黑路德维希-马克西米利安大学医院，慕尼黑路德维希-马克西米利安大学） ； Department of Psychiatry and Psychotherapy, LMU University Hospital, Ludwig Maximilian University of Munich（精神病学与心理治疗系，慕尼黑路德维希-马克西米利安大学医院，慕尼黑路德维希-马克西米利安大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出一种注意力增强的多模态序数回归框架，整合MRI、人口统计学和遗传数据，用于自动且可解释的AD严重程度分期，在ADNI等数据集上验证，序数模型在相邻阶段准确率（0.970）和与临床分期一致性（QWK 0.549）上表现最佳。

Comments 18 pages. Submitted to journal for review

Improving Multimodal Reasoning via Worst Dimension Optimization

通过最差维度优化改进多模态推理

Haocheng Lv, Huaping Zhang, Qiuchi Li, Lei Li, Chunxiao Gao

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出最差维度优化方法，通过识别并优先优化推理路径中最差的约束维度，提升多模态推理的整体有效性。

Mixed Membership Model of Low-rank Matrices with Multimodal Extension

具有多模态扩展的低秩矩阵混合隶属度模型

David Snider, Zhongyuan Lyu, Jian Kang, Yuqi Gu

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 针对矩阵值数据提出带多模态扩展的低秩混合隶属度模型，兼具可解释群体原型与连续受试者隶属度，在模拟及人类连接组计划数据中表现优异，达极小极大最优重构率。

Comments 75 pages, 13 figures, 3 tables, including Supplementary Material

PathFinder: Joint Decompositions of Linked Multimodal Datasets

PathFinder：链接多模态数据集的联合分解方法

Ying-Qiu Zheng, Alex Fung, Stephen M Smith, Rogier B Mars, Saad Jbabdi

机构 * Oxford Centre for Integrative Neuroimaging（牛津整合神经成像中心） ； University of Oxford（牛津大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 PathFinder是一种通用的联合矩阵分解框架，可分析未必共享同一维度的多模态数据集，能发现跨模态等的共同模式并预测缺失数据。

Multimodal Logic Programming with Full Formulas

带完整公式的多模态逻辑程序设计

Kenji Tokuo

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出一阶多模态逻辑程序设计系统MMLP，其支持任意公式作为程序与查询，基于带模态原理的希尔伯特系统给出声明语义，采用嵌套证明演算，合一算法控制特征参数作用域，性能优于相关系统。

Conformal Calibration for Multi-Modal Regression with Missing Modalities

针对模态缺失的多模态回归的共形校准

Ilia Azizi

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 针对多模态回归中模态缺失或分歧导致预测区间难校准的问题，提出感知模态的共形校准层，在多组实验中提升了区间性能，尤其在模态缺失时恢复了覆盖率。

Comments Published at the Symposium on Conformal and Probabilistic Prediction with Applications (COPA 2026)

Multimodal deep learning framework to predict strain localization of Mg/LPSO two-phase alloys

预测Mg/LPSO两相合金应变局域化的多模态深度学习框架

Daiki Kuriki, Fabien Briffod, Takayuki Shiraiwa, Manabu Enoki

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究采用多模态深度学习框架，结合三种微观结构描述符，从三维图像预测Mg/LPSO两相合金的压缩局域应变分布，验证了方法的有效性。

Comments Published in Acta Materialia, Volume 281, 120398 (2024)

Journal ref Acta Materialia 281 (2024) 120398

Hoverflie: An empirical investigation of rotor shrouds to transform micro air vehicles into multi-modal hovercraft

Hoverflie：对转子导流罩将微型飞行器转变为多模式气垫船的实验研究

Mrinmoy Modak, Daniel S. Drew

机构 * University of Hawaii at Manoa（夏威夷大学马诺阿分校） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本研究通过设计定制转子导流罩系统，将Crazyflie 2.1微型飞行器转变为多模式机器人，开发经验模型优化导流罩配置，提升了地面效应性能并延长了续航时间，为相关后续研究提供了基础。

Asteroid Disruption and Deflection Simulations for Multi-Modal Planetary Defense

用于多模态行星防御的小行星破坏与偏转模拟

Alexander N. Cohen, Philip Lubin, Darrel Robertson, Mark Boslough, Sasha Egan, Brin Bailey, Angela M. Stickle, Elizabeth A. Silber, Peter Meinhold, Dharv Patel

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 该研究针对小行星行星防御的终端场景问题，采用PI方法结合ALE3D模拟，证实20-100米级碎石堆小行星可通过特定参数的超高速钨侵彻体撞击有效减缓，为多模态行星防御提供可行方案。

Comments 9 pages, 8 figures

Journal ref Acta Astronautica, Volume 225, December 2024, Pages 960-967

AutoCue: Multimodal LLM-Assisted Externalization of Implicit Inputs as Instructional Visual Cues in Screencast Tutorials

AutoCue：多模态大语言模型辅助将隐式输入外部化为录屏教程中的教学视觉提示

Shengyang Luo, Shengyao Luo, Xiaolei Guo, Fengze Zhang, James Liang, Yingjie Victor Chen

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 AutoCue是多模态大语言模型辅助的教程增强流水线，可将录屏教程中隐式输入外部化为视觉提示，在Autodesk Maya上的评估显示其能缩短任务时间、减少交互中断并提升学习者体验

Comments Accepted to Graphics Interface 2026 (GI 2026)

Understanding Organizational Strategies Across Multimodal Artifacts in Immersive Computational Notebooks

沉浸式计算笔记本中跨多模态制品的组织策略理解

Sungwon In, Minju Baeck, Yalong Yang, Sang Ho Yoon, Woontack Woo, Mallesham Dasari

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究针对沉浸式计算笔记本（ICoN）中多模态制品的组织策略开展用户研究，发现参与者主要采用基于深度的布局，空间组织围绕基于单元的制品构建，弥补了该领域多模态组织策略研究的不足。

FedOGL: Combating Catastrophic Forgetting in Federated Open-World Multimodal Graph Learning

FedOGL：联邦开放世界多模态图学习中灾难性遗忘的应对

Zekai Chen, Haodong Lu, Shihao Li, Weiwei Ji, Xunkai Li, Xun Wu, Yinlin Zhu, Rong-Hua Li

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 针对联邦开放世界多模态图学习的灾难性遗忘问题，本文提出FedOGL框架，通过客户端记忆保留与服务器原型共享，使性能下降降低42.67%，同时维持或提升下游任务性能。

Comments 8 pages, 7 figures

Matching Trace Element Distribution to Mineralogical Phases in Ancient Biotechnology-Derived Metallic Salts: a Multimodal Analysis

古代生物技术衍生金属盐中痕量元素分布与矿物相的匹配：多模态分析

Sumera Rehman, Spyridon Panagiotopoulos, Georgios E Christidis, Athena Athanassiadou, Alessandro Olivo, Effie Photos-Jones, Silvia Cipiccia

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文针对古代金属盐痕量元素空间分布研究的不足，提出整合空间分辨XRF、XRD和纳米级X射线成像的多模态方法，实现了痕量元素与矿物相的可靠匹配，可用于追踪文物化学组成变化。

Multimodal Data Comprehension: Understanding How Visual-Textual Chains of Information Influence Data Interpretation

多模态数据理解：理解视觉-文本信息链如何影响数据解释

Arran Zeyu Wang, Fuling Sun, Danielle Albers Szafir

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究多模态数据理解中视觉与文本信息链对数据解释的影响，提出用可视化优先链和文本优先链呈现信息的实验范式，通过比较发现不同链的理解特点，为多模态信息整合及有效数据通信设计提供见解。

Amortized Posteriors for Estimation of Material Constitutive Parameters from Multimodal Measurements on Small Punch Tests

基于小冲孔试验多模态测量估计材料本构参数的摊销后验

Mohammad Ali Seyed Mahmoud, Aditya Venkatraman, Raj Mahat, Samantha Mitra, Surya R. Kalidindi

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究从小冲孔试验多模态测量估计材料本构参数问题，提出将高斯过程代理与条件流匹配相结合的摊销无似然框架，避免手工似然和重复采样，通过实验证明该方法能有效收缩后验，建立了强大的无似然推断框架。

Foundry CMOS platform for multimodal quantum materials characterization

用于多模态量子材料表征的代工CMOS平台

Sharad Kumar Yadav, Luca Nessi, Ondrej Dyck, Jinchen Wang, Bogdan Dryzhakov, Alex Melendez, Huan Zhao, Qian Song, Doha Amer, Cole Brabec, Saleh Alqazlan, Ruonan Han, Riccardo Comin, Stephen Jesse, Dirk Englund, Jawaher Almutlaq

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究利用65纳米CMOS工艺，通过功能划分金属堆栈构建多模态量子材料表征平台，可进行低温磁化率测量、NV中心光探测磁共振，降低功率需求且兼容原位电子束成像，建立了可扩展、可代工制造的平台。

Assessing Learning Processes with Multimodal Data in Virtual Reality Learning Environments

在虚拟现实学习环境中使用多模态数据评估学习过程

Eileen McGivney, Oluwatomilade Olarinde, Erica Kleinman, Kaylah Facey, Rana Jahani, Shripad Agashe, Manav Varma, Seth Cooper, Casper Harteveld

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究如何在VR学习环境中用多模态数据评估学习过程，通过探索VR密室逃脱游戏的多模态数据源，利用VR特性促进多模态交互，以了解数据对参与者推理技能与猜测行为的揭示情况。

Journal ref Proceedings of the 20th International Conference of the Learning Sciences. ICLS 2026. Irvine, CA, USA. 1807-1811

S-CARD-CMSA: A Score-Aware Candidate Archive with Density-Filtered Reporting for Multimodal Optimization

S-CARD-CMSA：一种用于多模态优化的具有密度过滤报告的分数感知候选存档

Dikshit Chauhan

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 针对多模态优化，S-CARD-CMSA基于RS-CMSA-ESII构建，保留其核心机制并引入两个扩展。通过分数感知密度过滤报告规则平衡指标构建解集，开发实验显示其能减少冗余报告并提升相关指标，优化时不依赖真实全局最小位置信息。

Comments 11 pages, 2 figures with 7 subfigures

When Context Dominates: Multimodal Signatures of Takeover Readiness Under Varying Hazard and Cognitive Load Conditions

当情境占主导时：不同危险和认知负荷条件下接管准备的多模态特征

Shiva Azimi, Yasaman Hakiminejad, Luis Gomero, Elizabeth Pantesco, Irene P. Kan, Meltem Izzetoglu, Arash Tavakoli

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究在驾驶模拟器实验中探究危险类型、次要任务等因素对驾驶员接管行为的影响，采用多模态传感框架评估，发现危险情境是主要决定因素，为半自动车辆人机协作策略奠定基础。