多模态大模型

Identifying Topological Invariants of Non-Hermitian Systems via Domain-Adaptive Multimodal Model for Mathematics

通过数学多模态模型识别非厄密系统拓扑不变量

Jiuchun Meng, Lichao Sun, Xiumei Wang, Dandan Zhu, Xingping Zhou

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 本文提出利用多模态模型识别非厄密系统拓扑不变量，通过输入哈密顿量的本征值和本征向量，结合数学大语言模型进行复杂计算和推理，有效提取拓扑信息。

DIRECT: When and Where Should You Allocate Test-Time Compute in Embodied Planners?

DIRECT: 在具身规划器中何时何地分配测试时计算？

Jadelynn Dao, Milan Ganai, Yasmina Abukhadra, Ajay Sridhar, Mozhgan Nasr Azadani, Katie Luo, Clark Barrett, Jiajun Wu, Chelsea Finn, Marco Pavone

机构 * Stanford University（斯坦福大学） ； University of Waterloo（滑铁卢大学） ； NVIDIA（英伟达） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出DIRECT路由框架，根据多模态场景上下文按提示分配计算资源，优化成功-成本帕累托前沿，实验表明不同缩放轴带来不同能力增益，在物理机器人上以更低延迟匹配或超越更强模型。

Automating Geometry-Intensive Compliance Checking in BIM: Graph-Based Semantic Reasoning Framework

BIM中几何密集型合规检查自动化：基于图的语义推理框架

Zixuan Xiao, Pei Troh Koh, Jun Ma, Jack C. P. Cheng

机构 * Department of Urban Planning and Design, The University of Hong Kong（香港大学城市规划与设计系） ； Department of Civil and Environmental Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学土木与环境工程系） 纠错

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.AI

AI总结 针对BIM中几何密集型法规自动检查的语义鸿沟问题，提出SGR-BIM图驱动推理框架，通过跨模态知识图谱实现可解释推理，在679个消防规范查询上达到84.3%准确率，较基线提升8.6%。

Journal ref Automation in Construction 189 (2026) 107038

ConsistencyPlanner: Real-time Planning with Fast-Sampling Consistency Models

ConsistencyPlanner: 基于快速采样一致性模型的实时规划

Qichao Zhang, Xing Fang, Jiaqi Fang, Zhenwen Cai, Jie Ling, Qiankun Yu, Dongbin Zhao

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Guangzhou Zaofu Intelligent Technology Co., Ltd.（广州造父智能科技有限公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出Consistency Planner框架，利用快速采样一致性模型实现高效多模态采样，并结合注意力增强解码器融合异构特征，在Waymax模拟器中显著提升安全性和实时性。

CoCoSI: Collaborative Cognitive Map Construction for Spatial Intelligence

CoCoSI: 面向空间智能的协作认知地图构建

Yiming Zhang, Ruoxuan Cao, Zhihang Zhong

机构 * Shanghai Jiao Tong University（上海交通大学） ； Cornell University（康奈尔大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种即插即用的多智能体框架，通过协作构建结构化认知地图作为空间记忆，无需修改架构或额外训练即可增强预训练多模态大模型的空间理解能力。

MetaPlate: Counterfactual-Guided RAG-LLM Tool for Personalized Food Recommendation and Hyperglycemia Prevention

MetaPlate: 反事实引导的RAG-LLM工具用于个性化食物推荐和高血糖预防

Asiful Arefeen, Carol Johnston, Hassan Ghasemzadeh

机构 * College of Health Solutions, Arizona State University（亚利桑那州立大学健康解决方案学院） ； School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出MetaPlate框架，结合反事实解释、机器学习预测和RAG-LLM，生成个性化膳食建议以预防餐后高血糖，经注册营养师评估证明其可行性和有效性。

Vision-Language-Action Models Meet World Models: Embodied Agentic AI for Low-Altitude Wireless Networks

视觉-语言-动作模型遇见世界模型：面向低空无线网络的具身智能体AI

Feibo Jiang, Li Dong, Lei Mao, Kezhi Wang, Cunhua Pan, Dong In Kim, Naofal Al-Dhahir

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出具身智能体无人机框架，以VLA模型为核心实现端到端决策，引入世界模型建模环境动态，通过记忆与反射机制形成闭环优化，实现低空无线网络的鲁棒自主控制。

Multimodal LLMs Do Not Compose Skills Optimally Across Modalities

多模态大语言模型在跨模态间无法最优组合技能

Paula Ontalvilla, Aitor Ormazabal, Gorka Azkune

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；cross-modal(abstract)；分类 cs.CL

AI总结 本文研究多模态大语言模型跨模态技能组合能力，发现其存在显著差距，并提出链式推理和微调策略以改善，但效果有限。

Fine-tuning Multi-modal LLMs with ART: Art-based Reinforcement Training

使用ART微调多模态大语言模型：基于艺术的强化训练

Michal Chudoba, Sergey Alyaev, Petra Galuscakova, Tomasz Wiktorski

机构 * University of Stavanger（斯塔万格大学） ； NORCE Research（NORCE研究机构） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title)；multimodal(abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 提出ART方法，通过优化原始视觉输入将信息注入冻结的多模态大语言模型，实现软提示微调，无需修改计算图，在数学和工具使用基准上达到与LoRA相当的精度。

Multimodal Brain Tumour Classification Using Feature Fusion

使用特征融合的多模态脑肿瘤分类

Wajih ul Islam, Muhammad Yaqoob, Javed Ali Khan, Volker Steuber

机构 * School of Physics, Engineering and Computer Science（物理、工程与计算机科学学院） ； University of Hertfordshire（赫特福德郡大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出双分支多模态网络，融合MRI图像与91个放射组学特征，通过门控融合实现脑肿瘤分类，准确率达96.13%。

Information-Theoretic Decomposition for Multimodal Interaction Learning

多模态交互学习的信息论分解

Zequn Yang, Yake Wei, Haotian Ni, Zhihao Xu, Di Hu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing（中国人民大学人工智能学院，北京） ； Beijing Key Laboratory of Research on Large Models（北京大模型研究关键实验室） ； Engineering Research Center of Next-Generation Intelligent Search（下一代智能搜索与推荐工程研究中心） ； Beihang University, Beijing（北航，北京） ； Gaotu Techedu Inc.（高图科技有限公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出基于信息论的多模态交互分解方法DMIL，通过变分分解架构和微调策略学习样本特定的冗余、独特和协同交互，提升多模态学习性能。

Comments Accepted to CVPR 2026

Latent World Recovery for Multimodal Learning with Missing Modalities

缺失模态下的多模态学习中的潜在世界恢复

Hui Wang, Tianyu Ren, Joseph Butler, Christopher Baker, Karen Rafferty, Simon McDade

机构 * Queen's University Belfast（贝尔法斯特女王大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出潜在世界恢复（LWR）框架，通过邻居潜在对齐和可用性感知融合，在缺失模态下实现鲁棒的多模态预测，避免显式重构误差。

From 2D Grids to 1D Tokens: Reforming Shared Representations for Multimodal Image Fusion

从二维网格到一维标记：重塑多模态图像融合的共享表示

Yuchen Xian, Yunqiu Xu, Yang He, Yi Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出基于冻结预训练图像标记器的紧凑一维标记接口，通过选择性标记编辑（STE）稀疏更新关键标记，在保持融合骨干网络不变的同时引导全局外观一致性，实现全局连贯与局部保真的最佳平衡。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Parameter-Efficient Adapter Tuning for Tabular-Image Multimodal Learning

面向表格-图像多模态学习的参数高效适配器微调

Jiaqi Luo

机构 * School of Mathematical Sciences, Soochow University（苏州大学数学科学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出TI-Adapter框架，通过冻结表格编码器并添加适配器，以及图像分支的嵌入层和瓶颈层适配器，实现高效多模态微调，在20个数据集上以更少参数达到或超越全微调性能。

FreqKD: Frequency-Decoupled Cross-Modal Knowledge Distillation for Infrared Object Detection

FreqKD: 面向红外目标检测的频率解耦跨模态知识蒸馏

Keval Thaker, Venkatraman Narayanan, Abdalmalek Aburaddaha, Samir A. Rawashdeh

机构 * University of Michigan-Dearborn（密歇根大学迪尔伯恩分校） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 针对RGB与红外图像模态差异，提出频率解耦蒸馏框架FreqKD，对低频和高频成分分别施加严格MSE和松弛log-MSE损失，在KAIST数据集上提升DINOv2基线2.4 mAP50。

FAST-MEL: A Fast, Accurate, and Storage Efficient Solution for Multimodal Entity Linking

FAST-MEL: 一种快速、准确且存储高效的多模态实体链接解决方案

Derrien Thomas, Laurent Amsaleg, Pascale Sébillot

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出FAST-MEL，通过紧凑的固定大小向量化表示文本和视觉信息，在保持高准确率的同时实现三个数量级的加速和一个数量级的存储节省。

Journal ref SIGIR 2026

A Multi-Modal Sensor Fusion Instrument for Measuring Regional Human Mobility: The Distributed Human Data Engine (DHDE)

多模态传感器融合仪器用于测量区域人类流动性：分布式人类数据引擎（DHDE）

Amil Khanzada, Takuji Takemoto

机构 * Headquarters for Regional Revitalization, University of Fukui, Japan（复兴地区总部，福井大学，日本） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 提出分布式人类数据引擎（DHDE），通过融合边缘AI相机、数字意图信号、行为记录和气象数据，解决外围区域人类流动性测量中传感器稀疏和行为异质性问题，验证了稀疏传感器补偿方法，并发现“低活力悖论”。

Comments 32 pages, 4 figures, 3 tables. Pre-print of a manuscript submitted for peer review (v2)

MOTOR: Learning ID-free Item Representation with Token Crossing for Embedding-based Multimodal Recommendation

MOTOR：基于令牌交叉的无ID多模态物品表示学习用于嵌入推荐

Kangning Zhang, Jiarui Jin, Yingjie Qin, Ruilong Su, Jianghao Lin, Yong Yu, Weinan Zhang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出MOTOR框架，用可学习共享多模态令牌替代物品ID嵌入，通过产品量化和令牌交叉网络实现语义共享与冷启动改进。

Comments Accepted by ECML-PKDD 2026

DroneShield-AI: A Multi-Modal Sensor Fusion Framework for Real-Time Autonomous Drone Threat Detection, Behavioral Intent Classification, and Swarm Intelligence in Contested Airspace

DroneShield-AI：一种用于受争议空域中实时自主无人机威胁检测、行为意图分类和群体智能的多模态传感器融合框架

Marius Bayizere

机构 * Independent Researcher（独立研究者） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title)；分类 cs.CV

AI总结 提出DroneShield-AI框架，集成RF信号分类、声学检测、YOLOv8视觉检测等六层处理，通过行为意图分类引擎（BICE）实现六类威胁分类并提前30秒预警，以及图神经网络群体智能模块（GNN-SIM）分析多无人机编队，在低成本硬件上达到96.1%检测精度和142ms延迟。

Comments 23 pages, 6 figures, 11 tables. Code available at https://github.com/bayizeremarius/DroneShield-AI

Traits Run Deeper: Trait-Specific Asymmetric Fusion for Personality Assessment

特质更深：面向人格评估的特质特异性非对称融合

Jia Li, Qian Chen, Wei Wang, Xinyu Li, Zhenzhen Hu, Dongsheng Shao, Richang Hong, Meng Wang

机构 * Hefei University of Technology（合肥工业大学） ； Intelligent Interconnected Systems Laboratory of Anhui Province（安徽省智能互联系统实验室） ； Jianghuai Advanced Technology Center（江淮前沿技术中心） ； Anhui Provincial Industry Innovation Center of Humanoid Robots（安徽省人形机器人产业创新中心） ； Anhui Provincial Key Laboratory of Humanoid Robots（安徽省人形机器人重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出Traits Run Deeper框架，通过多模态基础表示、特质特异性非对称融合和分布校准回归模块，解决人格评估中模态偏好差异和标签偏差问题，在AVI Challenge 2026上MSE降低约25%。

IB-HFN: Information Bottleneck-Driven SAR-Optical Fusion Network for High-Fidelity Cloud Removal

IB-HFN: 信息瓶颈驱动的SAR-光学融合网络用于高保真云去除

Haojun Guo, Fan Feng, Ziquan Wang, Yongsheng Zhang, Ying Yu

机构 * Institute of Geospatial Information, Information Engineering University（测绘信息研究院，信息工程大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出IB-HFN网络，通过双流骨干、空间信息瓶颈融合模块和联合优化策略，抑制SAR散斑噪声并保留光学细节，实现高保真云去除。

Motion Reinforces Appearance: RGB-Skeleton Gated Residual Fusion for Micro-Gesture Online Recognition

运动增强外观：用于微手势在线识别的RGB-骨架门控残差融合

Jialin Liu, Xinwen He, Pengyu Liu, Jiale Shi, Huaijuan Zang, Yanbin Hao

机构 * School of Computer Science and Information Engineering, Hefei University of Technology (HFUT), Hefei, China（合肥工业大学计算机与信息工程学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出DyFADet+双流RGB-骨架框架，通过门控残差模块自适应融合骨架运动与RGB特征，实现微手势在线识别，在SMG数据集上F1达40.88，排名第二。

Comments 13 pages, 2 figures

The Unreasonable Effectiveness of Discrete-Time Gaussian Process Mixtures for Robot Policy Learning

离散时间高斯过程混合在机器人策略学习中的惊人有效性

Jan Ole von Hartz, Adrian Röfer, Joschka Boedecker, Abhinav Valada

机构 * Department of Computer Science, University of Freiburg, Germany（弗赖堡大学计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出MiDiGap方法，利用少量演示和相机观测，通过离散时间高斯过程混合实现机器人操作策略的灵活表示与模仿学习，在长时域、高约束、动态和多模态任务上取得SOTA性能，并支持推理时引导。

Comments Submitted for publication to IEEE Transaction on Robotics

Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning

面向接触丰富机器人强化学习的自监督多感官预训练

Rickmer Krohn, Vignesh Prasad, Gabriele Tiboni, Georgia Chalvatzaki

机构 * Interactive Robot Perception & Learning (PEARL) Lab, TU Darmstadt, Germany（图腾机器人感知与学习实验室，图腾施塔德大学，德国） ； Hessian.AI（海斯堡人工智能） ； Robotics Institute Germany (RIG)（德国机器人研究所（RIG）） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)

AI总结 提出MSDP框架，通过掩码自编码和跨模态预测学习多感官表示，并采用非对称架构（评论家使用交叉注意力提取动态特征，演员使用稳定池化表示）加速策略学习，在模拟和真实机器人任务中展现出鲁棒性和高效性。

Comments 8 pages, 11 figures

Journal ref IEEE Robotics and Automation Letters, 2026, Vol. 11, No. 6, pp. 6799-6806

ParseFixer: An Agentic Framework for Document Parsing via Selective Multimodal Correction

ParseFixer: 一种通过选择性多模态校正的文档解析智能体框架

LeKai Yu, Hao Liu, Kun Wang, Zhiran Li, Ruping Cao, Fan Liu, Yupeng Hu

机构 * Shandong University（山东大学） ； Southeast University（东南大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出ParseFixer框架，结合全页骨干解析和智能体选择性校正，通过验证-回滚机制修复高价值解析错误，在DataMFM挑战赛文档解析任务中获得第三名。

Multimodal Ordinal Modeling of Alzheimer's Disease Severity Using Structural MRI and Clinical Data

使用结构MRI和临床数据的阿尔茨海默病严重程度的多模态序数建模

Boris-Stephan Rauchmann, Jonathan Laib, Buse Ercik, Robert Perneczky, Sergio Altares-López

机构 * Department of Neuroradiology, LMU University Hospital, Ludwig Maximilian University of Munich（神经放射科，慕尼黑路德维希-马克西米利安大学医院，慕尼黑路德维希-马克西米利安大学） ； Department of Psychiatry and Psychotherapy, LMU University Hospital, Ludwig Maximilian University of Munich（精神病学与心理治疗系，慕尼黑路德维希-马克西米利安大学医院，慕尼黑路德维希-马克西米利安大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出一种注意力增强的多模态序数回归框架，整合MRI、人口统计学和遗传数据，用于自动且可解释的AD严重程度分期，在ADNI等数据集上验证，序数模型在相邻阶段准确率（0.970）和与临床分期一致性（QWK 0.549）上表现最佳。

Comments 18 pages. Submitted to journal for review

MLaGA: Multimodal Large Language and Graph Assistant

MLaGA: 多模态大语言与图助手

Dongzhe Fan, Yi Fang, Jiajin Liu, Djellel Difallah, Qiaoyu Tan

机构 * New York University（纽约大学） ； New York University Shanghai（纽约大学上海） ； New York University Brooklyn（纽约大学布鲁克林） ； Virginia Polytechnic Institute and State University（弗吉尼亚理工大学） ； New York University Abu Dhabi（纽约大学阿布扎克） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出MLaGA模型，通过结构感知多模态编码器和指令微调，将大语言模型扩展到多模态图数据，在监督和迁移学习任务中优于基线方法。

Model-based Optimization of Anguilliform Swimming Gaits for Soft Robotic Applications

基于模型的鳗鲡式游泳步态优化及其在软体机器人中的应用

Brian Van Stratum, James Gallentine, Caleb Rucker, Eric Barth, Jonathan E. Clark, Kourosh Shoele

机构 * FAMU/FSU College of Engineering（佛罗里达农工大学/佛罗里达州立大学工程学院） ； Vanderbilt University（范德堡大学） ； The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校） 纠错

专题命中 其他多模态 ：multimodal(abstract)

AI总结 本文提出软体七鳃鳗启发双环境机器人(SLIDER)，通过结合Lighthill理论、非线性结构模型和遗传算法，优化游泳控制模式与尾鳍设计，实现系留游泳速度21.7±0.4 cm/s，并探索多模态机器人优化。