多模态大模型

Robust Self-Supervised Cross-Modal Super-Resolution against Real-World Misaligned Observations

鲁棒的自监督跨模态超分辨率对抗真实世界错位观测

Xiaoyu Dong, Jiahuan Li, Ziteng Cui, Naoto Yokoya

机构 * The Univsrsity of Tokyo（东京大学） ； RIKEN AIP（理化学研究所） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 RobSelf通过自监督方法实现鲁棒的跨模态超分辨率，通过误对齐感知的特征翻译和内容感知的参考滤波器提升性能和效率。

Comments ECCV 2026. Supp: https://drive.google.com/file/d/1fqTYuSY7Qp7PFHiHViZs7y6lz6Bws7ws/view?usp=sharing

Decoding the Multimodal Mind: Generalizable Brain-to-Text Translation via Multimodal Alignment and Adaptive Routing

解码多模态思维：通过多模态对齐和自适应路由实现可泛化的脑到文本翻译

Chunyu Ye, Yunhao Zhang, Jingyuan Sun, Chong Li, Yang Zhao, Shaonan Wang

机构 * State Key Laboratory of Multimodal Artificial Intelligence System, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系） ； Department of Language Science and Technology, Hong Kong Polytechnic University（香港理工大学语言科学与技术系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 该研究针对脑机接口从人脑解码语言的挑战，提出利用多模态大语言模型和路由模块的统一框架，通过多模态对齐和自适应路由将脑信号与多模态语义空间对齐，在fMRI等数据集实验中性能领先，还扩展到EEG和MEG数据，为现实应用提供灵活方案。

Comments Accepted to ACL 2026 Findings

Representation Forcing for Bottleneck-Free Unified Multimodal Models

表示强制：无瓶颈统一多模态模型

Yuqing Wang, Zhijie Lin, Ceyuan Yang, Yang Zhao, Fei Xiao, Hao He, Qi Zhao, Zihan Ding, Fuyun Wang, Shuai Wang, Youliang Zhang, Haoqi Fan, Xihui Liu

机构 * University of Hong Kong（香港大学） ； ByteDance Seed（字节跳动种子） ； The Chinese University of Hong Kong（香港中文大学） ； Nanjing University（南京大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出表示强制（RF）技术，通过让解码器自回归预测视觉表示作为中间令牌，再在相同骨干网络中引导像素扩散，从而消除统一多模态模型对预训练VAE的依赖，实现无瓶颈的端到端模型。

Comments Project page: https://yuqingwang1029.github.io/RepresentationForcing

GlaBoost: A Multimodal Structured Framework for Glaucoma Risk Stratification

GlaBoost：用于青光眼风险分层的多模态结构化框架

Cheng Huang, Zeyu Han, Weizheng Xie, Karanjit Kooner, Tsengdar Lee, Jui-Kai Wang, Jia Zhang

机构 * Department of Computer Science, Southern Methodist University（计算机科学系，南方 Methodist 大学） ； Department of Ophthalmology, UT Southwestern Medical Center（眼科学系，UT 南方医学中心） ； High Performance Computing Program, National Aeronautics and Space Administration（高性能计算计划，国家航空航天局） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对青光眼检测，提出多模态梯度提升框架GlaBoost，统一眼底图像嵌入、文本评估及生物标志物三信号预测风险，融合后用增强XGBoost分类，性能超基线且可解释。

Comments Accepted by IEEE 48th EMBC (2026)

Divide and Conquer: Decoupled Representation Alignment for Multimodal World Models

分而治之：多模态世界模型的解耦表示对齐

Junyuan Xiao, Dingkang Liang, Xin Zhou, Yixuan Ye, Tongtong Su, Guangmo Yi, Bin Xia, Qiang Lyu, Shurui Shi, Jun Huang, Jianlou Si, Wenming Yang

机构 * Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； CSU（中南大学） ； ZJU（浙江大学） ； CUHK（香港中文大学） ； UCAS（中国科学院大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV

AI总结 提出M²-REPA方法，通过解耦扩散模型中间表示中的模态特定特征并与对应的专家基础模型对齐，实现多模态视频生成中多种基础模型先验的充分利用，显著提升视觉质量和长期一致性。

Comments Accepted to ECCV 2026

Clearer Sight, Fewer Lies: Oriented Pickup Preference Optimization for Multimodal Hallucination Mitigation

更清晰的视野，更少的谎言：面向多模态幻觉缓解的定向拾取偏好优化

Xin Zou, Haolin Deng, Yibo Yan, Shuliang Liu, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

机构 * HKUST (GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； OPPO AI Center（OPPO AI中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出一种证据感知的对齐目标OPPO，通过对比不同视觉证据强度下的相同忠实响应，将视觉偏好转化为有序视觉证据对齐，以缓解多模态大模型的幻觉问题。

Towards Benign Memory Forgetting for Selective Multimodal Large Language Model Unlearning

面向选择性多模态大语言模型遗忘的良性记忆遗忘

Zhen Zeng, Leijiang Gu, Zhangling Duan, Feng Li, Cees G. M. Snoek, Meng Wang, Zenglin Shi

机构 * Hefei University of Technology（合肥工业大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型隐私泄露问题，提出S-MLLMUn Bench基准和SMFA框架，实现精确删除敏感知识同时保持模型基础能力。

Comments Accepted by ECCV 2026

Improving Visual Token Reduction via Rectifying Distortions for Efficient Multimodal LLM Inference

通过纠正失真改进视觉令牌减少以实现高效多模态大语言模型推理

Hyeonwoo Cho, Donghyeon Baek, Yewon Kim, Bumsub Ham

机构 * KAIST（韩国科学技术院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出RESTORE框架，通过校准位置和注意力失真来改进视觉令牌减少，在保持效率的同时提升多模态大语言模型性能。

Comments Accepted to ICML 2026

Bidirectional Cross-Attention Fusion of High-Resolution RGB and Low-Resolution Hyperspectral Inputs for Multimodal Semantic Segmentation

高分辨率RGB与低分辨率高光谱输入的双向交叉注意力融合用于多模态语义分割

Jonas V. Funk, Lukas Roming, Andreas Michel, Paul Bäcker, Georg Maier, Thomas Längle, Markus Klute

机构 * KIT, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Fraunhofer IOSB, Fraunhofer Institute of Optronics, System Technologies（弗劳恩霍夫院所光学、系统技术与图像利用研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出双向交叉注意力融合（BCAF），通过局部双向交叉注意力对齐高分辨率RGB与低分辨率高光谱图像，避免预上采样或早期光谱坍缩，在实时约束下提升多模态分割性能。

Comments Submitted to Image and Vision Computing (Elsevier). 23 pages, 10 figures, 7 tables

An Attention Mechanism for Robust Multimodal Integration in a Global Workspace Architecture

全局工作空间架构中用于鲁棒多模态集成的注意力机制

Roland Bertin-Johannet, Lara Scipio, Leopold Maytié, Rufin VanRullen

机构 * CerCo, CNRS, Université de Toulouse（CerCo、CNRS、图卢兹大学） ； ANITI, Artificial and Natural Intelligence Toulouse Institute（ANITI、图卢兹人工智能与自然智能研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出一种轻量级自上而下的模态选择器，在冻结的多模态全局工作空间上运行，通过注意力机制提升系统在模态噪声或缺失下的鲁棒性，并在两个数据集上验证了其高效性和可迁移性。

Comments 21 pages, 6 figures, 2 tables. Accepted at ICANN 2026. Code: https://github.com/RolandBERTINJOHANNET/GW_attention

RLPR: Radar-to-LiDAR Place Recognition via Two-Stage Asymmetric Cross-Modal Alignment for Autonomous Driving

RLPR：面向自动驾驶的两阶段非对称跨模态对齐雷达-激光雷达地点识别

Zhangshuo Qi, Jingyi Xu, Luqi Cheng, Shichen Wen, Guangming Xiong

机构 * Beijing Institute of Technology（北京理工大学） ； Shanghai Jiaotong University（上海交通大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出RLPR框架，通过双流网络提取结构特征，并利用两阶段非对称跨模态对齐策略，实现雷达与激光雷达之间的鲁棒地点识别，在四个数据集上达到最优性能。

Comments Accepted by IEEE Robotics and Automation Letters (RA-L) 2026

COMPASS: Complete Multimodal Fusion via Proxy Tokens and Shared Spaces for Ubiquitous Sensing

COMPASS：通过代理令牌和共享空间实现完整的多模态融合以实现无处不在的感知

Hao Wang, Yanyu Qian, Pengcheng Weng, Zixuan Xia, William Dan, Yangxin Xu, Fei Wang

机构 * Universität Bern（伯恩大学） ； Xi’an Jiaotong University（西安交通大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 COMPASS通过代理令牌和共享空间实现多模态融合，解决缺失模态导致的信息丢失和融合接口不匹配问题，提升多模态感知的鲁棒性。

MACS: Modality-Aware Capacity Scaling for Efficient Multimodal MoE Inference

MACS: 模态感知容量缩放用于高效多模态MoE推理

Bo Li, Chuan Wu, Shaolin Zhu

机构 * School of Software, Tsinghua University, Beijing, China（清华大学软件学院，北京，中国） ； TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China（天津大学计算机科学与技术学院，中国） ； School of New Media and Communication, Tianjin University, China（天津大学新媒体与传播学院，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态MoE大模型在专家并行推理中因信息异质性和模态动态性导致的效率瓶颈，提出无需训练的MACS框架，通过熵加权负载和动态模态自适应容量机制优化资源分配，显著提升多模态基准性能。

Comments Accepted by ACL 2026

TokaMind: A Multi-Modal Transformer Foundation Model for Tokamak Plasma Dynamics

TokaMind: 用于托卡马克等离子体动力学的多模态Transformer基础模型

Tobia Boschi, Andrea Loreti, Nicola C. Amorisco, Rodrigo H. Ordonez-Hurtado, Cécile Rousseau, George K. Holt, Eszter Székely, Alexander Whittle, Samuel Jackson, Adriano Agnello, Stanislas Pamela, Alessandra Pascale, Robert Akers, Juan Bernabe Moreno, Vassil Alexandrov, Mykhaylo Zayats

机构 * IBM Research（IBM研究院） ； UK Atomic Energy Authority（英国原子能局） ； STFC Hartree Centre（科学与技术设施研究中心哈特ree中心） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 提出TokaMind，首个开源托卡马克等离子体动力学基础模型，基于多模态Transformer在MAST数据集上预训练，支持多种数据模态和缺失信号处理，在14个任务上优于基线。

The Truth Stays in the Family: Enhancing Contextual Grounding via Inherited Truthful Heads in Model Lineages

真相留在家族中：通过模型谱系中继承的真相头增强上下文基础

Miso Choi, Seonga Choi, Mincheol Kwon, Woosung Joung, Jinkyu Kim, Jungbeom Lee

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现基础LLM与下游变体间存在上下文真相分数的强继承性，提出TruthProbe软门控策略放大真相头以提升上下文真实性并减少多模态幻觉。

Comments Accepted at ICML 2026

OPD-V: Visual On-Policy Self-Distillation with Modality Balance

OPD-V：结合模态平衡的视觉在线策略自蒸馏

Aniri, Jinhe Bi, Peng Liao, Zengjie Jin, Volker Tresp, Fei Shen, Yunpu Ma, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） ； Ludwig Maximilian University of Munich（慕尼黑大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Sun Yat-sen University（中山大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对多模态大语言模型的模态不平衡问题，提出视觉在线策略自蒸馏范式OPD-V，通过正、负教师模型实现模态平衡，在多基准与骨干上提升推理性能并降低训练成本。

Comments Corrected the uploaded manuscript. Project Page:https://github.com/aniri15/OPD-V

TiMi: Empower Time Series Transformers with Multimodal Mixture of Experts

TiMi: 通过多模态专家混合增强时间序列变换器

Jiafeng Lin, Yuxuan Wang, Huakun Luo, Jianmin Wang, Zhongyi Pei

机构 * School of Software, BNRist, Tsinghua University（软件学院、BNRist、清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 TiMi通过多模态专家混合机制，利用大语言模型生成未来推断以提升时间序列预测的因果推理能力，实现多模态数据的有效整合与高精度预测。

Advancing Industry 4.0: Multimodal Sensor Fusion for AI-Based Fault Detection in 3D Printing

推进工业4.0：面向基于3D打印的AI故障检测的多模态传感器融合

Muhammad Fasih Waheed, Shonda Bernadin, Ali Hassan

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本研究提出了一种低成本、便携的多模态传感器融合AI系统，用于实时监测FDM 3D打印过程中的故障，提升制造可靠性和可持续性。

Comments International Journal of Engineering Research and Innovation | v17, n2, Fall/Winter 2025

RJD-BASE: Multi-Modal Spectral Clustering via Randomized Joint Diagonalization

RJD-BASE：基于随机联合对角化的多模态谱聚类

Haoze He, Artemis Pados, Daniel Kressner

专题命中 多模态训练与对齐 ：multi-modal(title)；multimodal(abstract)

AI总结 本研究提出RJD-BASE方法，通过随机凸组合拉普拉斯矩阵结合BASE选择规则实现多模态谱聚类，在低计算成本下优于经典多模态聚类方法。

What Can Latent World Models Know? Physical Parameter Identifiability in Multimodal Predictive Representations

隐式世界模型能知晓什么？多模态预测表示中的物理参数可识别性

Kaizhen Tan, Xin Xu, Siru Tao, Yixiao Li, Hanzhe Hong, Yang Feng, Heqing Du

机构 * New York University（纽约大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 该研究通过可控实验揭示，隐式世界模型的目标函数结构决定其获取的物理参数，输入与预测目标分别限制和决定可获知的物理量，额外数据仅优化已获取的参数。

CReF: Cross-modal and Recurrent Fusion for Depth-conditioned Humanoid Locomotion

CReF：跨模态与递归融合用于基于深度的人形机器人运动

Yuan Hao, Ruiqi Yu, Shixin Luo, Guoteng Zhang, Jun Wu, Qiuguo Zhu

机构 * Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制科学与工程学院） ； School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)

AI总结 本文提出CReF框架，通过直接从原始前方深度数据学习运动相关特征，实现稳定复杂地形行走，改进了传统依赖几何抽象的方法，展示了在模拟和真实环境中鲁棒的地形穿越能力。

Multimodal rumor detection enhanced by external evidence and forgery features

通过外部证据和伪造特征增强的多模态谣言检测

Han Li, Hua Sun

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出通过外部证据和伪造特征增强的多模态谣言检测模型，利用ResNet34视觉编码器、BERT文本编码器和伪造特征模块，结合双对比学习模块和门控自适应特征缩放融合机制，提升谣言检测性能。

Comments 20pages,10figures

Multimodal Analytics of Cybersecurity Crisis Preparation Exercises: What Predicts Success?

多模态分析网络安全危机准备演习：什么预测成功？

Conrad Borchers, Valdemar Švábenský, Sandesh K. Kafle, Kevin K. Tang, Jan Vykopal

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Masaryk University, Faculty of Informatics（马萨里克大学信息学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究通过多模态追踪分析网络安全演习中的教学对齐，发现对齐度预测成功，而单纯Bloom分类无效。

Comments Accepted as full paper to the 27th International Conference on Artificial Intelligence in Education (AIED 2026), see https://doi.org/10.1007/978-3-032-29760-0_47

A Multi-Modal Sensor Fusion Instrument for Measuring Regional Human Mobility: The Distributed Human Data Engine (DHDE)

多模态传感器融合仪器用于测量区域人类流动性：分布式人类数据引擎（DHDE）

Amil Khanzada, Takuji Takemoto

机构 * Headquarters for Regional Revitalization, University of Fukui, Japan（复兴地区总部，福井大学，日本） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 提出分布式人类数据引擎（DHDE），通过融合边缘AI相机、数字意图信号、行为记录和气象数据，解决外围区域人类流动性测量中传感器稀疏和行为异质性问题，验证了稀疏传感器补偿方法，并发现“低活力悖论”。

Comments 32 pages, 4 figures, 3 tables. Pre-print of a manuscript submitted for peer review (v2)

MOTOR: Learning ID-free Item Representation with Token Crossing for Embedding-based Multimodal Recommendation

MOTOR：基于令牌交叉的无ID多模态物品表示学习用于嵌入推荐

Kangning Zhang, Jiarui Jin, Yingjie Qin, Ruilong Su, Jianghao Lin, Yong Yu, Weinan Zhang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出MOTOR框架，用可学习共享多模态令牌替代物品ID嵌入，通过产品量化和令牌交叉网络实现语义共享与冷启动改进。

Comments Accepted by ECML-PKDD 2026

SODA-CitrON: Static Object Data Association by Clustering Multi-Modal Sensor Detections Online

SODA-CitrON：通过在线聚类多模态传感器检测实现静态物体数据关联

Jan Nausner, Kilian Wohlleben, Michael Hubner

机构 * Jan Nausner, Kilian Wohlleben, Michael Hubner 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 本文提出SODA-CitrON方法，通过在线聚类多模态传感器检测实现静态物体的数据关联，同时估计位置并维持持久跟踪，优于现有方法在F1分数、位置RMSE、MOTP和MOTA指标上。

Comments 8 pages, 5 figures; \c{opyright} 2026 IEEE. Accepted for the 2026 International Conference on Information Fusion (FUSION 2026)

SMA: Who Said That? Auditing Membership Leakage in Semi-Black-box RAG Controlling

SMA：谁说的？半黑盒RAG控制中的成员泄露审计

Shixuan Sun, Siyuan Liang, Jianjie Huang, Jingzhi Li, Xiaochun Cao

机构 * Sun Yat-Sen University（孙中山大学） ； Nanyang Technological University（南洋理工大学） ； University of Chinese Academy of Science（中国科学院大学） ； Zhongguancun Academy（中关村学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract_cn)；cross-modal(abstract)；分类 cs.AI

AI总结 本研究针对半黑盒RAG控制中的成员泄露问题，提出首个源感知成员审计SMA，通过零阶优化归因估计机制与跨模态归因技术，实现生成内容的细粒度来源归因，为复杂生成系统的数据来源审计提供新视角。

HumanOmni-Speaker: Identifying Who said What and When

HumanOmni-Speaker: 识别说话者说了什么以及何时

Detao Bai, Zhiheng Ma, Xihan Wei

机构 * Tongyi Lab Alibaba Group（阿里云实验室） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；omni-modal(abstract)；分类 cs.CV

AI总结 本文提出HumanOmni-Speaker，通过视觉注册说话人辨识与识别方法，解决多人物对话中说话者身份与时间的识别问题，实现端到端的多模态协同。

Multi-Representation Geometric Hierarchy Fusion: An Implicit-Submap Driven Framework for Resilient 3D Place Recognition

多表示几何层次融合：一种用于鲁棒三维地点识别的隐式子图驱动框架

Xiaohui Jiang, Haijiang Zhu, Chade Li, Ning An

机构 * College of Information and Technology, Beijing University of Chemical Technology（信息与技术学院，北京化工大学） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Research Institute of Mine Artificial Intelligence, China Coal Research Institute（矿山人工智能研究院，中国煤炭科研院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title)；分类 cs.CV

AI总结 针对激光雷达地点识别中描述子不稳定与表示脆弱性问题，本文提出隐式神经点驱动的多表示几何层次融合框架，在多数据集上实现鲁棒性能，平衡了精度、效率与内存占用。

scMIR: a vision-language foundation model for single-cell light microscopy image representation

scMIR：用于单细胞光学显微镜图像表示的视觉语言基础模型

Yifan Shang, Jiahui Tan, Xiangxiang Zeng, Renjie Zhou

专题命中 多模态训练与对齐 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对单细胞光学显微镜图像分析难题，提出scMIR模型，通过自监督图像重建与文本引导跨模态对齐，在多图像文本对上预训练，在多种复杂任务中表现出色，优于现有方法，具备强泛化能力，能推动高通量表型分析工作流程标准化和自动化。